Focal Lossを利用したBERTによる小説の段落境界推定

飯倉らは，損失関数にFocal Lossを使用したBERTを用いて，小説の段落の境界推定を行った[1]．

飯倉らは，BERTの損失関数にBinary Cross Entropy(BCE) LossとFocal Lossを用い，2つの手法で形式段落の推定精度を比較し，Focal Lossの形式段落の推定に対する分類器としての性能の向上を示した．実験で用いているBCE Lossとは，2値分類の問題において使われる損失関数であり，データに含まれるクラスごとのインスタンスが不均一であるときに学習がうまくいかないことを防ぐ．また，Focal Lossとは，識別が容易な例からのエラーの寄与を減衰させることで，損失関数を圧倒することを防ぐ係数を導入し，困難な識別を可能とした損失関数である．

実験には，推定箇所の前の部分をsentence1，推定箇所の後の部分をsentence2としたデータAと推定箇所の前後の1文をsentence1，推定箇所の後ろの2，3文をsentence2としたデータBの2種類で実験を行った．データBの方が精度は高く，BCE Lossを用いた結果は0.8262に対してFocal Lossは0.8315のF値を示した．