推定実験

1,000コメント以上を持つ記事を対象に300記事分のコメントを収集し，同記事内の賛成した人数とコメント時刻の2つの条件を満たすコメントから文章対を作成している．対とするコメントの組み合わせは賛成を得やすい文章の定義を満たすコメントからランダムに決定している．

作成した16,342組の文章対のうち，8,172組を学習データ，8,170組をテストデータとする．BERTでは8,172組の学習データのうち，2,045組を検証データ，6,129組を訓練データとして実験を行っている．表4.1は機械学習により“L" or “R"のどちらの文章が賛成を得やすいかを推定したときの正解率を示している．

Table 4.1: 機械学習の性能評価

文字数素性	有	無
ME	0.7215	0.7209
SVM	0.6788	0.6734
BERT	[height=,width=1.5cm]	0.7506

表4.1に示されているようにBERT，ME，SVMの順で正解率が高くなっていることがわかる．一番性能が高いBERTで0.7506という正解率を得た．また，今回の実験ではME，SVMともに文字数の素性の有無で性能が大きく変化することはなかったが文字数の素性を利用するほうが正解率がわずかに高くなった．