本論文は 林らの記事先頭2段落対の順序を推定する場合(Case1)と 記事あらゆる連接2段落対の順序を推定する場合(Case2)に相当する実験を行っている.
林らの研究でのCase1は, 段落内の最初の2文の順序を推定するものであり, 推定に利用する情報はその2文のみである. 林らの研究でのCase2は, 段落内の連接する2文の順序を推定するものであり, 推定に利用する情報はその2文の存在する 段落内のその2文が出現するまでの文章である. おおよそ本論文の記事と段落が,林らの研究の段落と文に相当する. Case1での各順序推定の正解率を表8.1に示し, Case2での各順序推定の正解率を表8.2に示す. 林らも本論文と同様に機械学習を利用している. ただし,用いる素性は本論文と異なる. 林らも人手による順序推定も行っており, その結果も表8.1,表8.2に示している.
林らと本論文を比較すると, Case1では本論文の提案手法の方が正解率が高い. Case1は先頭における文/段落の順序推定であり, 前方の情報を処理に用いない. その先頭の二つの文/段落のみで順序を推定する. この場合は,順序を推定する文/段落の箇所の情報のみで 推定するために,文/段落に情報が多いほど推定しやすくなると 思われ,これにより段落を扱う本論文の提案手法の方が 正解率が高かったと思われる.
Case1での人手の正解率を文と段落で比較すると 段落の方が高い. この結果も上述の機械学習による順序推定と同様な傾向である. Case1では段落の方が問題が簡単であることがわかる.
また,Case2では林らの提案手法の方が正解率が高い. Case2では文章の途中における文/段落の順序推定を行うため, 前方の文章の情報を処理に用いる. Case2では前方の文章との関係を利用する処理が重要となる. 段落は文に比べて,段落内で話が完結してしまう可能性があるため, 前方の文章との関係がそれほど 順序推定のヒントにならないことが多い. このため,林らの提案手法の方が正解率が高かったものと思われる.
Case2での人手の正解率を文と段落で比較すると 文の方が高い. この結果も上述の機械学習による順序推定と同様な傾向である. Case2では文の方が問題が簡単であることがわかる.