単語単位の情報抽出との比較

単語単位の情報抽出と，文単位の情報抽出で得られた情報がそれぞれ理解できるかを以下の手順で評価する． 手順2の4つの基準の例を表5.7，表5.8に示す． 表5.7，表5.8それぞれの列Aはいずれも出力された情報を全て理解できるので◎とする． 表5.7の列Bは「OSは「android8.0」をする」のような不自然な文が含まれているが，これはOSが何であるかという情報だと推定できる． また，表5.8の列Bについても，「スマートフォンが発売される日時」と推定できる． このように，列Bに出力された情報は全て理解できる，もしくは，おおよそ推定できるので○とする． 表5.7，表5.8のそれぞれの列Cは文書1，3，4，5は情報を理解できるが，文書2は情報を理解できないので△とする． 表5.7，表5.8のそれぞれの列Dは出力された全ての文が崩れており情報を理解できないので×とする．

重要度の高い上位20列での評価結果を表5.9に示す．

1. 単語単位・文単位の両方で同じデータを入力として表を生成する．
2. 生成されたそれぞれの表の上位20列を以下の4つの基準で評価する．

   ◎

   列に出力された全ての情報が理解できる

   ○

   列に出力された全ての情報が理解できる，もしくはおおよそ推定できる

   △

   列に出力された一部の情報が理解できない

   $\times$

   列に出力された全ての情報が理解できない

表 5.7: 文単位での評価結果の例

表 5.8: 単語単位での評価結果の例

表 5.9: 単語単位と文単位の情報抽出の比較

	◎	○	△	$\times$
文単位	0.65(13/20)	0.30(6/20)	0.05(1/20)	0.00(0/20)
単語単位	0.15( 3/20)	0.35(7/20)	0.20(4/20)	0.30(6/20)