next up previous contents
Next: 謝辞 Up: syuron2 Previous: 評価実験のまとめ   目次

おわりに

長文から知りたい情報を取得するためには長い文を読む必要がある.よって,情報取得に時間がかかる.長文を表に示すことで長い文を読む必要がなく情報を容易に取得することができる. そこで,本研究では単語クラスタリングの改良や分類語彙表を用いて表生成を行い,重要項目の選定を行った.

情報抽出の評価実験は表抽出における正解率と単語抽出における正解率の2つで評価を行った.

表抽出における正解率は表に1つでも正しく情報を抽出したものを正解とした.また,空欄を正しく空欄と検出できれば正解とした.表抽出における正解率を評価した結果,先行手法の表抽出における正解箇所の割合は0.68となり,提案手法「Wikipedia全ページでクラスタリング」の表抽出における正解箇所の割合は0.71となり,提案手法「類似度」の表抽出における正解箇所の割合は0.88となり,提案手法「分類語彙表」の表抽出における正解箇所の割合は0.81となった.このように,先行手法より提案手法の方が精度が高い結果になった.また,「Wikipedia 全ページでクラスタリング」と 「分類語彙表」よりも「類似度」の結果の方が精度が高い結果になった.

また,単語抽出における正解率を評価した結果,先行手法の単語抽出における正解箇所の割合は0.73となり,提案手法「Wikipedia全ページでクラスタリング」の単語抽出における正解箇所の割合は0.89となり,提案手法「類似度」の単語抽出における正解箇所の割合は0.82となり,提案手法「分類語彙表」の単語抽出における正解箇所の割合は0.82となった.このように,先行手法より提案手法の方が精度が高い結果になった.また,「Wikipedia 全ページでクラスタリング」の方が「類似度」と「分類語彙表」より精度が高かった.

また記載不足の指摘の評価実験はF値を用いて空欄指摘の調査を行った. F値を評価した結果,先行手法のF値は0.77となり,提案手法「Wikipedia全ページでクラスタリング」のF値は0.75となり,提案手法「類似度」のF値は0.84となり,提案手法「分類語彙表」のF値は0.81と提案手法「類似度」となった.このように,「分類語彙表」の方が先行手法と提案手法「Wikipedia全ページでクラスタリング」より精度が高い結果になった.

情報抽出と記載不足の指摘の2点で評価を行った結果,単語クラスタリングに利用するデータを増やすことによって,1つのクラスタに属する単語数は増加した.また,情報抽出における精度も向上した.よって,単語クラスタリングに利用するデータは増やしたほうが精度が上がると考える. 単語抽出における正解率から,抽出単語の総数が多いほど,表抽出における正解率の精度は高くなる傾向にある.重要項目に属する単語数を増やすことによって精度の向上が見込める.しかし,単語抽出における正解率結果から,重要項目に属する単語数が多くなると,重要項目と関係にない単語が表に検出され,抽出単語における正解率は下がるという問題点がある.また, F値における記載不足の指摘の評価実験を行った結果,F値の結果は抽出単語数が多いと高くなる傾向にあることがわかった.



akano hokuto 2018-03-06