next up previous contents
Next: 素性分析による考察 Up: 使い分けの実験と考察 Previous: データ数を同数に揃えた実験   目次


人手評価

データ数を同数に揃えた実験データから類義語1語につき類義語を含む文を5文ずつランダムに抜き出し, 類義語の組のうち,どの類義語が正しいかを被験者の3人が選び,類義語の組ごとの正解率を求めた.提案手法と被験者3人の正解率の結果を比較した結果を表4.14に示す.


表 4.14: 人手評価


\scalebox{0.65}{
\begin{tabular}{\vert l\vert rc\vert rc\vert rc\vert rc\vert}
\...
...vert c\vert}{0.78} & \multicolumn{2}{\vert c\vert}{0.71}\\ \hline
\end{tabular}}


4.14からマクロ平均,マイクロ平均共に提案手法の正解率の方が高かったため,提案手法および機械学習で使用した素性は類義語の判別に有用であることが言える.

被験者実験では「発展」「発達」「進展」「進歩」や「作成」「作製」「制作」「製作」「製造」のように類義語の組内で類義語の数が多い組ほど正解率の低い結果となった.特に,「作製」という語は機械に比べ,被験者の正解率が大きく下回った.人手では「作製」という語は「作成」と誤って使われやすいことがわかった.

また,被験者3人が誤り,機械が正解した例を以下に示す.


\begin{table}\begin{center}
\vspace{4mm}
\scalebox{0.9}{
\fbox{
\begin{minipag...
...45億円となる見通しだ。
\end{minipage} }
}
\end{center}\end{table}

上記の文が元の文であり,被験者は「予想」を「予測」と誤った選択をした.「予測」は数値に関した文で使われやすく被験者は誤ったと考えられるが,機械学習では「利益」や被修飾語としての「売上高」は素性分析から「予想」の分類において,非常に有用な素性であったため,機械では正解したものと考えられる.「金」に関する文では「予想」が使われることが多いことが素性分析からわかった.このようになぜ機械の方が正解率が高かったかをわかる例も発見できた.



root 2018-02-28