表4.14からマクロ平均,マイクロ平均共に提案手法の正解率の方が高かったため,提案手法および機械学習で使用した素性は類義語の判別に有用であることが言える.
被験者実験では「発展」「発達」「進展」「進歩」や「作成」「作製」「制作」「製作」「製造」のように類義語の組内で類義語の数が多い組ほど正解率の低い結果となった.特に,「作製」という語は機械に比べ,被験者の正解率が大きく下回った.人手では「作製」という語は「作成」と誤って使われやすいことがわかった.
また,被験者3人が誤り,機械が正解した例を以下に示す.
上記の文が元の文であり,被験者は「予想」を「予測」と誤った選択をした.「予測」は数値に関した文で使われやすく被験者は誤ったと考えられるが,機械学習では「利益」や被修飾語としての「売上高」は素性分析から「予想」の分類において,非常に有用な素性であったため,機械では正解したものと考えられる.「金」に関する文では「予想」が使われることが多いことが素性分析からわかった.このようになぜ機械の方が正解率が高かったかをわかる例も発見できた.