「トヨタ」「宇宙」「ギリシャ」の20単語対ずつをまとめ，60単語対での評価を行った．
MRRを用いた評価結果を表![[*]](crossref.png)
に，1位正解率を用いた評価結果を表に，5位正解率を用いた評価結果を表に示す．
Table:
「トヨタ」「宇宙」「ギリシャ」のMRRを用いた評価結果
|
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
|
頻度大 |
0.30 |
0.44 |
0.68 |
|
|
|
|
|
|
|
文字長小 |
0.21 |
0.31 |
0.53 |
|
|
|
|
|
|
|
割り算 |
0.28 |
0.41 |
0.68 |
|
|
|
|
|
|
|
BERT(重複なし) |
0.26 |
0.40 |
0.71 |
|
|
|
|
|
|
|
word2vec(重複なし) |
0.36 |
0.50 |
0.74 |
|
|
|
|
|
|
|
BERT(重複あり) |
0.31 |
0.44 |
0.73 |
|
|
|
|
|
|
|
word2vec(重複あり) |
0.29 |
0.45 |
0.67 |
|
|
|
|
|
|
Table:
「トヨタ」「宇宙」「ギリシャ」の1位正解率を用いた評価結果
|
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
|
頻度大 |
0.17 |
0.32 |
0.55 |
|
|
|
|
|
|
|
文字長小 |
0.12 |
0.15 |
0.35 |
|
|
|
|
|
|
|
割り算 |
0.18 |
0.30 |
0.55 |
|
|
|
|
|
|
|
BERT(重複なし) |
0.15 |
0.28 |
0.57 |
|
|
|
|
|
|
|
word2vec(重複なし) |
0.27 |
0.40 |
0.65 |
|
|
|
|
|
|
|
BERT(重複あり) |
0.20 |
0.31 |
0.63 |
|
|
|
|
|
|
|
word2vec(重複あり) |
0.20 |
0.35 |
0.53 |
|
|
|
|
|
|
Table:
「トヨタ」「宇宙」「ギリシャ」の5位正解率を用いた評価結果
|
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
|
頻度大 |
0.53 |
0.68 |
0.90 |
|
|
|
|
|
|
|
文字長小 |
0.37 |
0.57 |
0.83 |
|
|
|
|
|
|
|
割り算 |
0.47 |
0.63 |
0.88 |
|
|
|
|
|
|
|
BERT(重複なし) |
0.48 |
0.60 |
0.87 |
|
|
|
|
|
|
|
word2vec(重複なし) |
0.52 |
0.67 |
0.87 |
|
|
|
|
|
|
|
BERT(重複あり) |
0.45 |
0.60 |
0.87 |
|
|
|
|
|
|
|
word2vec(重複あり) |
0.47 |
0.60 |
0.88 |
|
|
|
|
|
|
評価の結果，5位正解率を用いた評価において，2単語の関係を示すものとして適切であるが余分な部分がある場合も正解とする基準で，従来手法が68％に対し，word2vec（重複なし）では67％の性能を得た．また，1位正解率を用いた評価方法において，2単語の関係を示すものとして適切な場合を正解とする基準で，従来手法では17％に対し，word2vec(重複なし)では27％の性能を得た．2単語の関係を示すものとして適切であるが余分な部分がある場合も正解とする基準では，従来手法が32％に対し，word2vec(重複なし)では40％の性能を得た．提案手法は5位正解率を用いた評価においては従来手法と同等の性能であったが，1位正解率を用いた評価においては性能の向上を確認できた．
