「宇宙」のMRRを用いた評価結果を表に,1位正解率を用いた評価結果を表に,5位正解率を用いた評価結果を表に示す.
Table:
「宇宙」のMRRを用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.26 |
0.61 |
0.75 |
|
|
|
|
|
|
文字長小 |
0.27 |
0.43 |
0.59 |
|
|
|
|
|
|
割り算 |
0.29 |
0.60 |
0.74 |
|
|
|
|
|
|
BERT(重複なし) |
0.24 |
0.40 |
0.68 |
|
|
|
|
|
|
word2vec(重複なし) |
0.27 |
0.50 |
0.76 |
|
|
|
|
|
|
BERT(重複あり) |
0.27 |
0.52 |
0.77 |
|
|
|
|
|
|
word2vec(重複あり) |
0.25 |
0.58 |
0.79 |
|
|
|
|
|
|
Table:
「宇宙」の1位正解率を用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.15 |
0.50 |
0.65 |
|
|
|
|
|
|
文字長小 |
0.20 |
0.30 |
0.45 |
|
|
|
|
|
|
割り算 |
0.20 |
0.50 |
0.65 |
|
|
|
|
|
|
BERT(重複なし) |
0.15 |
0.30 |
0.50 |
|
|
|
|
|
|
word2vec(重複なし) |
0.20 |
0.40 |
0.70 |
|
|
|
|
|
|
BERT(重複あり) |
0.20 |
0.45 |
0.70 |
|
|
|
|
|
|
word2vec(重複あり) |
0.15 |
0.50 |
0.70 |
|
|
|
|
|
|
Table:
「宇宙」の5位正解率を用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.45 |
0.80 |
0.90 |
|
|
|
|
|
|
文字長小 |
0.35 |
0.65 |
0.80 |
|
|
|
|
|
|
割り算 |
0.45 |
0.80 |
0.90 |
|
|
|
|
|
|
BERT(重複なし) |
0.40 |
0.55 |
0.85 |
|
|
|
|
|
|
word2vec(重複なし) |
0.40 |
0.65 |
0.85 |
|
|
|
|
|
|