「ギリシャ」のMRRを用いた評価結果を表に,1位正解率を用いた評価結果を表に,5位正解率を用いた評価結果を表に示す.
Table:
「ギリシャ」のMRRを用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.43 |
0.46 |
0.64 |
|
|
|
|
|
|
文字長小 |
0.24 |
0.26 |
0.56 |
|
|
|
|
|
|
割り算 |
0.33 |
0.36 |
0.61 |
|
|
|
|
|
|
BERT(重複なし) |
0.38 |
0.54 |
0.77 |
|
|
|
|
|
|
word2vec(重複なし) |
0.56 |
0.66 |
0.84 |
|
|
|
|
|
|
BERT(重複あり) |
0.46 |
0.50 |
0.65 |
|
|
|
|
|
|
word2vec(重複あり) |
0.39 |
0.44 |
0.55 |
|
|
|
|
|
|
Table:
「ギリシャ」の1位正解率を用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.20 |
0.25 |
0.40 |
|
|
|
|
|
|
文字長小 |
0.05 |
0.05 |
0.35 |
|
|
|
|
|
|
割り算 |
0.15 |
0.15 |
0.35 |
|
|
|
|
|
|
BERT(重複なし) |
0.25 |
0.40 |
0.65 |
|
|
|
|
|
|
word2vec(重複なし) |
0.40 |
0.50 |
0.75 |
|
|
|
|
|
|
BERT(重複あり) |
0.30 |
0.35 |
0.50 |
|
|
|
|
|
|
word2vec(重複あり) |
0.25 |
0.30 |
0.35 |
|
|
|
|
|
|
Table:
「ギリシャ」の5位正解率を用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.85 |
0.85 |
1.00 |
|
|
|
|
|
|
文字長小 |
0.60 |
0.70 |
0.95 |
|
|
|
|
|
|
割り算 |
0.70 |
0.75 |
1.00 |
|
|
|
|
|
|
BERT(重複なし) |
0.60 |
0.75 |
0.90 |
|
|
|
|
|
|
word2vec(重複なし) |
0.80 |
0.90 |
0.95 |
|
|
|
|
|
|
BERT(重複あり) |
0.65 |
0.75 |
0.85 |
|
|
|
|
|
|
word2vec(重複あり) |
0.60 |
0.65 |
0.90 |
|
|
|
|
|
|