「トヨタ」のMRRを用いた評価結果を表に,1位正解率を用いた評価結果を表に,5位正解率を用いた評価結果を表に示す.
Table:
「トヨタ」のMRRを用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.20 |
0.26 |
0.66 |
|
|
|
|
|
|
文字長小 |
0.13 |
0.25 |
0.45 |
|
|
|
|
|
|
割り算 |
0.23 |
0.29 |
0.69 |
|
|
|
|
|
|
BERT(重複なし) |
0.17 |
0.26 |
0.70 |
|
|
|
|
|
|
word2vec(重複なし) |
0.24 |
0.34 |
0.62 |
|
|
|
|
|
|
BERT(重複あり) |
0.20 |
0.29 |
0.77 |
|
|
|
|
|
|
word2vec(重複あり) |
0.25 |
0.34 |
0.65 |
|
|
|
|
|
|
Table:
「トヨタ」の1位正解率を用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.15 |
0.20 |
0.60 |
|
|
|
|
|
|
文字長小 |
0.10 |
0.10 |
0.25 |
|
|
|
|
|
|
割り算 |
0.20 |
0.25 |
0.65 |
|
|
|
|
|
|
BERT(重複なし) |
0.05 |
0.15 |
0.55 |
|
|
|
|
|
|
word2vec(重複なし) |
0.20 |
0.30 |
0.50 |
|
|
|
|
|
|
BERT(重複あり) |
0.10 |
0.15 |
0.70 |
|
|
|
|
|
|
word2vec(重複あり) |
0.20 |
0.25 |
0.55 |
|
|
|
|
|
|
Table:
「トヨタ」の5位正解率を用いた評価結果
|
○ |
○□ |
○□△ |
|
|
|
|
|
|
頻度大 |
0.30 |
0.40 |
0.80 |
|
|
|
|
|
|
文字長小 |
0.15 |
0.35 |
0.75 |
|
|
|
|
|
|
割り算 |
0.25 |
0.35 |
0.75 |
|
|
|
|
|
|
BERT(重複なし) |
0.45 |
0.50 |
0.85 |
|
|
|
|
|
|
word2vec(重複なし) |
0.35 |
0.45 |
0.80 |
|
|
|
|
|
|
BERT(重複あり) |
0.30 |
0.40 |
0.85 |
|
|
|
|
|
|
word2vec(重複あり) |
0.40 |
0.45 |
0.80 |
|
|
|
|
|
|