「ギリシャ」の評価

「ギリシャ」のMRRを用いた評価結果を表[*]に,1位正解率を用いた評価結果を表[*]に,5位正解率を用いた評価結果を表[*]に示す.


Table: 「ギリシャ」のMRRを用いた評価結果
○□ ○□△
頻度大 0.43 0.46 0.64
文字長小 0.24 0.26 0.56
割り算 0.33 0.36 0.61
BERT(重複なし) 0.38 0.54 0.77
word2vec(重複なし) 0.56 0.66 0.84
BERT(重複あり) 0.46 0.50 0.65
word2vec(重複あり) 0.39 0.44 0.55



Table: 「ギリシャ」の1位正解率を用いた評価結果
○□ ○□△
頻度大 0.20 0.25 0.40
文字長小 0.05 0.05 0.35
割り算 0.15 0.15 0.35
BERT(重複なし) 0.25 0.40 0.65
word2vec(重複なし) 0.40 0.50 0.75
BERT(重複あり) 0.30 0.35 0.50
word2vec(重複あり) 0.25 0.30 0.35



Table: 「ギリシャ」の5位正解率を用いた評価結果
○□ ○□△
頻度大 0.85 0.85 1.00
文字長小 0.60 0.70 0.95
割り算 0.70 0.75 1.00
BERT(重複なし) 0.60 0.75 0.90
word2vec(重複なし) 0.80 0.90 0.95
BERT(重複あり) 0.65 0.75 0.85
word2vec(重複あり) 0.60 0.65 0.90