正解文の主語 | 正解文(文) | 提案手法で選出した主語 | 文数 |
I | 408 | 私は | 64 |
He | 320 | 彼は | 554 |
She | 115 | 彼女は | 42 |
We | 107 | 私たちは | 0 |
They | 74 | 彼らは | 13 |
It | 46 | それは | 6 |
You | 9 | あなたは | 0 |
Someone | 1 | 誰かが | 1 |
Anyone | 1 | 主語付与なし | 821 |
Somebody | 1 | ||
Anybody | 1 | ||
その他 | 418 |
表7.14より,テストデータの正解文の主語は,``I"が最も多い.一方,提案手法では``彼は"を補完した出力文を最も多く選出している. よって,本研究において,自動評価結果は実際の翻訳精度よりも低くなる可能性がある.表7.15に例を示す.
入力文1 | 昼食 を たっぷり 取っ た 。 |
正解文1 | I had a big lunch . |
提案手法出力文1 | He had a big lunch . |
提案手法出力文1のBLEU値 | 0.7598 |
入力文2 | 水着 の モデル を し た 。 |
正解文2 | She modeled swimming suits . |
提案手法出力文2 | I modeled swimming suits . |
提案手法出力文2のBLEU値 | 0.6687 |
入力文3 | まもなく 自信 を 取り戻す だろ う 。 |
正解文3 | She 'll soon regain her confidence . |
提案手法出力文3 | He will soon regain his confidence . |
提案手法出力文3のBLEU値 | 0.0000 |
一方,人手評価においては,提案手法の出力文の主語と正解文の主語の不一致に関して,無視して評価を行っている.
また,学習データの対訳英語文の主語と,提案手法で選出した主語の文数を表7.16に示す.
文頭単語 | 学習データ(文) | 提案手法で選出した主語 | 文数 |
He | 14,122 | 彼は | 554 |
I | 9,517 | 私は | 64 |
She | 4,439 | 彼女は | 42 |
We | 3,103 | 私たちは | 0 |
They | 2,227 | 彼らは | 13 |
It | 2,482 | それは | 6 |
You | 876 | あなたは | 0 |
Someone | 49 | 誰かが | 1 |
Anyone | 11 | 主語付与なし | 821 |
Somebody | 16 | ||
Anybody | 3 | ||
その他 | 63,155 |
表7.16より,提案手法は,``彼は"を補完した文を最も多く選出している.一方,学習データの英語文の主語は,``He"が最も多い.よって,``He"を出力する時,翻訳確率が高くなる傾向があると考える.よって,提案手法は,``彼は"を補完した出力文を最も多く選出したと考えている.