next up previous contents
次へ: 人手評価 上へ: 実験結果 戻る: 実験結果   目次


自動評価

日英翻訳の自動評価BLEUの結果を表6.3と図6.1に，NISTの結果を表6.4と図6.2に，METEORの結果を表6.5と図6.3に，RIBESの結果を表6.6と図6.4に，TERの結果を表6.7と図6.5に，英日翻訳の自動評価BLEUの結果を表6.8と図6.6に，NISTの結果を表6.9と図[*]に，RIBESの結果を表6.10と図6.8に，TERの結果を表6.11と図6.9に示す．また，自動評価の特徴をまとめたものを表6.12に示す．


表: 日英翻訳のBLEU値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 0.1382 0.1299 0.1310
追加コーパス1/8 0.1382 0.1358 0.1359
追加コーパス1/4 0.1402 0.1353 0.1374
追加コーパス1/2 0.1460 0.1350 0.1378
追加コーパスFULL 0.1499 0.1339 0.1389

図: 日英翻訳のBLEU値の変化
\fbox{ \includegraphics[width=14cm]{j-ebleu.eps} }


表: 日英翻訳のNIST値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 4.8771 4.6154 4.6886
追加コーパス1/8 4.8893 4.7254 4.7639
追加コーパス1/4 4.9144 4.7391 4.7922
追加コーパス1/2 4.9281 4.7455 4.7959
追加コーパスFULL 4.9611 4.7449 4.8149

図: 日英翻訳のNIST値の変化
\fbox{ \includegraphics[width=14cm]{j-enist.eps} }


表: 日英翻訳のMETEOR値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 0.4552 0.4521 0.4540
追加コーパス1/8 0.4566 0.4548 0.4532
追加コーパス1/4 0.4591 0.4544 0.4541
追加コーパス1/2 0.4609 0.4525 0.4539
追加コーパスFULL 0.4641 0.4512 0.4536

図: 日英翻訳のMETEOR値の変化
\fbox{ \includegraphics[width=14cm]{j-emeteor.eps} }


表: 日英翻訳のRIBES値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 0.7105 0.7051 0.7046
追加コーパス1/8 0.7090 0.7075 0.7043
追加コーパス1/4 0.7104 0.7064 0.7033
追加コーパス1/2 0.7104 0.7065 0.7024
追加コーパスFULL 0.7123 0.7056 0.7024

図: 日英翻訳のRIBES値の変化
\fbox{ \includegraphics[width=14cm]{j-eribes.eps} }


表: 日英翻訳のTER値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 69.511 73.437 72.719
追加コーパス1/8 69.875 71.445 72.133
追加コーパス1/4 69.973 71.189 71.991
追加コーパス1/2 70.007 71.128 71.997
追加コーパスFULL 70.004 70.969 71.893

図: 日英翻訳のTER値の変化
\fbox{ \includegraphics[width=14cm]{j-eter.eps} }


表: 英日翻訳のBLEU値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 0.1792 0.1738 0.1672
追加コーパス1/8 0.1821 0.1748 0.1731
追加コーパス1/4 0.1829 0.1753 0.1747
追加コーパス1/2 0.1849 0.1747 0.1751
追加コーパスFULL 0.1860 0.1741 0.1753


図: 英日翻訳のBLEU値の変化
\fbox{ \includegraphics[width=14cm]{e-jbleu.eps} }


表: 英日翻訳のNIST値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 4.6187 4.5412 4.2875
追加コーパス1/8 4.6410 4.5730 4.4056
追加コーパス1/4 4.6493 4.5834 4.4370
追加コーパス1/2 4.6733 4.5779 4.4531
追加コーパスFULL 4.6845 4.5835 4.4749

図: 英日翻訳のNIST値の変化
\fbox{ \includegraphics[width=14cm]{e-jnist.eps} }


表: 英日翻訳のRIBES値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 0.7686 0.7635 0.7628
追加コーパス1/8 0.7684 0.7626 0.7624
追加コーパス1/4 0.7681 0.7627 0.7625
追加コーパス1/2 0.7674 0.7627 0.7623
追加コーパスFULL 0.7690 0.7622 0.7605

図: 英日翻訳のRIBES値の変化
\fbox{ \includegraphics[width=14cm]{e-jribes.eps} }


表: 英日翻訳のTER値
コーパスの内容 辞書文 特許翻訳文 Wikipedia文
ベースライン 65.958 68.097 71.641
追加コーパス1/8 66.332 67.667 69.223
追加コーパス1/4 66.471 67.544 68.793
追加コーパス1/2 66.459 67.549 68.252
追加コーパスFULL 66.637 67.415 67.957

図: 英日翻訳のTER値の変化
\fbox{ \includegraphics[width=14cm]{e-jter.eps} }


表: 自動評価の特徴

\scalebox{1.0}{ \begin{tabular}{\vert l\vert c\vert p{10cm}\vert}\hline 追加コ.. ...キ \\ \cline{2-3} &アムニamp; BLEU値がデータ量と比例して向上 \\ \hline \end{tabular}}


next up previous contents
次へ: 人手評価 上へ: 実験結果 戻る: 実験結果   目次
s102025 平成27年3月9日