人手評価

本研究では，主語補完を行わない翻訳をベースラインとする．人手評価として，日本語補完とベースラインの対比較評価を行う．対比較評価は，日本語補完を用いて主語補完した1,526文に対する出力文からランダムに100文抽出し，ベースラインの出力文と比較し，評価する．以下に評価基準を示す．

a) 日本語補完○

日本語補完の翻訳品質がベースラインの翻訳品質より優れている場
合

b) ベースライン○

ベースラインの翻訳品質が日本語補完の翻訳品質より優れている場合

c) 差なし

日本語補完の翻訳品質とベースラインの翻訳品質に差がない場合

d) 同一出力

日本語補完の翻訳結果とベースラインの翻訳結果が同じ場合

なお，日本語補完では，文頭に``私は"を補完する．この日本語補完の目的は，日英統計翻訳における主語補完の効果を調査することである．よって本研究では，出力文の主語が正解文の主語と異なる場合も，出力文は正しい翻訳であると評価することとする．表31に例を示す．

表: 正解文例

主語省略文	昼食をたっぷり取った。
日本語補完入力文	私は昼食をたっぷり取った。
正解文(対訳英語文)	He had a big lunch .
ベースライン出力文	He had a big lunch .
日本語補完出力文	I had a big lunch .

この例の場合， 翻訳結果として，ベースライン出力文では，主語として``He"が出力され，正解文の主語と一致している．これに対し，日本語補完出力文では，主語として``I"が出力されており，正解文の主語と不一致である．しかし，本研究では主語補完による翻訳精度の調査を目的としているため，日本語補完出力文は，適切な翻訳を行っていると判断する．よって，ベースライン出力文と日本語補完出力文の翻訳精度は差がないと判断する．