ITMの翻訳実験結果

意味的な保存を重視するため，評価値3，4の訳出文を「翻訳成功」とし，さらに 「意訳成功」と「直訳成功」に分類する．評価値1，2の訳出文を「翻訳失敗」 とし，パターンに適合しなかった文を「適合無し」とする．

基本的な性能を評価するために，単語レベルパターンのみを使用し，かつ， 離散記号の処理を想定しない，という場合について評価実験を行う． 評価結果を表に示す．

クローズドテストとは，入力文から作られたパターンを用いて英文を 生成する場合である．クロスバリデーションテストとは，入力文から作られたパ ターンは使用せずに，別のパターンを用いて英文を生成する場合である．

表: 翻訳性能：単語レベル・離散記号未処理の場合

実験条件

意訳成功

直訳成功

翻訳失敗

適合無し

ITM

96%

1%

2%

1%

(closed test)

(129/135)

(2/135)

(3/135)

(1/135)

ITM

13%

10%

41%

36%

(cross validation)

(17/135)

(14/135)

(55/135)

(49/135)

表の翻訳失敗の文の多くは離散記号が原因であった． 例を以下に示す．

入力文：

とても優遇されて英文学の講座を担当した。

日本語パターン：

/y</tk$N1$ は>#1[/tcfk容赦!なく] #2[/ytck$N4$ の]!$N5$ を/cf$V6$ .kako。

バインド値：

#2=$N4$ の，$N4$ =英文学，$N5$ =講座，$V6$ =担当し /y= とても優遇されて

英語パターン：

<I|$N1$ > #1[ruthlessly] $V6$ ^past $N5$ #2[of $N4$ ].

訳出文：

I covered chair of english literature.

評価：

2

正解訳：

He filled the chair of English literature with great distinction.

入力文の英語パターン：

<He|$N1$ > filled the chair of $N2$ with great distinction.

上記の例では， 「とても優遇されて」の部分が/yに適合しているため， 訳出文では対応する意味の文が出力されていない． 自己英語パターンを参考に人手による離散記号処理を示す． 対応する部分を挿入した例を以下の下線部に示す．

離散記号処理をした訳出文：

I covered chair of english literature with great distinction.

評価：

4，意訳

「翻訳失敗」となった55文（表を参照）について， 離散記号処理を想定して再実験を行った結果を表の(a)行に示す． 「意訳成功」が+15件，「直訳成功」が+8件と増加した． さらに「適合無し」の54文（表(a)を参照）について， 句，節レベル文型パターンによる照合と翻訳を行い， かつ離散記号処理を行った結果を表の(b)行に示す． 表と比較して「意訳成功」が+25件，「直訳成功」が+9件と増加 した．

表: 翻訳性能：句，節レベル・離散記号処理の場合

実験条件

意訳成功

直訳成功

翻訳失敗

適合無し

(a) 単語レベル

24%

16%

20%

40%

離散記号処理

(32/135)

(22/135)

(27/135)

(54/135)

(b) 句・節レベル

31%

17%

47%

4%

離散記号処理

(42/135)

(23/135)

(64/135)

(6/135)