next up previous contents
次へ: 機械評価 上へ: 追加調査 戻る: 追加調査   目次

オープンテスト

オープンテストを行うにあたり,入力文を意味類型用日英文型例文ファイル よりランダムに抽出した.以下に,抽出手順と使用する文についての説明を 行う.

入力文は意味類型用日英文型例文ファイルよりランダムに200文を抽出し,対 訳英文の意訳判断を行う.判断結果を表4に示す.


表 4: 正解英文の意訳文・直訳文の件数
文章ファイル 意訳文 直訳文
意味類型用日英文型例文ファイル 75 125 200

評価実験では表4中の下線部,対訳英文が意訳となっている 75文を評価の対象としている.なお,対訳英文が直訳となっている115文につ いては5.2節の「直訳が望まれる場合」において

オープンテストの結果を表5,表6に示 す. 表5には意訳が望まれる場合の翻訳性能を示す.意訳成功と直 訳成功は翻訳成功文を分類した項目である.また,表6に は,表5の結果に対して「意訳文数/翻訳成功文数」で表す 意訳率を示す.


表 5: 意訳が望まれる場合の翻訳性能
システム 意訳成功 直訳成功 翻訳失敗 適合無し
ITM 1% 1% 28% 69%
(open test) (1/75) (1/75) (21/75) (52/75)
参考1 21% 33% 45% 0%
  (16/75) (25/75) (34/75) (0/75)
参考2 41% 31% 28% 0%
  (31/75) (23/75) (21/75) (0/75)
参考3 29% 47% 24% 0%
  (22/75) (35/75) (18/75) (0/75)


表 6: 翻訳成功した場合の意訳率
ITM 参考1 参考2 参考3
open test      
50% 39% 57% 39%

5中の結果の具体例を示す.

ITM (open test)
==============================

意訳成功文
---------------
日本語文
とかく人の世はは住みにくいものだ。
正解文
It is often difficult to live in this world.
訳出文
My life is inhospitable .
直訳成功文
---------------
日本語文
彼の書いた絵はすばらしい。
正解文
His sketch (painting) was marvelous.
訳出文
Drawings that he wrote is great .
翻訳失敗文
---------------
日本語文
イスラム教から見ると、それはおかしな考え方だ。
正解文
That's a weird way of thinking from the Islamic religious viewpoint.
訳出文
Thinking is wrong .

参考1
==============================
意訳成功文
---------------
日本語文
駐車場で遊んではだめだ。
正解文
You must not play in the parking lot.
訳出文
You must not play at a parking lot.
直訳成功文
---------------
日本語文
船はまばゆいばかりの陽の光を浴びながら進んでいった。
正解文
The boat sailed on under a dazzling sun.
訳出文
While the ship was exposed to the dazzling light of the sun, it proceeded.
翻訳失敗文
---------------
日本語文
そろそろ、帰らなければいけません。
正解文
I have to go back home soon.
訳出文
If it does not return, I can not go slowly.

参考2
==============================
意訳成功文
---------------
日本語文
これ以上わかりやすいテキストは、今のところない。
正解文
This textbook is far easier to understand than all others at the moment.
訳出文
An intelligible text does not have now more than this.
直訳成功文
---------------
日本語文
新幹線で行くか、あるいは飛行機で行きます。
正解文
You can go there by Shinkansen or by plane.
訳出文
It goes with the Shinkansen or goes by airplane.
翻訳失敗文
---------------
日本語文
あのホテルにした方がいいんじゃない。
正解文
You better stay at that hotel.
訳出文
The direction made into that hotel has not said.

参考3
==============================
意訳成功文
---------------
日本語文
最近、円は値上りする一方だ。
正解文
The Yen value has constantly been on the rise lately.
訳出文
Recently, yen keeps rising.
直訳成功文
---------------
日本語文
この決断は、勇気があるというか、とにか く凡人にはなかなかできないことだ。
正解文
Making this decision requires courage. An ordinary person cannot do it anyway.
訳出文
This decision is that it is courageous or the ordinary man cannot do easily anyway.
翻訳失敗文
---------------
日本語文
就職しようか、あるいは進学しようかと迷っている。
正解文
I remain ambivalent about whether I should get a job or go in for more education.
訳出文
Do it find employment or it hesitates to go on to school.

5より,オープンテストにおける翻 訳成功率は2%と低い割合となった.これは,クロスバリデーション同様に離散記号 処理が未実装であることが原因と考えられる.ただし,表 6より,翻訳成功時の意訳率は,参考2以外の 一般の翻訳システムよりも高い割合となり,クローズドテスト,クロスバリデー ションとほぼ同様の傾向となった.よって,オープンテストにおいてもパター ン翻訳方式は意訳に有効であると明らかになった.


next up previous contents
次へ: 機械評価 上へ: 追加調査 戻る: 追加調査   目次
平成19年3月12日