次へ: 言語モデル
上へ: 句に基づく統計翻訳システム
戻る: GIZA++
目次
はじめに,GIZA++を用いて学習文から日英,英日方向の双方向で最尤な単語アライメントを得る.
日英方向の単語対応の例を表に示す.英日方向の単語対応の例は表2.2に示す.
表中の``●''は得られた単語アライメントを示す.
表:
日英方向の単語対応
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
● |
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
|
|
● |
|
a |
|
|
|
|
|
|
|
|
|
|
drive |
|
|
|
|
|
|
● |
● |
|
|
on |
|
|
|
|
|
● |
|
|
|
|
the |
|
|
|
|
|
|
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
表:
英日方向の単語対応
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
|
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
● |
|
|
|
a |
|
|
|
|
|
|
● |
|
|
|
drive |
|
|
|
|
|
|
● |
|
|
|
on |
|
|
|
|
|
|
● |
|
|
|
the |
|
|
|
|
|
● |
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
次に,得られた双方向の単語アライメントを用いて,複数単語のアライメントを得る.
このアライメントは双方向の単語対応の和集合と積集合から求める.ヒューリスティックス
として双方向ともに対応する単語対応を用いる``intersection'',双方向のどちらか一方で
も対応する単語対応を全て用いる``union'' がある.表2.2 と表2.3 を用いた,``intersection''
での例を表2.4,``union'' での例を表2.5 に示す.
表:
intersectionの例
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
|
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
|
|
|
|
a |
|
|
|
|
|
|
|
|
|
|
drive |
|
|
|
|
|
|
● |
|
|
|
on |
|
|
|
|
|
|
|
|
|
|
the |
|
|
|
|
|
|
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
表:
unionの例
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
● |
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
● |
|
● |
|
a |
|
|
|
|
|
|
● |
|
|
|
drive |
|
|
|
|
|
|
● |
● |
|
|
on |
|
|
|
|
|
● |
● |
|
|
|
the |
|
|
|
|
|
● |
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
また``intersection'' と``union'' の中間のヒューリスティックスとして``grow'' と``growdiag''
がある.これら2 つのヒューリスティックスでは``intersection'' の単語対応と``union''
の単語対応を用いる.``grow'' は縦横方向,``grow-diag'' は縦横対角方向に,``intersection''
の単語対応から``union'' の単語対応が存在する場合にその単語対応も用いる.``grow'' の
例を表2.6,``grow-diag'' の例を表2.7 に示す.
表:
growの例
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
● |
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
|
|
|
|
a |
|
|
|
|
|
|
● |
|
|
|
drive |
|
|
|
|
|
|
● |
● |
|
|
on |
|
|
|
|
|
|
● |
|
|
|
the |
|
|
|
|
|
|
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
表:
grow-diagの例
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
|
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
|
|
|
|
a |
|
|
|
|
|
|
|
|
|
|
drive |
|
|
|
|
|
|
● |
|
|
|
on |
|
|
|
|
|
● |
|
|
|
|
the |
|
|
|
|
|
|
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
また,この``grow'' と``grow-diag'' の最後に行う処理として``final'' と``final-and'' が
ある.``final'' は``union'' の単語対応があれば用いる.``final-and'' では,``final'' に加え
て,双方向ともに単語対応がないアライメントも用いる.``grow-diag-final'' の例を表2.8,
``grow-diag-final-and'' の例を表2.9 に示す.
表:
grow-diag-finalの例
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
● |
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
● |
|
● |
|
a |
|
|
|
|
|
|
● |
|
|
|
drive |
|
|
|
|
|
|
● |
● |
|
|
on |
|
|
|
|
|
● |
● |
|
|
|
the |
|
|
|
|
|
● |
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
表:
grow-diag-final-andの例
|
鉄道 |
株 |
が |
株式 |
市場 |
で |
暴落 |
し |
た |
。 |
Rail |
● |
|
|
|
|
|
|
|
|
|
stocks |
|
● |
● |
|
|
|
|
|
|
|
took |
|
|
|
|
|
|
● |
|
|
|
a |
|
|
|
|
|
|
● |
|
|
|
drive |
|
|
|
|
|
|
● |
● |
|
|
on |
|
|
|
|
|
● |
● |
|
|
|
the |
|
|
|
|
|
● |
|
|
|
|
stock |
|
|
|
● |
|
|
|
|
|
|
market |
|
|
|
|
● |
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
● |
そして,得られた単語アライメントから,全ての矛盾しないフレーズ対を得る.
このとき,そのフレーズ対に対して翻訳確率を計算し,フレーズ対に確率値を付与する.
``grow-diag-final-and''で作成されたフレーズテーブルの例を表2.10 に示す.
表:
grow-diag-final-andで作成されたフレーズテーブルの例
鉄道 9#9
Rail |
株 が 9#9
stocks |
鉄道 株 が 9#9
Rail stocks |
市場 9#9
market |
で 暴落 し た 9#9
took a dive on the |
た 。 9#9
. |
次へ: 言語モデル
上へ: 句に基づく統計翻訳システム
戻る: GIZA++
目次
root
平成24年3月22日