次へ: 言語モデル
上へ: 日英統計翻訳システム
戻る: GIZA++
目次
まず,GIZA++を用いて学習文から日英,英日方向の双方向で最尤な単語アライメ
ントを得る.日英方向の単語対応の例を表3.2,英日方向の単語対応の
例を表3.3に示す.尚,表中の
は得られた単語アライメントを
示す.
表 3.2:
日英方向の単語対応
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
目 |
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
表 3.3:
英日方向の単語対応
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
![\(\bullet\)](img100.png) |
|
|
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
![\(\bullet\)](img100.png) |
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
|
|
|
目 |
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
|
|
次に,得られた双方向の単語アライメントを用いて,複数単語のアライメントを得る.
このアライメントは双方向の単語対応の和集合と積集合から求める.ヒューリス
ティックスとして双方向ともに対応する単語対応を用いる``intersection'',双
方向のどちらか一方でも対応する単語対応を全て用いる``union''がある.表
3.2と表3.3を用いた,``intersection''での例を表3.4,
``union''での例を表3.5に示す.
表 3.4:
intersectionの例
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
|
|
|
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
|
|
|
目 |
|
|
|
|
|
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
|
|
|
|
|
|
|
表 3.5:
unionの例
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
![\(\bullet\)](img100.png) |
|
|
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
![\(\bullet\)](img100.png) |
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
目 |
|
|
|
![\(\bullet\)](img100.png) |
![\(\bullet\)](img100.png) |
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
|
![\(\bullet\)](img100.png) |
また``intersection''と``union''の中間のヒューリスティックスとして
``grow''と``grow-diag''がある.これら2つのヒューリスティックスでは
``intersection''の単語対応と``union''の単語対応を用いる.``grow''は縦横
方向,``grow-diag''は縦横対角方向に,``intersection''の単語対応から
``union''の単語対応が存在する場合にその単語対応も用いる.
``grow''の例を表3.6,``grow-diag''の例を表3.7に示す.
表 3.6:
growの例
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
|
|
|
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
|
|
|
目 |
|
|
|
|
|
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
表 3.7:
grow-diagの例
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
|
|
|
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
目 |
|
|
|
|
|
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
また,この``grow''と``grow-diag''の最後に行う処理として``final''と
``final-and''がある.``final''は``union''の単語対応があれば用いる.
``final-and''では,``final''に加えて,双方向ともに単語対応がないアライメ
ントも用いる.``grow-diag-final''の例を表3.8,
``grow-diag-final-and''の例を表3.9に示す.
表 3.8:
grow-diag-finalの例
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
![\(\bullet\)](img100.png) |
|
|
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
![\(\bullet\)](img100.png) |
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
目 |
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
|
![\(\bullet\)](img100.png) |
表 3.9:
grow-diag-final-andの例
|
I |
was |
dazzled |
by |
the |
headlights |
of |
a |
car |
自動車 |
![\(\bullet\)](img100.png) |
|
|
|
|
|
|
|
|
の |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
ヘッドライト |
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
に |
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
目 |
|
|
|
|
![\(\bullet\)](img100.png) |
|
|
|
|
が |
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
|
くらん |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
だ |
|
|
|
|
|
|
|
|
![\(\bullet\)](img100.png) |
そして,得られた単語アライメントから,全ての矛盾しないフレーズ対を得る.
このとき,そのフレーズ対に対して翻訳確率を計算し,フレーズ対に確率値を付
与する.``grow-diag-final-and''で作成されたフレーズテーブルの例を表
3.10に示す.
表 3.10:
grow-diag-final-andで作成されたフレーズテーブルの例
自動車 I was dazzled by 1 0.333333 0.25 0.000751315 2.718 |
自動車 I was dazzled 1 0.333333 0.25 0.00826446 2.718 |
自動車 I was 1 0.333333 0.25 0.0909091 2.718 |
自動車 I 0.333333 0.333333 0.25 1 2.718 |
が くらん だ a car 1 0.166667 1 0.666667 2.718 |
が くらん だ 。 a car . 1 0.166667 1 0.666667 2.718 |
次へ: 言語モデル
上へ: 日英統計翻訳システム
戻る: GIZA++
目次
平成22年2月11日