next up previous contents
次へ: 言語モデル 上へ: 句に基づく統計翻訳システム 戻る: GIZA++   目次

フレーズテーブルの作成法

はじめに,GIZA++を用いて学習文から日英,英日方向の双方向で最尤な単語アライメントを得る.

日英方向の単語対応の例を表に示す.英日方向の単語対応の例は表2.2に示す. 表中の``●''は得られた単語アライメントを示す.


表: 日英方向の単語対応
  鉄道 株式 市場 暴落
Rail                  
stocks                
took                  
a                    
drive                
on                  
the                    
stock                  
market                  
.                  


表: 英日方向の単語対応
  鉄道 株式 市場 暴落
Rail                  
stocks                  
took                  
a                  
drive                  
on                  
the                  
stock                  
market                  
.                  

次に,得られた双方向の単語アライメントを用いて,複数単語のアライメントを得る. このアライメントは双方向の単語対応の和集合と積集合から求める.ヒューリスティックス として双方向ともに対応する単語対応を用いる``intersection'',双方向のどちらか一方で も対応する単語対応を全て用いる``union'' がある.表2.2 と表2.3 を用いた,``intersection'' での例を表2.4,``union'' での例を表2.5 に示す.


表: intersectionの例
  鉄道 株式 市場 暴落
Rail                  
stocks                  
took                    
a                    
drive                  
on                    
the                    
stock                  
market                  
.                  


表: unionの例
  鉄道 株式 市場 暴落
Rail                  
stocks                
took                
a                  
drive                
on                
the                  
stock                  
market                  
.                  

また``intersection'' と``union'' の中間のヒューリスティックスとして``grow'' と``growdiag'' がある.これら2 つのヒューリスティックスでは``intersection'' の単語対応と``union'' の単語対応を用いる.``grow'' は縦横方向,``grow-diag'' は縦横対角方向に,``intersection'' の単語対応から``union'' の単語対応が存在する場合にその単語対応も用いる.``grow'' の 例を表2.6,``grow-diag'' の例を表2.7 に示す.


表: growの例
  鉄道 株式 市場 暴落
Rail                  
stocks                
took                    
a                  
drive                
on                  
the                    
stock                  
market                  
.                  


表: grow-diagの例
  鉄道 株式 市場 暴落
Rail                  
stocks                  
took                    
a                    
drive                  
on                  
the                    
stock                  
market                  
.                  

また,この``grow'' と``grow-diag'' の最後に行う処理として``final'' と``final-and'' が ある.``final'' は``union'' の単語対応があれば用いる.``final-and'' では,``final'' に加え て,双方向ともに単語対応がないアライメントも用いる.``grow-diag-final'' の例を表2.8, ``grow-diag-final-and'' の例を表2.9 に示す.


表: grow-diag-finalの例
  鉄道 株式 市場 暴落
Rail                  
stocks                
took                
a                  
drive                
on                
the                  
stock                  
market                  
.                  


表: grow-diag-final-andの例
  鉄道 株式 市場 暴落
Rail                  
stocks                
took                  
a                  
drive                
on                
the                  
stock                  
market                  
.                  

そして,得られた単語アライメントから,全ての矛盾しないフレーズ対を得る. このとき,そのフレーズ対に対して翻訳確率を計算し,フレーズ対に確率値を付与する. ``grow-diag-final-and''で作成されたフレーズテーブルの例を表2.10 に示す.


表: grow-diag-final-andで作成されたフレーズテーブルの例
鉄道 9#9 Rail
株 が 9#9 stocks
鉄道 株 が 9#9 Rail stocks
市場 9#9 market
で 暴落 し た 9#9 took a dive on the
た 。 9#9 .


next up previous contents
次へ: 言語モデル 上へ: 句に基づく統計翻訳システム 戻る: GIZA++   目次
root 平成24年3月22日