next up previous contents
次へ: 考察 上へ: 実験 戻る: 評価の例   目次

実験結果

queen,参考1,参考2のそれぞれの評価の付与数の結果を表[*]に示 す.下段は,出力があったものの中のそれぞれの評価の付与数の割合である.

表: 3つのシステムの翻訳結果
  評価の付与数
  (出力結果あり中の評価の付与数の割合)
  ×
queen 86 135 36 34 34
  (29.6%) (46.4%) (12.4%) (11.7%)  
参考1 74 156 24 69 0
  (22.8%) (48%) (7.4%) (21.2%)  
参考2 84 162 25 54 0
  (25.8%) (49.8%) (7.7%) (16.6%)  

queenと,他の2つのシステムを比べると,queenは評価△の割合が多いことが 分かった.評価△とは,「基本的な構造は良いが,得たパターンの字面の一部を 変形する必要がある」というものなので,字面を変形することがうまくできれ ば,正解と見なすことができるようになる.例を以下に示す.
    入力動詞句:都会に移る。
    理想解:move to the city
    適合パターン(日;英):$N1$(3主体 389施設 533具体物)が $N2$(458地域 468自然 533具体物 2610場)から/より/を $N3$(458地域 468自然 533具体物 2610場)に/へ 移る。;$N1$ move from $N2$ to $N3$
    出力結果:@move from ($N2$) to city
    代入値:$N3$=都会→city
基本的な構造は良いが,出力において変更しなければならない部分がある.な お,下線部が変更しなければならない字面の部分である.ここがうまく変形す ることができれば,評価◎や○になる.
queen,参考1,参考2の再現率$R$と適合率$P$の結果を表 [*]に示す.

表: queen,参考1,参考2の再現率$R$と適合率$P$
  queen 参考1 参考2
再現率$R$ $89.5\%(291/325)$ $100\%(325/325)$ $100\%(325/325)$
適合率$P$ $75.9\%(221/291)$ $70.1\%(230/325)$ $75.7\%(246/325)$

queenは,結合価パターン辞書のみを使用して翻訳を行っている.結合価パター ンにない動詞の追加,意味属性制約の柔軟な対処などを行い,また,結合価パ ターン辞書の範囲外である,副詞についても実装し,格要素内の名詞を名詞句 として認識できるようにするなど,更に改良を加えることにより,再現率,適 合率ともに向上すると思われる.


next up previous contents
次へ: 考察 上へ: 実験 戻る: 評価の例   目次
平成17年4月14日