また統計翻訳の前処理として,日本語文に対し,``Mecab[10]"を使用し, 形態素解析を行う.また,英語文に対し,``tokenizer.perl[8]"を使用し, 分かち書きを行う.表6.2に単文コーパスの例を示す.
日本語文 | 私 は 家 の 外 に 出 た 。 |
英語文 | I went outside the house . |
日本語文 | 私 は 山 に 登っ た 。 |
英語文 | I climbed a mountain . |
日本語文 | 私 は 雷 を 恐れる 。 |
英語文 | I have a horror of thunder . |