文節区切りフレーズテーブルの生成手順

文節区切りフレーズテーブルの生成手順を以下に示す．

1. 日本語文の文節区切り
   学習データの日本語文を文節に区切り，文節区切りの学習データを生成する．

   文節区切り日本語文の例

   彼-の お母さん-が ああ 若い-と-は 思わ-なかっ-た 。
   ここ-で きみ-に 会お-う-と-は 夢にも 思わ-なかっ-た 。
   あした 返-すから ３-，-０-０-０-円 貸し-て-ください 。
   彼女-は 怠け者-で 自分-の 部屋-の 掃除-も し-ない 。
   これ-は 人々-に 愛唱-さ-れ-て-いる 古い 民謡-の 一つ-です 。

2. フレーズテーブルの生成
   文節区切りの学習データから，フレーズテーブルを生成する．

   1から生成されたフレーズテーブルの例

   道路-の $\vert\vert\vert$ of the road $\vert\vert\vert$ 1 0.018 0.167 0.002
   読ん-だ $\vert\vert\vert$ have read $\vert\vert\vert$ 1 0.013 1 0.030
   ２-０-人-の $\vert\vert\vert$ 20 people $\vert\vert\vert$ 1 0.002 0.5 0.003
   贅沢-に 暮らし-て-いる $\vert\vert\vert$ lives in luxury $\vert\vert\vert$ 1 0.0001 1 0.0097
   霧-に かくれ-て 、 $\vert\vert\vert$ become hidden in the mists and $\vert\vert\vert$ 1 0.0002 0.5 0.0002

3. 日本語フレーズの処理
   従来手法のフレーズテーブルと区切りを統一するために，生成されたフレーズテー ブルの日本語フレーズを単語に区切る．

   文節区切りフレーズテーブルの例

   道路 の $\vert\vert\vert$ of the road $\vert\vert\vert$ 1 0.018 0.167 0.002
   読ん だ $\vert\vert\vert$ have read $\vert\vert\vert$ 1 0.013 1 0.030
   ２ ０ 人 の $\vert\vert\vert$ 20 people $\vert\vert\vert$ 1 0.002 0.5 0.003
   贅沢 に 暮らし て いる $\vert\vert\vert$ lives in luxury $\vert\vert\vert$ 1 0.0001 1 0.0097
   霧 に かくれ て 、 $\vert\vert\vert$ become hidden in the mists and $\vert\vert\vert$ 1 0.0002 0.5 0.0002