手法1:パターンを用いた手法

「可能」を含んだ冗長な文についてのパターンを用いた修正を次の手順で行う．

「可能」について学習データに含まれる冗長な文とその修正文をそれぞれ形態素解析ChaSen^3.2に適用し単語単位に分割をする．例えば「十分理解可能である。」という文を形態素解析にかけると図

に示した結果となる．

図: 形態素解析の例
$\begin{figure}\begin{center} \begin{screen} \begin{verbatim}入力文：十分理解可... ...　　　。　　　記号-句点 EOS\end{verbatim} \end{screen} \end{center}\end{figure}$

単語単位に分割した冗長な文とその修正文を文対ごとに差分を取る．差分検出にはdiffコマンド[11]を使用する．

例えば「点検を行う」を「点検する」に修正していた場合を考えてみる．

図: 冗長箇所の例
$\begin{figure}\begin{center} \begin{screen} \par \begin{tabular}{llll} 入力文： ... ...Ⅴ罩句点\\ EOS & & &\\ \end{tabular}\par \end{screen} \end{center}\end{figure}$

図の下線部分「を行う」が「する」に修正されている．本研究ではこの「する」と修正された「を行う」が差分として検出される．

獲得した差分部分から，パターンを作成する．例えば，先に示した文対例1からは次のようなパターンを獲得する．

パターン例

・パターン 可能である → できる

ここで「可能であり」が差分における修正前の表現であり，「でき」が修正後の表現である．このパターンは「可能であり」を「でき」に修正するパターンとなる．

テストデータの50文にパターンを適用し文を修正する．

上記の

のパターンの適用の際，適用可能なパターンが複数存在することがある．修正に利用するパターンを一つ選ぶために，以下の二種類の方法を設けた．

PT1	最長一致(パターンの修正前の表現が最も長いもの)するパターンにより修正する．最長一致するパターンが複数存在する場合，パターンを構成する差分表現の学習データにおける出現頻度を求め頻度が高かったものにより修正する．

PT2	パターンを構成する差分表現の学習データにおける出現頻度を求め頻度が高かったものにより修正する．

平成26年3月16日