知見

冗長な文を分析した結果「可能」や「すること」などの表現が入った文は 冗長である可能性が高いという知見を得ている． すべての文に対して1個の機械学習を利用して 冗長な文の判定を行う手法で， 0.52の適合率を得てベースライン(すべてを冗長な文と判定する方法)を 上回ったが，F値ではベースラインより劣っていた． そこで特定の表現ごとに機械学習を行って冗長な文を検出する手法を利用した． この手法では，「可能」「という」「すること」の表現において0.7から0.8という 比較的高いF値で検出できている． この結果はベースラインの性能を上回った． この研究では，「可能」「という」「すること」の表現でしか実験していないが， 同様の処理を行うことでこれら以外の表現についても 冗長な表現の検出が期待できる．