4.5.2節のデータを学習データとして10分割クロスバリデーションを 行って評価した． ベースラインとして全て正例と判定するものを用い，比較した．
結果を表4.5から表4.7に示す． ここでのF値は正例の文を抽出する性能を示すものである．
| 再現率 | 適合率 | F値 | |||
| 提案手法 | 0.87 | (47/54) | 0.87 | (47/54) | 0.87 |
| ベースライン | 1.00 | (54/54) | 0.54 | (54/100) | 0.70 |
| 再現率 | 適合率 | F値 | |||
| 提案手法 | 0.61 | (25/41) | 0.83 | (25/ 30) | 0.70 |
| ベースライン | 1.00 | (41/41) | 0.41 | (41/100) | 0.58 |
| 再現率 | 適合率 | F値 | |||
| 提案手法 | 0.69 | (29/42) | 0.74 | (29/ 39) | 0.71 |
| ベースライン | 1.00 | (42/42) | 0.42 | (42/100) | 0.59 |
表4.5から4.7のように 提案手法は「可能」「という」「すること」の表現について 0.7から0.8という高いF値を得た． ベースラインよりも検出性能が高かった．
これらの表現については学習データを増やすことで性能の向上が期待できる．
表4.8に提案手法で正しく冗長な文であると判断できた文の例を示す．
| 正例 | ||||||
| しかし、この考え方は現実的にも適応可能である。→例えば(適応できる)に修正可 | ||||||
| 理論上、感度と特異度は独立しており、共に100％を達成することも可能である。→例えば(できる)に修正可 | ||||||
| 無泥水・無排土での施工が可能であり、経済的である。→例えば(施工でき)に修正可 | ||||||
| つまり動く物体の長さは縮んで計測されるということが分かる。→例えば(計測されること)に修正可 | ||||||
| また、アジア側では赤道の北に片寄り、オセアニアからアメリカの間では赤道の南に片寄るという特徴が見られる。→ここでの（という）は削除可 | ||||||
| 固定されていると言っても、必ずしもその値が具体的に特定されている必要はなく、特定の値をとることが決まっているというの定数の特徴である。→ここでの（という）は削除可 | ||||||
| 以上より、問題の積分を計算することができた。→例えば(計算できた)に修正可 | ||||||
| 所有権は、何ら人為的拘束を受けず、侵害するあらゆる他人に対して主張することができる完全な支配権であり、国家の法よりも先に存在する権利で神聖不可侵であるとする原則。→例えば(主張できる)に修正可 | ||||||
| しかし、その存在は全能であるから、その存在は後からいつでも、持ち上げられる程度に石を軽くすることができる。→例えば(軽くできる)に修正可 | ||||||
表4.8より例えば「可能」についての例文の「しかし、この考え方は現実的にも適応可能である」という文を考えてみる．文中の「適応可能である」は，定義「簡潔なものへの言い換えができる表現」の「必要以上の漢語」にあてはまる．よってこの文は例えば「しかし、この考え方は現実的にも適応できる」と簡潔化ができるため，冗長であるといえる．そのため冗長な文を正しく推定できているといえる．
表4.9に提案手法で正しく冗長な文でないと判断できた文の例を示す．
| 負例 | ||||||
| 再帰理論において原始再帰関数は、計算可能性の完全形式化のための重要な要素となる関数 | ||||||
| 代数的半順序集合は、それが有限のものに制限されていても、すべての要素の近似を可能にするため、表示的意味論の観点からはとりわけ行儀よくふるまう。 | ||||||
| 計算可能性理論の大部分はこの停止問題の結果に基づいて構築されている。 | ||||||
| 文の成立について、山田は「陳述」という用語を用いた。 | ||||||
| 居酒屋でイングラム・フライザーという男と口論から喧嘩になり、ナイフで刺されて死亡したのち無縁墓地に埋葬された。 | ||||||
| 地方議員の定数は、地方自治法により議員定数の上限数を定められているが、議員の定数が多いので削減すべきという議論がある。 | ||||||
| つまり歪曲することを求めていないのではないか？ | ||||||
| 漁船法は、漁船の建造を調整し、漁船の登録及び検査に関する制度を確立し、且つ、漁船に関する試験を行い、もつて漁船の性能の向上を図り、あわせて漁業生産力の合理的発展に資することを定めた法律。 | ||||||
| 寄生虫病の予防及び寄生虫病患者に対する適正な医療の普及を図ることによって、寄生虫病が個人的にも社会的にも害を及ぼすことを防止し、もって公共の福祉を増進することを目的として制定された法律である。 | ||||||
表4.9より例えば「すること」についての例文「つまり歪曲することを求めていないのではないか？」という文を考えてみる．この文は「歪曲する」という動詞について述べている文であり，「歪曲」という名詞について述べているわけではない．よってこの文中の「すること」は必要な表現であるといえる．そのため冗長でない文を正しく推定できているといえる．