毎日新聞95年11月分の記事から，CASE毎にランダムに100組(各組は2文からなる)を抜き出す． CASE1，CASE2，CASE3を1人それぞれ20問ずつ，被験者5名で， その100組について，文の順序を推定する． 同じ100組を提案手法と確率手法で文の順序を推定する． CASE2，CASE3において機械学習では判定する 2文以前の(同じ段落内の)文の情報を用いているので， 人の判定の際でも判定する2文以前の(同じ段落内の)文を提示する．
表![[*]](crossref.png)
に被験者と提案手法と確率手法による
判定結果の正解率を示す．
表のAからEは被験者5名を，
平均は被験者5名の正解率の平均を意味する．
| 被験者 | 提案 | 確率 | |||||||||||||||
| A | B | C | D | E | 平均 | 手法 | 手法 | ||||||||||
| CASE1 | 0.75 | 0.70 | 0.75 | 0.95 | 0.95 | 0.82 | 0.79 | 0.65 | |||||||||
| CASE2 | 0.80 | 0.80 | 0.85 | 1.00 | 0.90 | 0.87 | 0.67 | 0.64 | |||||||||
| CASE3 | 0.65 | 0.75 | 0.85 | 0.65 | 0.70 | 0.72 | 0.71 | 0.56 | |||||||||
表の被験者の正解率の平均と
提案手法の正解率を比較すると，
CASE1とCASE3では，
提案手法は被験者の平均に近い正解率を得ている．
CASE2では，残念ながら
提案手法は被験者の平均よりかなり低い正解率となっている．
CASE2に関して提案手法で設定した素性がまだ不十分かもしれない．
今後素性を拡充し，被験者の正解率に近づけたいと考えている．
図から図にかけて各CASE毎の，提案手法で推定成功し人手で推定失敗した実例，
またその逆の実例を示す．
![\begin{figure}\begin{itembox}[c]{CASE1:提案手法○，人手推定×の実例}
\begin{desc...
...政権を揺さぶる可能性が強まってきた．
\end{description}\end{itembox}
\end{figure}](img36.png)
![\begin{figure}\begin{itembox}[c]{CASE1:提案手法×，人手推定○の実例}
\begin{desc...
...き，めぼしをつけた受験生にアタック．
\end{description}\end{itembox}
\end{figure}](img37.png)
![\begin{figure}\begin{itembox}[c]{CASE2:提案手法○，人手推定×の実例}
\begin{desc...
...中東イスラム圏では珍しい世俗国家だ．
\end{description}\end{itembox}
\end{figure}](img38.png)
![\begin{figure}\begin{itembox}[c]{CASE2:提案手法×，人手推定○の実例}
\begin{desc...
...表に出ることを恐れているといわれる．
\end{description}\end{itembox}
\end{figure}](img39.png)
![\begin{figure}\begin{itembox}[c]{CASE3:提案手法○，人手推定×の実例}
\begin{desc...
...査で，石室内から最高級の馬具が出土．
\end{description}\end{itembox}
\end{figure}](img40.png)
![\begin{figure}\begin{itembox}[c]{CASE3:提案手法×，人手推定○の実例}
\begin{desc...
...約九百八十年のミズナラの大木である．
\end{description}\end{itembox}
\end{figure}](img41.png)