実験と結果

パターンを用いる手法(PT1とPT2)， 機械学習を用いる手法(ML1とML2)， ベースライン手法(BL1とBL2)， スタッキング手法(ST1とST2)による冗長な文の修正結果 を示す．

ベースラインで用いられた各表現ごとの修正前と修正後の表現対(最頻の表現対)は以下である．

表現	修正前表現	修正後表現
「可能」を含む文	可能である	できる
「という」を含む文	という	(Φ)
「すること」を含む文	することが	(Φ)

ベースラインで用いられた各表現ごとの修正後のみの表現対(最頻の表現対)は以下である．

表現	修正後表現
「可能」を含む文	できる
「という」を含む文	(Φ)
「すること」を含む文	(Φ)

「という」「すること」の表現対における修正後表現の「Φ」は 修正前の表現を削除することを意味する．

修正前と修正後の両方の表現を推定できた場合に正解とする場合の正解率を表から表に示す． 表は2分割クロスバリデーション(2CV)における1回目の試行結果を示し，表は2CVにおける2回目の試行結果を示している． 表と表を総合した結果が表となる．

表: 修正前表現と修正後表現の推定の正解率(試行1回目)

手法	可能	という	すること	合計
PT1	0.64(32/50)	0.50(25/50)	0.32(16/50)	0.49(73/150)
PT2	0.50(25/50)	0.64(32/50)	0.56(28/50)	0.57(85/150)
ML1	0.58(29/50)	0.70(35/50)	0.58(29/50)	0.62(93/150)
BL1	0.26(13/50)	0.68(34/50)	0.32(16/50)	0.42(63/150)
ST1	0.60(30/50)	0.82(41/50)	0.58(29/50)	0.67(100/150)

表: 修正前表現と修正後表現の推定の正解率(試行2回目)

手法	可能	という	すること	合計
PT1	0.64(32/50)	0.62(31/50)	0.32(16/50)	0.53(79/150)
PT2	0.66(33/50)	0.68(34/50)	0.54(27/50)	0.63(94/150)
ML1	0.58(29/50)	0.80(40/50)	0.54(27/50)	0.64(96/150)
BL1	0.26(13/50)	0.64(32/50)	0.34(17/50)	0.41(62/150)
ST1	0.52(26/50)	0.70(35/50)	0.60(30/50)	0.61(91/150)

表: 修正前表現と修正後表現の推定の正解率

手法	可能	という	すること	3表現すべて
PT1	0.64(64/100)	0.56(56/100)	0.32(32/100)	0.51(152/300)
PT2	0.58(58/100)	0.66(66/100)	0.55(55/100)	0.60(179/300)
ML1	0.56(56/100)	0.75(75/100)	0.56(56/100)	0.62(187/300)
BL1	0.26(26/100)	0.66(66/100)	0.33(33/100)	0.42(125/300)
ST1	0.56(56/100)	0.76(76/100)	0.59(59/100)	0.64(191/300)
最良1	0.57(57/100)	0.70(70/100)	0.59(59/100)	0.62(186/300)

修正後の表現さえ推定できただけで正解とする場合の正解率を表から表に示す． 表は2CVにおける1回目の試行結果を示し，表は2CVにおける2回目の試行結果を示している． 表と表を総合した結果が表となる．

表: 修正後表現の推定の正解率(試行1回目)

手法	可能	という	すること	合計
PT1	0.74(37/50)	0.78(39/50)	0.34(17/50)	0.62( 93/150)
PT2	0.52(26/50)	0.78(39/50)	0.58(29/50)	0.63( 94/150)
ML2	0.66(33/50)	0.86(43/50)	0.66(33/50)	0.73(109/150)
BL2	0.64(32/50)	0.82(41/50)	0.44(22/50)	0.63( 95/150)
ST2	0.68(34/50)	0.88(44/50)	0.64(32/50)	0.73(110/150)

表: 修正後表現の推定の正解率(試行2回目)

手法	可能	という	すること	合計
PT1	0.72(36/50)	0.82(41/50)	0.32(16/50)	0.62( 93/150)
PT2	0.68(34/50)	0.82(41/50)	0.56(28/50)	0.67(103/150)
ML2	0.60(30/50)	0.78(39/50)	0.66(33/50)	0.68(102/150)
BL2	0.70(35/50)	0.78(39/50)	0.42(21/50)	0.63( 95/150)
ST2	0.62(31/50)	0.76(38/50)	0.62(31/50)	0.67(100/150)

表: 修正後表現の推定の正解率

手法	可能	という	すること	3表現すべて
PT1	0.73(73/100)	0.80(80/100)	0.33(33/100)	0.62(186/300)
PT2	0.60(60/100)	0.80(80/100)	0.57(57/100)	0.66(197/300)
ML2	0.65(65/100)	0.81(81/100)	0.65(65/100)	0.70(211/300)
BL2	0.67(67/100)	0.80(80/100)	0.43(43/100)	0.63(190/300)
ST2	0.65(65/100)	0.82(82/100)	0.63(63/100)	0.70(210/300)
最良2	0.73(73/100)	0.76(76/100)	0.65(65/100)	0.72(216/300)

表と表において，3つの表現すべてを合わせたものの正解率では， 機械学習が関係しているML1，ML2，ST1，ST2，最良1，最良2が 他手法に比べて良く，これらの手法は， 表では，約6割の正解率， 表では，約7割の正解率を得た． 修正前と修正後の両方の表現を推定する場合，機械学習が関係する手法では，6割の正解率を得た． 修正後の表現のみを推定する場合においても，機械学習が関係する手法で，7割の正解率を得た．

表に正しく修正できた文の例を，表に誤って修正した文の例を示す．

表: 正しく修正できた例

表現	出力文
	しかし、この考え方は現実的にも適応可能である。→(適応できる)に修正
		理論上、感度と特異度は独立しており、共に100％を達成することも可能である。→(できる)に修正
		無泥水・無排土での施工が可能であり、経済的である。→(施工でき)に修正
		つまり動く物体の長さは縮んで計測されるということが分かる。→(計測されること)に修正
			また、アジア側では赤道の北に片寄り、オセアニアからアメリカの間では赤道の南に片寄るという特徴が見られる。→（片寄る特徴）に修正
			固定されていると言っても、必ずしもその値が具体的に特定されている必要はなく、特定の値をとることが決まっているという定数の特徴である。→（決まっている定数の特徴）に修正
		以上より、問題の積分を計算することができた。→(計算できた)に修正
			所有権は、何ら人為的拘束を受けず、侵害するあらゆる他人に対して主張することができる完全な支配権であり、国家の法よりも先に存在する権利で神聖不可侵であるとする原則。→(主張できる)に修正
			しかし、その存在は全能であるから、その存在は後からいつでも、持ち上げられる程度に石を軽くすることができる。→(軽くできる)に修正

表: 誤って修正した例

表現	出力文	正解文
可能	炭素源による分類も明確な区別が可能だが、混合栄養は二酸化炭素と有機物の両方を炭素源とするという特異な分類もなされる。下線部を→(できる)に修正	炭素源による分類も明確に区別できるが、混合栄養は二酸化炭素と有機物の両方を炭素源とするという特異な分類もなされる。
という	時間計算量と空間計算量という二つの観点がある。下線部を→(の)に修正	時間計算量と空間計算量の観点がある。
すること	上記のとおり、準拠法指定に関する立法上・解釈上の指針は、問題となる私法的法律関係に関する最密接地の法を選ぶ点にあり、そのためには、そのような地を指定することが可能となる要素を媒介とする必要がある。下線部を→削除	上記のとおり、準拠法指定に関する立法上・解釈上の指針は、問題となる私法的法律関係に関する最密接地の法を選ぶ点にあり、そのためには、そのような地を指定できる要素を媒介とする必要がある。