Next: 小説の推定精度の比較と考察 Up: 実験結果 Previous: 実験結果(小説) Contents
BERTでの推定実験で文間箇所の直前，直後の1文を用いているため，比較する最大エントロピー法とサポートベクトルマシン法も同様に直前，直後1文に関する素性の推定結果(55#55，55#55+60#60，55#55+63#63)を用いて比較する．新聞記事に対して「★」を含むデータを使用したBERTの推定精度を表4.29に示す．新聞記事に対して，最大エントロピー法(MEM)とサポートベクトルマシン法(SVM)の文間数10,000の推定精度を表4.30に示す．
| MEM | SVM | |
| 55#55 | 0.6905 | 0.6651 |
| 55#55+60#60 | 0.6919 | 0.6684 |
| 55#55+63#63 | 0.6935 | 0.6679 |
| 55#55+65#65 | 0.7430 | 0.7134 |
| 58#58 | 0.6959 | 0.6737 |
| 58#58+65#65 | 0.7644 | 0.7424 |
| 59#59 | 0.6956 | 0.6788 |
| 59#59+65#65 | 0.7628 | 0.7474 |
| ベースライン | 0.6743 | |
3つの手法の推定精度を比較すると，明らかにBERTが優れていることが分かる．他の2つの手法では，+60#60，+63#63として素性を追加することで少し精度の向上は見られるが，BERTに比べれば低い．サポートベクトルマシン法の推定精度に至っては，表4.30の素性ではベースライン手法の正解率を全て下回っている．
4.2.2節の10回のBERTの実験，表4.30の結果をもとに，有意差を検定した．「MEM(SVM)は正解であるがBERTは不正解であった分割箇所」の数と，「MEM(SVM)は正解であるがBERTは不正解であった分割箇所」の数と「MEM(SVM)は不正解であるがBERTは正解であった分割箇所」の数の合計数を用い，二項分布に基づく有意水準0.05の符号検定(片側検定)を行った．BERTとMEMとの有意差検定から得たp値を表4.31に示す．BERTとSVMとの有意差検定から得たp値を表4.32に示す．BERTの正解率は高い順から並べた．
| BERT | MEM | |||
| 正解率 | 55#55 | 55#55+60#60 | 55#55+63#63 | 55#55+65#65 |
| 0.7600 | 9.78488572#72109#109 | 8.08656172#72110#110 | 1.86973572#72109#109 | 0.000333 |
| 0.7597 | 5.21921772#7277#77 | 1.55623672#72111#111 | 5.69557672#72112#112 | 0.000441 |
| 0.7592 | 3.31356372#72110#110 | 2.21809872#72109#109 | 5.64276772#72111#111 | 0.000530 |
| 0.7581 | 5.31483172#72109#109 | 2.61060172#72112#112 | 7.58733272#72113#113 | 0.001286 |
| 0.7569 | 8.74853172#72113#113 | 2.13814672#72107#107 | 3.68739372#72114#114 | 0.003028 |
| 0.7561 | 3.57611372#72115#115 | 8.62436372#72107#107 | 3.05849072#72116#116 | 0.004861 |
| 0.7547 | 1.90935672#72115#115 | 5.71866072#72107#107 | 1.71553972#72116#116 | 0.009505 |
| 0.7546 | 3.87649672#72115#115 | 2.46776772#72114#114 | 2.59515172#72116#116 | 0.010689 |
| 0.7527 | 4.50566572#72116#116 | 1.23668772#72117#117 | 1.86484272#72118#118 | 0.027248 |
| 0.7520 | 1.23470072#72117#117 | 3.58435872#72118#118 | 3.00426772#72119#119 | 0.039394 |
| BERT | SVM | |||
| 正解率 | 55#55 | 55#55+60#60 | 55#55+63#63 | 55#55+65#65 |
| 0.7600 | 9.51797772#72120#120 | 3.69223872#7294#94 | 1.81481772#72121#121 | 1.11463272#72122#122 |
| 0.7597 | 9.02884872#72120#120 | 3.86806572#72123#123 | 6.40510272#7294#94 | 3.40228072#72122#122 |
| 0.7592 | 2.49674172#72124#124 | 7.34201472#7294#94 | 3.53963472#72121#121 | 2.55843172#72122#122 |
| 0.7581 | 3.93906772#72125#125 | 3.45368472#7293#93 | 7.00367172#72126#126 | 3.06274372#72103#103 |
| 0.7569 | 1.08702872#7293#93 | 6.63525572#72108#108 | 8.66106672#7278#78 | 5.87853872#72127#127 |
| 0.7561 | 2.64325172#72128#128 | 1.46682572#7285#85 | 1.63057672#7284#84 | 2.05683872#7299#99 |
| 0.7547 | 3.01168672#72128#128 | 1.13112672#7285#85 | 4.39218272#7284#84 | 8.35809572#7299#99 |
| 0.7546 | 5.39773772#7293#93 | 9.94626172#7284#84 | 2.73909172#72108#108 | 1.16955672#72102#102 |
| 0.7527 | 1.07530372#7285#85 | 5.59648972#7286#86 | 6.05693972#7295#95 | 2.63692372#72104#104 |
| 0.7520 | 1.01983672#7295#95 | 4.03371772#7287#87 | 4.71091572#7279#79 | 1.38074872#7298#98 |
表4.31，表4.32より，10回試行したBERTの正解率はMEM，SVMの正解率に対して全て有意差があった．また表4.30より，MEMとSVMで同じ素性を用いた時の正解率の有意差を検定した．「SVMは正解であるがMEMは不正解であった分割箇所」の数と，「SVMは正解であるがMEMは不正解であった分割箇所」の数と「SVMは不正解であるがMEMは正解であった分割箇所」の数の合計数を用い，二項分布に基づく有意水準0.05の符号検定(片側検定)を行った．有意差検定から得たp値を表4.33に示す．
表4.33より，MEMはSVMに対して全ての素性で有意差があった．