評価に過去の発話を使用する

学習・テスト時に過去の発話を使用しなかったモデルの出力(応答)を， 過去の発話を含むモデルと同様な評価方法により評価した． すなわち，本来の発話データとその直前一発話分の発話を文脈とし， それ以前の文脈は見ずに評価する． 精度評価を表6.5.3に，多様性評価を表6.5.4に示す． 表6.5.3の括弧内右側の数値は， 評価を発話のみ低頻度語処理した学習データを使用したモデルによる出力との精度の比較である．

表 6.5.3: 精度評価結果(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

手法	○評価数	△評価数	$\times$評価数
低頻度語全てをヌルトークン化	0.360(72/200,$-0.010$)	0.345(69/200,$-0.040$)	0.295(59/200,+0.050)
Copyable Model	0.260(52/200,$-0.030$)	0.425(85/200,+0.025)	0.315(63/200,+0.005)
品詞置き換え	0.260(52/200,$-0.025$)	0.445(89/200,+0.030)	0.295(59/200,$-0.005$)
提案手法	0.315(63/200,$-0.030$)	0.395(79/200,$-0.005$)	0.290(58/200,+0.035)

表 6.5.4: 多様性評価結果(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

手法	○評価数	△評価数	○種類数	△種類数
全ヌルトークン化	72	69	29	27
Copyable Model	52	85	26	37
品詞置き換え	52	89	25	36
提案手法	63	79	33	27