過去の発話を含まない学習データの過去の発話を用いた多様性評価

過去の発話を含むモデルと同様な評価方法により評価した過去の発話を含まない学習モデルにおける テスト出力結果の多様性評価を表6.4.7に示す． また，各手法の○評価においての出力と出力数詳細を表6.4.8から表6.4.12に示す．

表 6.4.7: 多様性評価結果(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

手法	○評価数	△評価数	○出力種類数	△出力種類数
低頻度語置き換え無し	56	84	33	30
低頻度語全てをヌルトークン化	74	77	39	24
Copyable Model	58	80	29	27
品詞置き換え	57	83	26	29
提案手法	69	80	41	22

表 6.4.8: 低頻度語置き換え無し(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

出力数	応答
22	うん
2	はい
2	そう な ん です か
1	僕 も 大好き です
1	美味しい です ね
1	大変 だ よ ね
1	川 は 綺麗 です ね
1	行き たい
1	気持ち が いい です ね
1	気 を つけ て ください
1	楽しい です ね
1	海 に 行き ませ ん か ?
1	何 が 好き です か ?
1	一人 で 行く の です
1	わからん
1	ほんと ?
1	ほんと
1	ねー
1	どういたしまして
1	そうそう そうそう
1	そう な ん だ
1	そう そうそう そうそう
1	そう そう そう そう
1	そう
1	かわいい
1	ええ
1	うん
1	いい です ね
1	あっ そう
1	ああ そう です か
1	ああ そう
1	あ そう
1	いい ?

表 6.4.9: 低頻度語全てをヌルトークン化(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

出力数	応答
28	うん
4	あ そう な ん だ
3	そう な ん だ
2	はい
2	そうですね
2	いい です ね
1	和食 が 好き です ね
1	予防 が 大切 です ね
1	味 が いい です ね
1	川 は 綺麗 です ね
1	湘南 は 楽しい です ね
1	私 も 好き です
1	嫌い な ん です か ?
1	嫌い です
1	気持ち が いい です ね
1	楽しい です ね
1	海 に 行き ませ ん か ?
1	何 ?
1	穏やか だ ね
1	一人 で 行く の です
1	テレビ で 見 ます ?
1	スポーツ は 得意 です か ?
1	ほんと ?
1	へえー
1	どういたしまして
1	そうですね
1	そうそう そうそう
1	そう な ん です か
1	そう だ よ ね
1	そう そうそう
1	そう
1	かわいい ね
1	おいしい
1	ええ
1	うそ ー
1	いき たい
1	あ ほんと
1	あ そう な ん です か
1	あ そう な ん だ

表 6.4.10: Copyable Model(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

出力数	応答
26	うん
3	そうですね
2	そう
2	あ そう な ん だ
1	湘南 は 楽しい です ね
1	行き たい
1	好き です か ?
1	気持ち が いい です ね
1	楽しい です ね
1	海 は 楽しい です ね
1	何 を ?
1	一人 で 行く の です
1	スポーツ は 好き です か ?
1	まじ で ?
1	ほんと ?
1	はあ
1	どういたしまして
1	そうそう そうそう
1	そう な ん だ
1	そう だ ね
1	おいしい
1	ええ
1	いや
1	あっ そう
1	あ 本当 ?
1	あ ほんと
1	あ そう
1	$unk_{1}$ は いい です ね
1	$unk_{1}$ が 多い です

表 6.4.11: 品詞置き換え(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

出力数	応答
23	うん
5	そうですね
3	そう な ん だ
2	海 は 楽しい です ね
2	そうそう そうそう
2	そう そうそう
1	気持ち が いい です ね
1	気 を つけ て ください
1	楽しい です ね
1	一人 で 行く の です
1	テレビ は 好き です か ?
1	わかん ない
1	はい
1	どういたしまして
1	そうそう
1	そう な ん です か
1	そう な の です か
1	そう だ ね
1	かわいい ね
1	うん
1	いい です ね
1	あっ た ?
1	あ そう な ん だ
1	あ そう な の ?
1	あ そう です か
1	そう だ よ ね

表 6.4.12: 提案手法(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

出力数	応答
23	うん
2	はい
2	そうですね
2	そうそう そうそう
2	あっ そう
2	あ ほんと
2	あ そう です か
1	予防 が 大切 です ね
1	食べ ない
1	湘南 が いい です ね
1	行き たい
1	汗 で 水分 が 出 ます よ ねー
1	楽しい です ね
1	海 は 穏やか です ね
1	海 に 行き ませ ん か ?
1	何 が ?
1	塩 が 好き な ん です か ?
1	一人 で 行く の です
1	わからん
1	やっ て た
1	ほんと ?
1	なんで ?
1	どういたしまして
1	そうそう
1	そう な ん です か
1	そう な ん だ
1	そう です よ ね
1	そう です か
1	そう だ ね
1	そう
1	おいしい です ね
1	うんうん
1	うん ?
1	うん
1	いや
1	いき た ー い
1	いい です ね
1	あ そう
1	$unk_{1}$ は 好き です ね
1	$unk_{1}$ は 好き です か ?
1	何で ?