next up previous contents
Next: おわりに Up: 考察 Previous: 精度   目次

多様性

入力に過去の発話を含む学習データにおける精度○評価の多様性は, 品詞置き換えのみの手法が37種類で最良であり(表6.4.13参照), 過去の発話を含まない学習データからの向上数も品詞置き換えのみの手法が+11種類で最良だった(表6.4.19参照).

全手法において,出力結果から「うん」等使用頻度の高い応答が複数あった. 例として提案手法の全テストデータ694発話に対する出力の, 出力数上位5文を表7.3.1に示す. 過去の発話を含まない学習の出力結果では, 「うん」はテストデータの総数694のおよそ半分の328個である. 過去の発話を含む学習データにおける出力では, 同じ応答の使用頻度は全ての手法において減少した.

「うん」は文脈により意味,役割が変わりやすく, 厳密な評価が困難である. また,表7.3.1の出力は全て, 文脈により評価がわかれやすい応答である. 非タスク指向型対話システムにおいて,似たような出力が多くなることは 好ましくないと思われる.


表 7.3.1: 提案手法の出力数上位5文
過去の発話を含まない 過去の発話を含む
出力(応答) 出力数 出力(応答) 出力数
うん 328 うん 258
ふーん 27 ふーん 31
うーん 16 うーん 22
そうですね 11 何? 13
はい 9 そうですね 11


next up previous contents
Next: おわりに Up: 考察 Previous: 精度   目次
2018-02-28