品詞に基づくヌルトークンの細分化と,評価のしやすさの向上のためのデータ調整を行った. ヌルトークンに品詞情報を付加することで細分化し,Copyable Modelと組み合わせることで 性能向上を試みた. また,過去の発話を学習・評価データとして用いることで 評価のしやすさと厳密性の向上を試みた.
結果として, 入力に過去の発話を含む学習データにおける精度評価の○評価は提案手法が最良で0.34(68/200)となった. また,精度○評価の事例内における多様性評価は品詞付加のみの手法(37種類)と提案手法(35種類)が最良だった. 精度○+△評価は品詞付加のみの手法と提案手法が最良であり,品詞付加のみの手法が0.750(150/200)で 提案手法が0.755(151/200)となった. 精度○+△評価内での 多様性が最良の手法は低頻度語処理をしない手法(75種類)だった. また,過去の発話を付加することで評価のしやすさと厳密性が向上した. 評価200文中,84文の文脈が明確化した.
今後は,対話データの大幅な追加を行いつつ,出力の多様性と精度を向上させる. また,「うん」など多数出力される応答についての評価を厳格化する. 具体的には,「うん」など出力数の多い応答の評価を△評価に固定するなど, 多様性のあるモデルを高く評価できるように基準を見直す.