next up previous contents
Next: 多様性 Up: 考察 Previous: 評価のしやすさ・厳密性   目次

精度

入力に過去の発話を含まない学習データと過去の発話を含む学習データの出力比較では, 過去の発話を含む学習データの出力において品詞置き換えのみの精度評価が○評価で+1向上し, △評価で+9向上した(表6.4.19参照). 入力に過去の発話を含む学習データの○評価においては提案手法が0.34(68/200)となり最良だった(表6.3.8参照). 入力に過去の発話を含む学習データでは,精度が大きく減少したのは低頻度語を全てヌルトークン化する手法のみだった(表6.4.19参照).

過去の発話を付与すると入力側の学習データが長くなるため,精度が落ちると思われたが, 品詞付加の手法では精度が向上し,Copyable Modelと提案手法では精度の低下は無かったため, 精度を維持したまま過去の発話を学習データとして使用できる可能性がある.

また,過去の発話を用いた評価の場合, 入出力の両方に低頻度語処理を行った結果と 入力だけに低頻度語処理を行った結果を比べると, 両方に処理を行った結果の○評価が全ての手法において減少した(表6.5.1,表6.5.3,表6.5.5参照). 応答に未知語が出力された場合,未知語が含まれない場合と比べて評価と評価のしやすさが低くなる. また,低頻度語処理を行わないモデルは未知語が出力されないため, 出力側で低頻度語処理を行うモデルより性能が高く評価されてしまう. そのため,未知語が出力されない手法と正しく比較するためにも, 対話の評価においては低頻度語処理を入力側のみ行うことが良いと思われる.



2018-02-28