はじめに

対話のモデルをニューラルネットワークにより構築したものをニューラル対話モデルという[1]． ニューラル対話モデルの学習に用いるデータをコーパスと呼ぶ． コーパス中での出現頻度が低い要素を低頻度語という． 要素(語彙)が増えるとニューラルネットワークの学習速度が落ちることと， 低頻度語はうまく学習を行うことができないため，学習の前に低頻度語を削減する処理を行う．

低頻度語処理の手法として，Copyable Model[2]と低頻度語の高頻度語への置き換え[3]がある． Copyable Modelは，入力(発話)と出力(応答)の単語に対応関係のない対話モデルではヌルトークン$unk_{0}$が 多く出現する． また，低頻度語の高頻度語への置き換えを行う手法もあるが，事前準備として単語の置き換え辞書を作成する必要がある．

本研究では，CopyableModel処理に加え， CopyableModelで処理できずに残ったヌルトークン$unk_{0}$を少数のグループへ分割することにより， 応答の精度と多様性の向上を試みる．分割するためのラベルとして品詞情報を用いた．

また，評価のしやすさの向上のために過去の発話を用いた学習を行う． 過去の発話を用いた学習では，発話の直前の対話(過去の発話)を学習データとして追加することで， 評価の際に評価者が文脈を知ることができるようにし評価をより厳密にすることを試みる． 評価時だけでなく学習データに過去の発話を追加する理由は， 偶然の出力ではなく文脈を学習した出力の評価を行うためである．

本研究では入力側(原言語)のみ低頻度語処理を行う． 通常、低頻度語処理は入力，出力ともに行う． 学習時間の削減のために必要なのは出力側(目的言語)であるが， 出力側に低頻度語処理を行うと，出力に未知語が含まれるようになるため評価が困難になる． そのため本研究では学習時間を考えず入力の低頻度語処理のみを行う．

本研究の主な主張点を以下に整理する．

• ヌルトークンを削減し，学習データにより多くの情報を残す． これにより応答の精度・多様性を向上を試みた． 全てヌルトークンへ置き換える手法より精度・多様性の両方の数値で上回る手法を発見した． 精度○+△評価は品詞付加のみの手法と提案手法が最良であり，品詞付加のみの手法が0.750(150/200)で 提案手法が0.755(151/200)となった． 精度○評価内における多様性評価は品詞付加のみの手法(37種類)と提案手法(35種類)が最良であり， 精度○+△評価内での 多様性が最良の手法は低頻度語処理をしない手法(75種類)だった．

• 過去の発話を用い，文脈を読み取れるデータを作成することで 評価を行いやすくした．評価200文中，84文の文脈が明確化した．

本論文の構成は以下の通りである． 第2章では，ニューラルネットワークについて述べる． 第3章では，類似研究の手法について述べる． 第4章では，本研究の手法について述べる． 第5章では，実験環境について述べる． 第6章では，実験結果を述べる． 第7章では，本実験の考察を述べる． 第8章では，本実験の簡単なまとめを述べる．