次に，上記の項目の評価方法について述べる．
具体的には，被験者に文末表現の変更の前後の文章を見せ，
それぞれについて意図，情緒，違和感について答えてもらう．
まず，発話の意図が保たれたかどうかを調べるために，
〈伝達〉，〈質問〉，〈確認〉，〈要求〉，
〈肯定〉，〈否定〉，〈受諾〉，〈拒否〉の8つの中から
発話文の意図として最も適当と思う意図を選んでもらう．
文末表現の変更前，変更後，いずれの発話文に対しても
被験者が同じ意図を選んだ場合，意図が保たれたと見なす．
また，システムを用いて文末表現選択をする際に
選択の基準とした意図属性を正解意図とし，
意図が保たれた上で
被験者の選んだ意図が正解意図と一致した場合を
完全一致と呼ぶことにする．
意図が保たれたが完全一致でない場合を単純一致
と呼ぶこととし，単純一致，完全一致の両方について
被験者の回答から意図の保たれ具合を評価する．
次に，目的の情緒が伝わったかどうかを調べるために， 《好ましい》，《期待》，《喜び》，《悲しみ》，《恐れ》， 《怒り》，《嫌だ》，《驚き》，《情緒なし》の9つの中から， 発話文の情緒として最も適当と思うものを選んでもらう． システムを用いて文末表現選択をする際に 入力した情緒を正解情緒とし， 被験者の選んだ情緒が正解情緒と一致したかどうかで 情緒の伝わり具合を評価する． また，《好ましい》と《喜び》の明確な区別が難しいことなどを考慮し， 情緒を9分類系で見た場合と5分類系で見た場合の それぞれについて評価を行う．
9分類系とは，《好ましい》，《期待》，《喜び》，《悲しみ》， 《恐れ》，《怒り》，《嫌だ》，《驚き》，《情緒なし》の9種類での 情緒分類を言う． 5分類系とは，P（《好ましい》，《期待》，《喜び》）， N（《悲しみ》，《恐れ》），A（《怒り》，《嫌だ》）， S（《驚き》），《情緒なし》の5種類での情緒分類を言う．
なお，情緒に関しては特に文末表現変更後で
正確に伝わったかかどうかが重要であるが，
比較のために文末表現変更前の発話文に対する回答も調査する．
文末表現変更前の情緒については，後述する抽出元の
コーパスの発話文に付与されている情緒タグを正解タグとする．
情緒タグは複数付与されているため，
複数の情緒タグのいずれと一致した場合も
目的の情緒が伝わったと見なす．
次に，文末表現を変更したことにより違和感が生じたかどうかを
調べるため，違和感を感じたかどうかを回答してもらう．
特に文末表現変更後で違和感が生じたかどうかが重要であるが，
情緒同様，比較のために文末表現変更前の発話文に対する回答も調査する．
最後に総合評価として， 意図に対する回答と情緒に対する回答とを合わせて評価を行う． 具体的には，意図が保たれた問題で目的の情緒が伝わったか， 意図と情緒の回答の積集合を取る形で集計を行い， 総合評価を行う． これは，意図が保たれるだけでも 目的の情緒が伝わるだけでも良いとは言えないと考えたためである．