評価試験

合成できた3,167件のうち100件を選び, 下記のような単語了解度試験,オピニオン評価を行った. ただし100件の地名は,了解度試験への影響を避けるために 被験者になじみのない地名を選ぶようにし, さらに,条件の厳しい音声の評価を行うために 複数の音声部品が一発声(同じ地名の発声)から連続して 選択されているものは避けて選択した.

1. 100件それぞれの地名について, 音声部品作成時と同じ話者が発声した自然音声を用意した。
2. 了解度試験,オピニオン評価とも, 被験者には音声研究に携わった経験のない人10名を選び, ヘッドフォンから音声を提示した.
3. 了解度試験: 自然音声と合成音声100件ずつを 各々ランダムな順序で提示し, 聞こえた地名を仮名で書き取るよう指示した. 自分の知識や,前に聞いた地名のことは考えず, そのときに聞こえた音を書き取るよう指示した.
4. オピニオン評価: 自然音声と合成音声の計200件をランダムな順序で提示し, 各々の音声の自然さについて1から5の間の5段階 (1が最も不自然,5が最も自然)で評価するよう指示した. 同じような地名が何度か出てきても,それ以前に聞いた音と比較せずに 評価するよう指示した.