人手評価は，各翻訳システムの10,000文の出力文から，ランダムに100文を抽出 する．そして，１文ずつ1(悪い翻訳)〜5(良い翻訳)でランクづけし，平均値を 算出する(adequacy)．評価者は1名である．
