人手評価

人手評価は，入力文と出力文と参照文を比較し，翻訳品質を1から5の数値でランクづけする手法で行う．ランク1がもっとも悪い評価で，ランク5がもっとも良い評価である．評価対象は，各翻訳システムの10,000文の出力文から，ランダムに100文抽出した文である．評価基準を表6.3に，評価の例を表6.4から表6.8に示す．

=23pt

表: 人手評価の評価基準

ランク	ランク付与基準
	文法が正しく，言いたいことがすぐわかる．
	文法が正しく，言いたいことがすぐわかる．
	文法に誤りがあるが，言いたいことがすぐわかる．
	文法に誤りがあるが，言いたいことがすぐわからない．
	文法に誤りがあり，言いたいことも分からない．

=8pt

表: ランク5の例

	評価文	人手評価
入力文	その 技術 は 元来 軍事 用 に 開発 さ れ た 。
出力文	The technology was originally developed for military affairs .	5
参照文	The technology was originally developed for military use .

=8pt

表: ランク4の例

	評価文	人手評価
入力文	陪審 の 評決 が 出 た 。
出力文	The jury's verdict came out .	4
参照文	The jury has reached a verdict .

=8pt

表: ランク3の例

	評価文	人手評価
入力文	彼ら は 秘密 の うち に 結婚 し た 。
出力文	They got married to the inside of the secret .	3
参照文	They were married in private .

=8pt

表: ランク2の例

	評価文	人手評価
入力文	彼 は 歓迎 会 の 会場 を テーブル から テーブル へ と 歩き回っ た 。
出力文	He trod to the table of the welcome from the table .	2
参照文	He circulated from table to table at the reception .

=8pt

表: ランク1の例

	評価文	人手評価
入力文	この 町 に は あまり 見る 所 が ない 。
出力文	There 's no doesn 't have much as this town .	1
参照文	There are not many sights to see in this town .