コーパスを8分割し,そのうち1つをテストデータ, 他を学習データとする.
単語 | 変換前 | 変換後 | ||
名古屋 | O | O | ||
駅 | O | O | ||
で | O | O | ||
N | B | I | ||
7 | I | I | ||
0 | I | I | ||
0 | I | I | ||
系 | I | E | ||
と | O | O | ||
ドクター | B | I | ||
イエロー | I | E | ||
を | O | O | ||
撮影 | O | O | ||
し | O | O | ||
まし | O | O | ||
た | O | O | ||
。 | O | O |
学習データに4.1.2節で述べた素性を作成する. 入力文「名古屋駅でN700系とドクターイエローを撮影しました。」 の存在物の抽出実験時の例を図4.1に示す.
テストデータに4.1.2節で述べた素性を元に作成する. ただし次のクラスがX,I,O,および,Eだけのものをそれぞれ作成する.
入力文「名古屋駅でN700系とドクターイエローを撮影しました。」の存在物の抽出実験時の例を 図4.2に示す.
推定の例を表4.2に示す.品詞は紙面の都合上,省略して記す.
存在物を抽出する場合を例に説明する. 文末から推定を行うので,まず,単語「。」を推定する. 「。」の品詞は記号であるためSVMは存在物でないと判断し,「。」のタグを「O」と推定する. 次に,「。」の文頭側の単語「た」を推定する. 「た」の次の推定タグの部分には, 「た」の文末側の単語「。」の推定結果「O」が付与される. 「た」の品詞は助動詞であり次の単語は「EOS(End Of Sentense)」であるため存在物でないと判断し, 「た」のタグを「O」と推定する. 次は「た」の文末側「まし」を推定する. このような順でSVMは推定を繰り返す.
単語 | 素性 | 推定結果 | |||||
次の単語の
推定タグ |
次の単語 | 品詞 | 固有表現タグ | 係り先 | |||
名古屋 | O | 駅 | 名詞 | B-LOCATION | nil | O | |
駅 | O | で | 名詞 | I-LOCATION | nil | O | |
で | I | N | 助詞 | O | で撮影 | O | |
N | I | 7 | 記号 | O | nil | I | |
7 | I | 0 | 名詞 | O | nil | I | |
0 | I | 0 | 名詞 | O | nil | I | |
0 | E | 系 | 名詞 | O | nil | I | |
系 | O | と | 名詞 | O | nil | E | |
と | I | ドクター | 助詞 | O | とドクター | O | |
ドクター | E | イエロー | 名詞 | O | nil | I | |
イエロー | O | を | 名詞 | O | nil | E | |
を | O | 撮影 | 助詞 | O | を撮影 | O | |
撮影 | O | し | 名詞 | O | nil | O | |
し | O | まし | 動詞 | O | nil | O | |
まし | O | た | 助動詞 | O | nil | O | |
た | O | 。 | 助動詞 | O | nil | O | |
。 | X | EOS | 記号 | O | nil | O |