文節の定義

ここでは、最初に HMMによる日本語対話文の文節内における形態素の品詞連鎖 のモデル化を行なった。本節では、(接頭辞、接尾辞の付加を含 む)自立語で構成される自立部と後続する付属語の連鎖で構成される意味的な まとまりを文節と定義した。

$\langle$文節$\rangle$ $\longrightarrow$ $\langle$自立部$\rangle$ 

$\langle$文節$\rangle$ $\longrightarrow$ $\langle$文節$\rangle$ $\langle$付属語$\rangle$ 

$\langle$自立部$\rangle$ $\longrightarrow$ （接頭辞） $\langle$自立語$\rangle$ （接尾辞）．

実際の対話文では、明確な意味的解析を行なうことができない文節が多い。し かし、これらは、例えば、慣用的表現を一つの付属語と解釈して、より明確な 意味的解釈を持つ文節に包括することで解消している。(例えば「参加 料 について な ん です けど」の「について」を格助詞とすることで全 体を一つの文節とする。) 本研究では、このような拡張文節に対してモデル化 を行ない、文節内文法を抽出することを試みた。

文節内の形態素には以下の24品詞を用いた。