文分割

複数文を同時に形態素解析することもできるが，精度が悪くなる．そこで1文 ごとに区切り，精度を向上させる．区切りの条件は以下に示す．

• 「。」「！」「？」があった場合，そこを区切りとする．
• 「．」「全角スペース」があった場合，それぞれの文字を「。」に 変換し，区切りとする．