MeCab

文の単語への分割には形態素解析器のMeCabを使用した．また, MeCabのシステム辞書には，2017年8月28日時点でのmecab-ipadic-NEologd[7,8,9]を使用した. mecab-ipadic-NEologdでは, MeCabの標準のシステム辞書には含まれない固有名詞などの新語を形態素として認識できる．「全国学力テストが行われた」という文をMeCabの標準のシステム辞書とmecab-ipadic-NEologdのそれぞれを用いて分かち書きした結果を表4.2.1に示す．

Table 4.2.1: 辞書による違いの例

61#61