文の単語への分割には形態素解析器のMeCabを使用した． また，MeCabのシステム辞書には，2017年8月28日時点でのmecab-ipadic-NEologd[6,7,8]を使用した． mecab-ipadic-NEologdでは，MeCabの標準のシステム辞書には含まれない固有名詞などの新語を形態素として認識できる． 「全国学力テストが行われた」という文をMeCabの標準のシステム辞書とmecab-ipadic-NEologdのそれぞれを用いて分かち書きした結果を以下に示す．
![\begin{figure}
\begin{center}
\begin{itembox}[l]{標準のシステム辞書...
...ト が 行わ れ た
\end{itembox}
\end{center}
\end{figure}](img33.png)