BERT

BERTとは, Bidirectional Encoder Representations from Transformersの略で, 「Transformerによる双方向のエンコード表現」と訳され, 2018年10月にGoogleのJacob Devlinらの論文で発表された自然言語処理モデルである[4]. 従来の自然言語処理では, 大量のラベルのついたデータを用意させ, 処理を行うことで課題に取り組む. しかし従来の手法に対し, BERTは事前学習でラベルのないデータをはじめに大量に処理を行う. その後, ファインチューニングで少量のラベルの付いたデータを使用することで課題に対応させる.

BERTでは, どのような語があれば記事中に単語対が出現するかを学習する. 例えば, 単語対A, Bがあるとする. A, Bを含む文を収集する. 収集した文中からA, Bを削除し, Xとする. Xとした部分にA, Bどちらの語があったのかを学習結果を元に推定する.

BERTの素性分析の方法について述べる. BERTを用いてテストデータを1単語ずつに分ける. 分けた1単語に対してBERTを用いることで, 分けた1単語の分割, 非分割に関するそれぞれ値が算出される. 算出された値が分割の値が大きい場合, 分割に関する素性, 非分割の値が大きい場合, 非分割に関する素性であると判断する.算出された値が分割の値が大きい場合, 分割に関する素性, 非分割の値が大きい場合, 非分割に関する素性であると判断する.