BERT

BERTは，Bidirectional Encoder Representations from Transformersの略で，「Transformerによる双方向のエンコード表現」と訳され，2018年10月にGoogleのJacob Devlinらの論文 [11]で発表された自然言語処理モデルである．従来の機械学習では，大量のラベルのついたデータを用意させ，処理を行うことで課題に取り組む．しかし従来の手法に対し，BERTは事前学習でラベルのないデータをはじめに大量に処理を行う．その後，ファインチューニングで少量のラベルのついたデータを使用することで課題に対応させる．