BERT

BERTとは，Bidirectional Encoder Representations from Trans-formerの略で，「Trans-formerによる双方向のエンコード表現」と訳され，2018年10月にGoogleのJacob Devlinらの論文[#!devlin2018bert!#]で発表された自然言語処理モデルである．従来の自然言語処理では，大量のラベルのついたデータを用意させ，処理を行うことで課題に取り組む．しかし従来の手法に対し，BERTは事前学習でラベルのないデータをはじめに大量に処理を行う．その後，ファインチューニングで少量のラベルの付いたデータを使用させることで課題に対応させる．事前学習済みのBERTをファインチューニングし，文頭のCLSと呼ばれるトークンのベクトルや，CLSトークン，SEPトークンを除いた各トークンのベクトルの平均を用いることで入力文のベクトルを求めることができる．