BERT, 양방향으로 문장을 읽는 모델

2018년 공개된 모델은 앞뒤 문맥을 함께 봅니다. 비어 토큰을 채우는 과제로 사전 학습했어요. 분류나 요약 같은 이해 과제에서 강했습니다.