쉽게 이해하기
GPT가 트랜스포머의 디코더만 쓰는 것과 달리 BERT는 인코더 부분을 사용하며, 문장에서 임의로 가린 단어를 맞히는 방식으로 훈련됩니다. 이 훈련 방식 덕분에 텍스트를 새로 생성하는 데는 적합하지 않지만, 감성 분석이나 문서 분류처럼 '이해'가 중요한 작업에서 강점을 보입니다.
BERT
문장 안의 빈칸을 채우도록 훈련되어 분류·이해 작업에 강한 트랜스포머 모델
#transformer#nlp
문장 안의 빈칸을 채우도록 훈련되어 분류·이해 작업에 강한 트랜스포머 모델
GPT가 트랜스포머의 디코더만 쓰는 것과 달리 BERT는 인코더 부분을 사용하며, 문장에서 임의로 가린 단어를 맞히는 방식으로 훈련됩니다. 이 훈련 방식 덕분에 텍스트를 새로 생성하는 데는 적합하지 않지만, 감성 분석이나 문서 분류처럼 '이해'가 중요한 작업에서 강점을 보입니다.