쉽게 이해하기

사람이 일일이 정답을 달아주지 않아도, '다음 단어가 무엇일지 맞혀보라'는 과제 하나만으로 문법과 지식을 스스로 습득하는 자기 지도 학습(self-supervised learning) 방식입니다. 이렇게 만들어진 모델을 베이스 모델 또는 파운데이션 모델이라 부르며, GPT-3의 사전 훈련 비용은 수백만 달러 규모로 추정됩니다.