GPT, 다음 단어를 예측하는 구조

왼쪽으로만 보고 다음 토큰을 맞추는 구조예요. 이 단순 구조가 스케일 업 하면 다양한 능력을 보여주었습니다. GPT-1은 117M 파라미터, GPT-3은 1750억 규모입니다.