쉽게 이해하기

어텐션 메커니즘 자체는 토큰이 문장의 몇 번째 위치에 있는지 알지 못합니다. 위치 인코딩은 각 위치마다 고유한 벡터를 만들어 토큰 임베딩에 더해줌으로써, 모델이 순서와 상대적 거리를 함께 학습할 수 있게 합니다. GPT는 절대 위치를 사용하고 훈련 과정에서 이 값 자체도 최적화합니다.