쉽게 이해하기

GPT처럼 왼쪽에서 오른쪽으로 한 단어씩 텍스트를 생성하는 모델은, 훈련 중에도 아직 나오지 않은 미래 단어를 미리 엿봐서는 안 됩니다. 코잘(인과적) 어텐션은 각 위치가 자신과 그 이전 위치까지만 참조하도록 어텐션 점수의 일부를 음의 무한대로 마스킹해, 텍스트 생성 순서를 사실적으로 보장합니다. '마스크드 어텐션'이라고도 부릅니다.