쉽게 이해하기

하나의 어텐션(싱글 헤드)만으로는 문법적 관계, 의미적 유사성처럼 서로 다른 성격의 패턴을 동시에 잘 잡아내기 어렵습니다. 멀티 헤드 어텐션은 입력을 여러 개의 작은 부분공간으로 나눠 각각 독립적인 어텐션(헤드)을 병렬로 계산하고 그 결과를 다시 결합합니다. GPT-2의 가장 작은 모델도 12개의 헤드를 사용합니다.