쉽게 이해하기

쿼리(query)·키(key)·값(value) 세 벡터를 각 토큰마다 만들고, 쿼리와 키의 유사도로 '주목도'를 구한 뒤 이를 값에 곱해 문맥이 반영된 새 표현(context vector)을 얻습니다. 입력과 출력이 같은 시퀀스이기 때문에 '셀프(self)' 어텐션이라 부르며, 이 계산을 학습 가능한 가중치 행렬로 확장한 것이 트랜스포머의 실제 구현입니다.