쉽게 이해하기

번역이나 텍스트 생성에서 모든 입력 단어가 똑같이 중요하지는 않습니다. 어텐션은 각 출력 시점마다 입력의 어느 위치에 얼마나 '주의를 기울일지'를 숫자(가중치)로 계산해, 멀리 떨어진 단어 사이의 관계도 놓치지 않게 해줍니다. 트랜스포머와 현대 LLM을 지탱하는 핵심 아이디어입니다.