트랜스포머, 왜 긴 관계를 배울까

어텐션으로 토큰 간 거리가 먼 관계도 직접 계산합니다. 이게 순차 처리의 병목 없이 긴 문맥을 다룰 수 있어요. 이 설계가 대규모 언어 모델의 기반이 됐습니다.