보통

셀프 어텐션, 자기 문장 안에서 관계 찾기

각 토큰이 문장 내 다른 토큰과 얼마나 관련되는지를 직접 계산해요. 이 관계가 의미 표현에 녹아들어요. 이 방식이 대규모 언어 모델 능력의 뿌리입니다.

  1. 01

    각 토큰이 문장 내 다른 토큰과 얼마나 관련되는지를 직접 계산해요. 이 관계가 의미 표현에 녹아들어요. 이 방식이 대규모 언어 모델 능력의 뿌리입니다.