셀프 어텐션, 자기 문장 안에서 관계 찾기
각 토큰이 문장 내 다른 토큰과 얼마나 관련되는지를 직접 계산해요. 이 관계가 의미 표현에 녹아들어요. 이 방식이 대규모 언어 모델 능력의 뿌리입니다.
- 01
각 토큰이 문장 내 다른 토큰과 얼마나 관련되는지를 직접 계산해요. 이 관계가 의미 표현에 녹아들어요. 이 방식이 대규모 언어 모델 능력의 뿌리입니다.
각 토큰이 문장 내 다른 토큰과 얼마나 관련되는지를 직접 계산해요. 이 관계가 의미 표현에 녹아들어요. 이 방식이 대규모 언어 모델 능력의 뿌리입니다.
각 토큰이 문장 내 다른 토큰과 얼마나 관련되는지를 직접 계산해요. 이 관계가 의미 표현에 녹아들어요. 이 방식이 대규모 언어 모델 능력의 뿌리입니다.