개발자

KV 캐시, 지난 계산 기억하기

이미 계산한 어텐션 결과를 기억해 다시 계산하지 않습니다. 자기회귀 생성의 속도 병목을 줄여요. 메모리 점유가 큰 원인이 되기도 해요.

  1. 01

    이미 계산한 어텐션 결과를 기억해 다시 계산하지 않습니다. 자기회귀 생성의 속도 병목을 줄여요. 메모리 점유가 큰 원인이 되기도 해요.