추측적 해독, 빠른 모델이 먼저 써요
작고 빠른 모델이 여러 후보 토큰을 만들고 큰 모델이 한꺼번에 검증합니다. 검증된 토큰만 채택하므로 큰 모델의 출력 분포를 유지할 수 있어요. 초안 모델과 하드웨어 조건이 맞으면 생성 지연을 줄일 수 있습니다.
- 01
작고 빠른 모델이 여러 후보 토큰을 만들고 큰 모델이 한꺼번에 검증합니다. 검증된 토큰만 채택하므로 큰 모델의 출력 분포를 유지할 수 있어요. 초안 모델과 하드웨어 조건이 맞으면 생성 지연을 줄일 수 있습니다.