추론 지연, 왜 중요한가

첫 토큰까지의 시간이 사용자 경험을 결정합니다. 전체 처리 시간보다 이 지연이 중요해요. 서버 측 큐잉과 배치 전략이 이 지연을 좌우합니다.