온라인 서비스의 지연, 무엇을 최적화하나

첫 토큰까지의 시간이 체감 속도의 핵심이에요. 전체 완성 시간보다 이 지연이 중요합니다. 서버 측 큐잉과 캐싱이 이 지연을 좌우합니다.