vLLM, 대규모 모델 추론 엔진

2023년 공개된 추론 프레임워크예요. KV 캐시를 페이지 단위로 관리해 메모리를 효율적으로 써요. 동시 요청 처리량이 높아요.