TensorRT, NVIDIA의 추론 최적화

NVIDIA GPU에서 모델을 최적화하는 도구예요. 레이어 합성과 양자화로 추론 속도를 올려요. 서버 배포에서 많이 쓰여요.