연속 배치 처리, 동시 요청 처리

요청이 끝나면 그 자리에 새 요청을 넣어서 GPU를 비워두지 않아요. 처리량이 크게 올라요. 대규모 추론 서비스의 기본 설계입니다.