추론 비용, 토큰이 화폐다

처리하는 토큰 수에 따라 비용이 결정됩니다. 컨텍스트가 길어질수록 매번 비용이 커요. 캐싱과 양자화가 이 비용을 줄여요.