보통

프롬프트 캐싱, 자주 쓰이는 앞부분 절약하기

동일한 앞부분이 반복되면 그 계산을 캐시에 둡니다. 서버 측 캐싱은 비용을 크게 낮춰요. 프롬프트 구조 설계가 비용을 좌우합니다.

  1. 01

    동일한 앞부분이 반복되면 그 계산을 캐시에 둡니다. 서버 측 캐싱은 비용을 크게 낮춰요. 프롬프트 구조 설계가 비용을 좌우합니다.