Skip to main content

Vercel AI Gateway

Vercel AI Gateway는 단일 API를 통해 여러 공급자의 모델에 액세스할 수 있도록 합니다. SDK를 교체하거나 여러 키를 관리할 필요 없이 모델 ID로 전환할 수 있습니다. Cline은 직접 통합되어 드롭다운에서 Gateway 모델을 선택하고 다른 공급자처럼 사용하며 스트림에서 토큰 및 캐시 사용량을 확인할 수 있습니다.

유용한 링크:

얻을 수 있는 것​

  • 단일 키로 100개 이상의 모델에 대한 단일 엔드포인트
  • 대시보드에서 구성하는 자동 재시도 및 대체 기능
  • 모델별 요청, 토큰 수, 캐시 사용량, 지연 시간 백분위수 및 비용을 통한 지출 모니터링
  • 기존 클라이언트가 작동하는 OpenAI 호환 인터페이스

API 키 얻기​

  1. https://vercel.com에서 로그인
  2. 대시보드 → AI Gateway → API 키 → 키 생성
  3. 키 복사

인증 및 OIDC 옵션에 대한 자세한 내용은 https://vercel.com/docs/ai-gateway/authentication을 참조하세요.

Caret에서 구성​

  1. Caret 설정 열기
  2. API 공급자로 Vercel AI Gateway 선택
  3. Gateway API 키 붙여넣기
  4. 목록에서 모델 선택. Cline은 카탈로그를 자동으로 가져옵니다. 정확한 ID를 붙여넣을 수도 있습니다.

참고:

  • 모델 ID는 종종 provider/model 형식을 따릅니다. 카탈로그에서 정확한 ID를 복사하세요. 예시:
    • openai/gpt-5
    • anthropic/claude-sonnet-4
    • google/gemini-2.5-pro
    • groq/llama-3.1-70b
    • deepseek/deepseek-v3

실행 가능한 관찰 기능​

모델별 요청, 토큰, 캐시, 지연 시간 및 비용을 통한 Vercel AI Gateway 관찰 기능.

주목할 점:

  • 모델별 요청 - 라우팅 및 채택 확인
  • 토큰 - 노출된 경우 추론을 포함한 입력 대 출력
  • 캐시 - 캐시된 입력 및 캐시 생성 토큰
  • 지연 시간 - p75 지속 시간 및 p75 첫 번째 토큰까지의 시간
  • 비용 - 프로젝트별 및 모델별

다음 용도로 사용:

  • 모델 변경 전후의 요청당 출력 토큰 비교
  • 캐시 읽기 및 쓰기 생성을 추적하여 캐시 전략 유효성 검사
  • 실험 중 TTFT 회귀 포착
  • 예산을 실제 사용량과 일치

지원되는 모델​

게이트웨이는 크고 변화하는 모델 세트를 지원합니다. Cline은 Gateway API에서 목록을 가져와 로컬에 캐시합니다. 현재 카탈로그는 https://vercel.com/ai-gateway/models를 참조하세요.

팁​

tip

환경별(개발, 스테이징, 프로덕션)로 별도의 게이트웨이 키를 사용하세요. 대시보드를 깔끔하게 유지하고 예산을 격리합니다.

note

가격은 공급자 정가로 통과됩니다. 자체 키를 가져오는 경우 0% 마크업이 적용됩니다. 공급자 및 처리 수수료는 여전히 지불해야 합니다.

ℹ️Info

Vercel은 속도 제한을 추가하지 않습니다. 업스트림 공급자는 추가할 수 있습니다. 새 계정은 첫 결제까지 30일마다 $5 크레딧을 받습니다.

문제 해결​

  • 401 - Gateway 키를 Gateway 엔드포인트로 보내고 업스트림 URL로 보내지 마세요.
  • 404 모델 - Vercel 카탈로그에서 정확한 ID를 복사하세요.
  • 느린 첫 번째 토큰 - 대시보드에서 p75 TTFT를 확인하고 스트리밍에 최적화된 모델을 시도하세요.
  • 비용 급증 - 대시보드에서 모델별로 분류하고 트래픽을 제한하거나 라우팅하세요.

영감​

  • 다중 모델 평가 - Cline에서 모델 ID만 교체하고 지연 시간 및 출력 토큰 비교
  • 점진적 출시 - 대시보드에서 새 모델로 소량의 트래픽을 라우팅하고 메트릭으로 점진적으로 늘립니다.
  • 예산 강제 적용 - 코드 변경 없이 프로젝트별 제한 설정

교차 링크​

  • OpenAI 호환 설정: /provider-config/openai-compatible
  • 모델 선택 가이드: /getting-started/model-selection-guide
  • 컨텍스트 관리 이해: /getting-started/understanding-context-management