Skip to main content

LiteLLM & Caret (Codestral 사용)

Caret과 함께 LiteLLM 사용​

이 가이드는 Caret과 함께 사용할 Codestral 모델부터 시작하여 LiteLLM 데모를 실행하는 방법을 보여줍니다.

전제 조건​

  • LiteLLM 이미지를 로컬에서 실행하기 위해 Docker CLI 또는 Docker Desktop이 설치되어 있어야 합니다.
  • 이 예시 구성의 경우: Codestral API 키(Mistral API 키와 다름)

설정​

  1. .env 파일을 생성하고 적절한 필드를 채우세요.

    # 팁: 다음 명령을 사용하여 임의의 영숫자 키를 생성하세요.
    # openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
    LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
    CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY

    참고: 이것은 localhost로 제한되지만, LITELLM_MASTER_KEY를 안전한 것으로 설정하는 것이 좋습니다.

  2. 구성

    LiteLLM 구성을 포함할 config.yaml 파일을 생성해야 합니다. 이 경우 'codestral-latest'라는 하나의 모델만 있고 이를 'codestral'로 레이블링할 것입니다.

    model_list:
        - model_name: codestral
          litellm_params:
              model: codestral/codestral-latest
              api_key: os.environ/CODESTRAL_API_KEY

데모 실행​

  1. LiteLLM 도커 컨테이너 시작

    docker run \
        --env-file .env \
        -v $(pwd)/config.yaml:/app/config.yaml \
        -p 127.0.0.1:4000:4000 \
        ghcr.io/berriai/litellm:main-latest \
        --config /app/config.yaml --detailed_debug

  2. Caret 설정

    LiteLLM 서버가 실행되면 Caret에서 설정할 수 있습니다.

    • 기본 URL은 http://0.0.0.0:4000/v1이어야 합니다.
    • API 키는 .env에 LITELLM_MASTER_KEY로 설정한 것이어야 합니다.
    • 모델 ID는 codestral 또는 config.yaml에서 지정한 이름입니다.

🚀 Caret의 프로바이더 개선사항​

Caret은 LiteLLM을 포함한 프로바이더 설정에 자동 모델 조회 기능을 추가했습니다.

주요 개선사항​

기존 Cline:

  • 수동으로 모델 ID 입력 필요
  • 지원 모델 확인을 위해 문서 참고 필요

Caret 개선:

  • ✅ 자동 모델 조회: LiteLLM API 연동으로 지원 모델 자동 표시
  • ✅ 실시간 업데이트: 새 모델 출시 시 Caret 업데이트 불필요