Skip to main content

LiteLLM & Caret (Codestral 사용)

Caret과 함께 LiteLLM 사용​

이 가이드는 Cline과 함께 사용할 Codestral 모델부터 시작하여 LiteLLM 데모를 실행하는 방법을 보여줍니다.

전제 조건​

  • LiteLLM 이미지를 로컬에서 실행하기 위해 Docker CLI 또는 Docker Desktop이 설치되어 있어야 합니다.
  • 이 예시 구성의 경우: Codestral API 키(Mistral API 키와 다름)

설정​

  1. .env 파일을 생성하고 적절한 필드를 채우세요.

    # 팁: 다음 명령을 사용하여 임의의 영숫자 키를 생성하세요.
    # openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
    LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
    CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY

    참고: 이것은 localhost로 제한되지만, LITELLM_MASTER_KEY를 안전한 것으로 설정하는 것이 좋습니다.

  2. 구성

    LiteLLM 구성을 포함할 config.yaml 파일을 생성해야 합니다. 이 경우 'codestral-latest'라는 하나의 모델만 있고 이를 'codestral'로 레이블링할 것입니다.

    model_list:
        - model_name: codestral
          litellm_params:
              model: codestral/codestral-latest
              api_key: os.environ/CODESTRAL_API_KEY

데모 실행​

  1. LiteLLM 도커 컨테이너 시작

    docker run \
        --env-file .env \
        -v $(pwd)/config.yaml:/app/config.yaml \
        -p 127.0.0.1:4000:4000 \
        ghcr.io/berriai/litellm:main-latest \
        --config /app/config.yaml --detailed_debug

  2. Caret 설정

    LiteLLM 서버가 실행되면 Cline에서 설정할 수 있습니다.

    • 기본 URL은 http://0.0.0.0:4000/v1이어야 합니다.
    • API 키는 .env에 LITELLM_MASTER_KEY로 설정한 것이어야 합니다.
    • 모델 ID는 codestral 또는 config.yaml에서 지정한 이름입니다.

도움 받기​