LiteLLM & 캐러티 (Codestral 사용)

Careti 함께 LiteLLM 사용

이 가이드는 Codestral 모델을 사용해 LiteLLM 데모를 구동하고 Careti 연결하는 과정을 보여줍니다.

전제 조건

• LiteLLM 이미지를 로컬에서 실행할 수 있는 Docker CLI 또는 Docker Desktop
• 예시 구성에 사용할 Codestral API 키 (Mistral API 키와 별도)

설정

1. .env 파일 생성 후 값 입력

   # 팁: 다음 명령으로 임의의 영숫자 키를 생성할 수 있습니다.
   # openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
   LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
   CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY

   참고: localhost 범위로 제한되더라도 LITELLM_MASTER_KEY는 안전한 값으로 설정하는 것이 좋습니다.

2. 구성 파일 생성

   LiteLLM 구성을 담을 config.yaml 파일을 준비합니다. 여기서는 codestral-latest 한 개 모델을 codestral로 등록합니다.

   model_list:
       - model_name: codestral
         litellm_params:
             model: codestral/codestral-latest
             api_key: os.environ/CODESTRAL_API_KEY

데모 실행

1. LiteLLM 도커 컨테이너 실행

   docker run \
       --env-file .env \
       -v $(pwd)/config.yaml:/app/config.yaml \
       -p 127.0.0.1:4000:4000 \
       ghcr.io/berriai/litellm:main-latest \
       --config /app/config.yaml --detailed_debug

2. Careti LiteLLM 설정

   LiteLLM 서버가 올라오면 Careti 설정에 다음을 입력합니다:

   • Base URL: http://0.0.0.0:4000/v1
   • API Key: .env의 LITELLM_MASTER_KEY
   • Model ID: codestral 또는 config.yaml에서 지정한 이름

도움말

• LiteLLM Documentation
• Mistral AI Console
• Careti Discord Community

---

🚀 Careti 프로바이더 개선 사항

Careti LiteLLM 연동 시 모델 목록 자동 조회 등 운영 편의성을 강화했습니다.

주요 개선 사항

기존 Cline:

• 수동으로 모델 ID를 입력해야 함
• 지원 모델 확인을 위해 문서를 따로 참고해야 함

Careti 개선:

• ✅ 자동 모델 조회: LiteLLM API 연동으로 지원 모델을 자동 표시
• ✅ 실시간 업데이트: 새 모델 출시 시 Careti 업데이트 없이 즉시 반영