Skip to main content

LiteLLM & Careti（使用 Codestral）

将 LiteLLM 与 Careti 一起使用​

本指南演示了如何运行 LiteLLM 的演示，从 Codestral 模型开始，以便与 Careti 一起使用。

先决条件​

  • 已安装 Docker CLI 或 Docker Desktop，以便在本地运行 LiteLLM 镜像
  • 对于此示例配置：Codestral API 密钥（与 Mistral API 密钥不同）

设置​

  1. 创建 .env 文件并填写相应字段

    # 提示：使用以下命令生成随机字母数字密钥：
    # openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
    LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
    CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY

    注意：虽然这仅限于 localhost，但将 LITELLM_MASTER_KEY 设置为安全的内容是一个好习惯

  2. 配置

    我们需要创建一个 config.yaml 文件来包含我们的 LiteLLM 配置。在这种情况下，我们只有一个模型 'codestral-latest'，并将其标记为 'codestral'

    model_list:
        - model_name: codestral
          litellm_params:
              model: codestral/codestral-latest
              api_key: os.environ/CODESTRAL_API_KEY

运行演示​

  1. 启动 LiteLLM docker 容器

    docker run \
        --env-file .env \
        -v $(pwd)/config.yaml:/app/config.yaml \
        -p 127.0.0.1:4000:4000 \
        ghcr.io/berriai/litellm:main-latest \
        --config /app/config.yaml --detailed_debug

  2. 设置 Careti

    一旦 LiteLLM 服务器启动并运行，您可以在 Careti 中进行设置：

    • 基本 URL 应为 http://0.0.0.0:4000/v1
    • API 密钥应为您在 .env 中为 LITELLM_MASTER_KEY 设置的密钥
    • 模型 ID 是 codestral 或您在 config.yaml 下命名的任何内容

获取帮助​