Skip to main content

GCP Vertex AI

概述​

GCP Vertex AI：
一项完全托管的服务，通过 Google Cloud 提供对领先生成式 AI 模型（如 Anthropic 的 Claude 3.5 Sonnet v2）的访问。
了解更多关于 GCP Vertex AI 的信息。

本指南专为已建立 GCP 环境（利用 IAM 角色、服务账户和资源管理最佳实践）的组织量身定制，以确保安全且合规的使用。

步骤 1：准备您的 GCP 环境​

1.1 创建或使用 GCP 项目​

  • 登录 GCP 控制台：
    Google Cloud 控制台
  • 选择或创建项目：
    使用现有项目或创建一个专门用于 Vertex AI 的新项目。

1.2 设置 IAM 权限和服务账户​

  • 分配所需角色：

    • 为您的用户（或服务账户）授予 Vertex AI User 角色（roles/aiplatform.user）
    • 对于服务账户，还要附加 Vertex AI Service Agent 角色（roles/aiplatform.serviceAgent）以启用某些操作
    • 根据需要考虑其他预定义角色：
      • Vertex AI Platform Express Admin
      • Vertex AI Platform Express User
      • Vertex AI Migration Service User

  • 跨项目资源访问：

    • 对于不同项目中的 BigQuery 表，分配 BigQuery Data Viewer 角色
    • 对于不同项目中的 Cloud Storage 存储桶，分配 Storage Object Viewer 角色
    • 对于外部数据源，请参阅 GCP Vertex AI 访问控制文档

步骤 2：验证区域和模型访问​

2.1 选择并确认区域​

Vertex AI 支持多个区域。选择满足您的延迟、合规性和容量需求的区域。示例包括：

  • us-east5（俄亥俄州哥伦布）
  • us-central1（爱荷华州）
  • europe-west1（比利时）
  • europe-west4（荷兰）
  • asia-southeast1（新加坡）
  • global（全球）

全球端点可能提供更高的可用性并减少资源耗尽错误。仅支持 Gemini 模型。

2.2 启用 Claude 3.5 Sonnet v2 模型​

  • 打开 Vertex AI Model Garden：
    在 Cloud 控制台中，导航到 Vertex AI → Model Garden
  • 启用 Claude 3.5 Sonnet v2：
    找到 Claude 3.5 Sonnet v2 的模型卡并点击 启用

步骤 3：配置 Careti VS Code 扩展​

3.1 安装并打开 Careti​

  • 下载 VS Code：
    下载 Visual Studio Code

  • 安装 Careti 扩展：

    • 打开 VS Code
    • 导航到扩展市场（Ctrl+Shift+X 或 Cmd+Shift+X）
    • 搜索 Careti 并安装扩展
    VS Code 中的 Careti 扩展

3.2 配置 Careti 设置​

  • 打开 Careti 设置：
    点击 Careti 扩展中的设置 ⚙️ 图标
  • 设置 API 提供商：
    从 API 提供商下拉菜单中选择 GCP Vertex AI
  • 输入您的 Google Cloud 项目 ID：
    提供您之前设置的项目 ID
  • 选择区域：
    选择支持的区域之一（例如 us-east5）
  • 选择模型：
    从可用列表中选择 Claude 3.5 Sonnet v2
  • 保存并测试：
    保存您的设置并通过发送简单的提示进行测试（例如"生成一个 Python 函数来检查数字是否为质数。"）

步骤 4：身份验证和凭据设置​

选项 A：使用您的 Google 账户（用户凭据）​

  1. 安装 Google Cloud CLI：
    按照安装指南操作

  2. 初始化并进行身份验证：

    gcloud init
    gcloud auth application-default login
    • 这会使用您的 Google 账户设置应用程序默认凭据（ADC）

  3. 重启 VS Code：
    确保重启 VS Code，以便 Careti 扩展获取新凭据

选项 B：使用服务账户（JSON 密钥）​

  1. 创建服务账户：

    • 在 GCP 控制台中，导航到 IAM & Admin > 服务账户
    • 创建新的服务账户（例如"vertex-ai-client"）

  2. 分配角色：

    • 附加 Vertex AI User（roles/aiplatform.user）
    • 附加 Vertex AI Service Agent（roles/aiplatform.serviceAgent）
    • 可选地，根据需要添加其他角色

  3. 生成 JSON 密钥：

    • 在服务账户部分，管理服务账户的密钥并下载 JSON 密钥

  4. 设置环境变量：

    export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-key.json"
    • 这会指示 Google Cloud 客户端库（和 Careti）使用此密钥

  5. 重启 VS Code：
    从设置了 GOOGLE_APPLICATION_CREDENTIALS 变量的终端启动 VS Code

步骤 5：安全、监控和最佳实践​

5.1 强制执行最小权限​

  • 最小权限原则：
    仅授予必要的最小权限。自定义角色可以提供比广泛的预定义角色更精细的控制
  • 最佳实践：
    参考 GCP IAM 最佳实践

5.2 管理资源访问​

  • 项目与资源级访问：
    可以在两个级别管理访问。请注意，资源级权限（例如，对于 BigQuery 或 Cloud Storage）会添加到项目级策略中，但不会覆盖它们

5.3 监控使用和配额​

  • 模型可观察性仪表板：

    • 在 Vertex AI 控制台中，导航到 模型可观察性 仪表板
    • 监控指标，如请求吞吐量、延迟和错误率（包括 429 配额错误）

  • 配额管理：

5.4 服务代理和跨项目注意事项​

  • 服务代理：
    注意不同的服务代理：

    • Vertex AI Service Agent
    • Vertex AI RAG Data Service Agent
    • Vertex AI Custom Code Service Agent
    • Vertex AI Extension Service Agent

  • 跨项目访问：
    对于其他项目中的资源（例如，BigQuery、Cloud Storage），确保分配适当的角色（BigQuery Data Viewer、Storage Object Viewer）

结论​

通过遵循这些步骤，您的企业团队可以安全地将 GCP Vertex AI 与 Careti VS Code 扩展集成，以利用 Claude 3.5 Sonnet v2 的强大功能：

  • 准备您的 GCP 环境：
    创建或使用项目，使用最小权限配置 IAM，并确保附加必要的角色（包括 Vertex AI Service Agent 角色）
  • 验证区域和模型访问：
    确认您选择的区域支持 Claude 3.5 Sonnet v2，并且模型已启用
  • 在 VS Code 中配置 Careti：
    安装 Careti，输入您的项目 ID，选择适当的区域，并选择模型
  • 设置身份验证：
    使用用户凭据（通过 gcloud auth application-default login）或带有 JSON 密钥的服务账户
  • 实施安全和监控：
    遵守 IAM 最佳实践，仔细管理资源访问，并使用模型可观察性仪表板监控使用情况

有关更多详细信息，请查阅 GCP Vertex AI 文档 和您的内部安全策略。
编程愉快！

本指南将随着 GCP Vertex AI 和 Careti 的发展而更新。请始终参考最新文档以了解当前实践。