Skip to main content

GCP Vertex AI

Обзор​

GCP Vertex AI:
Полностью управляемый сервис, предоставляющий доступ к ведущим моделям генеративного ИИ — таким как Claude 3.5 Sonnet v2 от Anthropic — через Google Cloud.
Узнать больше о GCP Vertex AI.

Это руководство предназначено для организаций с настроенным окружением GCP (использующих роли IAM, сервис-аккаунты и лучшие практики управления ресурсами) для обеспечения безопасного и соответствующего требованиям использования.

Шаг 1: Подготовка окружения GCP​

1.1 Создание или выбор проекта GCP​

  • Войдите в GCP Console:
    Google Cloud Console
  • Выберите или создайте проект:
    Используйте существующий проект или создайте новый, выделенный для Vertex AI.

1.2 Настройка разрешений IAM и сервис-аккаунтов​

  • Назначение необходимых ролей:

    • Назначьте пользователю (или сервис-аккаунту) роль Vertex AI User (roles/aiplatform.user)
    • Для сервис-аккаунтов также добавьте роль Vertex AI Service Agent (roles/aiplatform.serviceAgent) для выполнения определенных операций
    • Рассмотрите возможность использования дополнительных предопределенных ролей по мере необходимости:
      • Vertex AI Platform Express Admin
      • Vertex AI Platform Express User
      • Vertex AI Migration Service User

  • Доступ к ресурсам в разных проектах:

    • Для таблиц BigQuery в других проектах назначьте роль BigQuery Data Viewer
    • Для бакетов Cloud Storage в других проектах назначьте роль Storage Object Viewer
    • Для внешних источников данных обратитесь к документации GCP Vertex AI по контролю доступа

Шаг 2: Проверка доступа к регионам и моделям​

2.1 Выбор и подтверждение региона​

Vertex AI поддерживает несколько регионов. Выберите регион, который соответствует вашим требованиям по задержке, комплаенсу и доступным мощностям. Примеры:

  • us-east5 (Колумбус, Огайо)
  • us-central1 (Айова)
  • europe-west1 (Бельгия)
  • europe-west4 (Нидерланды)
  • asia-southeast1 (Сингапур)
  • global (Глобальный)

Эндпоинт Global может обеспечить более высокую доступность и снизить количество ошибок нехватки ресурсов. Поддерживаются только модели Gemini.

2.2 Включение модели Claude 3.5 Sonnet v2​

  • Откройте Vertex AI Model Garden:
    В Cloud Console перейдите в раздел Vertex AI → Model Garden
  • Включите Claude 3.5 Sonnet v2:
    Найдите карточку модели Claude 3.5 Sonnet v2 и нажмите Enable

Шаг 3: Настройка расширения Careti для VS Code​

3.1 Установка и запуск Careti​

  • Скачайте VS Code:
    Скачать Visual Studio Code
  • Установите расширение Careti:
    • Откройте VS Code
    • Перейдите в Extensions Marketplace (Ctrl+Shift+X или Cmd+Shift+X)
    • Найдите Careti и установите расширение
Careti extension in VS Code

3.2 Настройка параметров Careti​

  • Откройте настройки Careti:
    Нажмите на иконку настроек ⚙️ внутри расширения Careti
  • Укажите API Provider:
    Выберите GCP Vertex AI из выпадающего списка API Provider
  • Введите ID проекта Google Cloud:
    Укажите ID проекта, который вы настроили ранее
  • Выберите регион:
    Выберите один из поддерживаемых регионов (например, us-east5)
  • Выберите модель:
    Из доступного списка выберите Claude 3.5 Sonnet v2
  • Сохраните и протестируйте:
    Сохраните настройки и протестируйте их, отправив простой промпт (например, "Generate a Python function to check if a number is prime.")

Шаг 4: Настройка аутентификации и учетных данных​

Вариант А: Использование учетной записи Google (User Credentials)​

  1. Установите Google Cloud CLI:
    Следуйте руководству по установке

  2. Инициализация и аутентификация:

    gcloud init
    gcloud auth application-default login
    • Это настроит Application Default Credentials (ADC) с использованием вашей учетной записи Google

  3. Перезапустите VS Code:
    Убедитесь, что VS Code перезапущен, чтобы расширение Careti подхватило новые учетные данные

Вариант Б: Использование сервис-аккаунта (JSON Key)​

  1. Создайте сервис-аккаунт:

    • В GCP Console перейдите в раздел IAM & Admin > Service Accounts
    • Создайте новый сервис-аккаунт (например, "vertex-ai-client")

  2. Назначьте роли:

    • Добавьте Vertex AI User (roles/aiplatform.user)
    • Добавьте Vertex AI Service Agent (roles/aiplatform.serviceAgent)
    • Опционально добавьте другие роли по необходимости

  3. Сгенерируйте JSON Key:

    • В разделе Service Accounts перейдите в управление ключами вашего сервис-аккаунта и скачайте JSON-ключ

  4. Установите переменную окружения:

    export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-key.json"
    • Это даст указание клиентским библиотекам Google Cloud (и Careti) использовать этот ключ

  5. Перезапустите VS Code:
    Запустите VS Code из терминала, в котором установлена переменная GOOGLE_APPLICATION_CREDENTIALS

Шаг 5: Безопасность, мониторинг и лучшие практики​

5.1 Соблюдение принципа наименьших привилегий​

  • Принцип наименьших привилегий:
    Предоставляйте только минимально необходимые разрешения. Пользовательские роли могут обеспечить более точный контроль по сравнению с широкими предопределенными ролями
  • Лучшие практики:
    Обратитесь к GCP IAM Best Practices

5.2 Управление доступом к ресурсам​

  • Доступ на уровне проекта против доступа на уровне ресурсов:
    Доступом можно управлять на обоих уровнях. Обратите внимание, что разрешения на уровне ресурсов (например, для BigQuery или Cloud Storage) дополняют политики уровня проекта, но не переопределяют их

5.3 Мониторинг использования и квот​

  • Панель мониторинга моделей (Model Observability Dashboard):

    • В консоли Vertex AI перейдите к дашборду Model Observability
    • Отслеживайте такие метрики, как пропускная способность запросов, задержка и частота ошибок (включая ошибки квоты 429)

  • Управление квотами:

5.4 Сервис-агенты и особенности кросс-проектного взаимодействия​

  • Сервис-агенты:
    Обратите внимание на различных сервис-агентов:

    • Vertex AI Service Agent
    • Vertex AI RAG Data Service Agent
    • Vertex AI Custom Code Service Agent
    • Vertex AI Extension Service Agent

  • Кросс-проектный доступ:
    Для ресурсов в других проектах (например, BigQuery, Cloud Storage) убедитесь, что назначены соответствующие роли (BigQuery Data Viewer, Storage Object Viewer)

Заключение​

Следуя этим шагам, ваша корпоративная команда сможет безопасно интегрировать GCP Vertex AI с расширением Careti для VS Code, чтобы использовать возможности Claude 3.5 Sonnet v2:

  • Подготовка окружения GCP:
    Создайте или используйте существующий проект, настройте IAM с принципом наименьших привилегий и убедитесь, что назначены необходимые роли (включая роль Vertex AI Service Agent)
  • Проверка доступа к регионам и моделям:
    Подтвердите, что выбранный вами регион поддерживает Claude 3.5 Sonnet v2 и что модель включена
  • Настройка Careti в VS Code:
    Установите Careti, введите ID проекта, выберите соответствующий регион и модель
  • Настройка аутентификации:
    Используйте либо учетные данные пользователя (через gcloud auth application-default login), либо сервис-аккаунт с JSON-ключом
  • Внедрение мер безопасности и мониторинга:
    Соблюдайте лучшие практики IAM, тщательно управляйте доступом к ресурсам и отслеживайте использование с помощью дашборда Model Observability

Для получения более подробной информации, пожалуйста, обратитесь к документации GCP Vertex AI и вашим внутренним политикам безопасности.
Продуктивной работы!

Это руководство будет обновляться по мере развития GCP Vertex AI и Careti. Всегда обращайтесь к актуальной документации для ознакомления с текущими практиками.