Usa los modelos Claude 3 de Anthropic

Puedes transmitir tus respuestas de Claude para reducir la percepción de latencia del usuario final. Una respuesta transmitida usa eventos enviados por el servidor (SSE) para transmitir la respuesta de forma incremental.

Pagas por los modelos de Claude a medida que los usas. Para obtener más información, consulta la sección sobre modelos Anthropic Claude en la página de precios de Vertex AI.

Modelos de Anthropic Claude disponibles

Para acceder a un modelo Anthropic Claude, haz lo siguiente:ir a Model Garden, buscarClaude y selecciona el modelo de Claude que deseas usar. Todos los modelos de Claude 3 procesan imágenes, muestran resultados de texto y tienen una ventana de contexto de 200,000. También puedes usar los siguientes vínculos para ir a las tarjetas de modelo de los modelos de Claude disponibles en Vertex AI:

• Tarjeta del modelo de Claude 3 Haiku
• Tarjeta del modelo de Claude 3 Sonnet

Claude 3 Sonnet

Anthropic Claude 3 Sonnet ofrece un equilibrio entre inteligencia y velocidad para las cargas de trabajo empresariales. Es un modelo de alta durabilidad para la IA a escala que está disponible a un precio competitivo. Claude 3 Sonnet está optimizado para los siguientes casos de uso:

• Procesamiento de datos, incluida la generación de aumento aumentado (RAG) y la recuperación de la búsqueda.

• Tareas de ventas, como recomendaciones de productos, previsión y marketing orientado

• Tareas que ahorran tiempo, como la generación de código, el control de calidad y el reconocimiento óptico de caracteres (OCR) en las imágenes

• Tareas de visión, como el procesamiento de imágenes para mostrar resultados de texto Además, análisis de gráficos, diagramas técnicos, informes y otro contenido visual.

Claude 3 Haiku

Anthropic Claude 3 Haiku es el modelo más rápido y compacto disponible de Anthropic. Está diseñado para responder consultas y solicitudes con rapidez. Puedes usarla para compilar experiencias de IA que imiten interacciones humanas. Claude 3 Haiku está optimizado para los siguientes casos de uso:

• Interacciones y traducciones en vivo con clientes

• Moderación de contenido para detectar comportamientos sospechosos o solicitudes de los clientes.

• Tareas de ahorro de costos, como la administración de inventario y la extracción de conocimiento a partir de datos no estructurados

• Tareas de visión, como el procesamiento de imágenes para mostrar resultados de texto, análisis de gráficos, gráficos, diagramas técnicos, informes y otro contenido visual

Usa modelos de Claude

Puedes usar un SDK de Anthropic o comandos curl para enviar solicitudes al extremo de Vertex AI con los siguientes nombres de modelo:

• Para Claude 3 Sonnet, usa claude-3-sonnet@20240229.
• para Claude 3 Haiku, usa claude-3-haiku@20240307.

No recomendamos usar las versiones del modelo Anthropic Claude 3 que no incluyen un sufijo que comienza con un símbolo @ (claude-3-sonnet o claude-3-haiku).

Antes de comenzar

Para usar modelos de Anthropic Claude 3 con Vertex AI, debes realizar los siguientes pasos. La API de Vertex AI (aiplatform.googleapis.com) debe estar habilitada para usar Vertex AI. Si ya tienes un proyecto existente con la API de Vertex AI habilitada, puedes usar ese proyecto en lugar de crear uno nuevo.

Asegúrate de tener los permisos necesarios para habilitar los modelos Anthropic Claude 3. Para obtener más información, consulta Otorga los permisos necesarios.

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

7. Enable the Vertex AI API.

   Enable the API

8. Asegúrate de tener permisos para habilitar los modelos Anthropic Claude y para enviar un mensaje. Si deseas obtener más información, consulta Configura los permisos necesarios para habilitar los modelos de Claude y enviar mensajes.
9. Ve a una de las siguientes tarjetas de modelo de Model Garden y, luego, haz clic en enable:
   • Tarjeta del modelo de Claude 3 Haiku
   • Tarjeta del modelo de Claude 3 Sonnet

Usa el SDK de Anthropic

Puedes realizar solicitudes a la API para modelos Anthropic Claude mediante el SDK de Anthropic Claude. Para obtener más información, consulta lo siguiente:

• Referencia de la API de mensajes de Claude
• Biblioteca de la API Anthropic para Python
• Biblioteca de la API de Anthropic Vertex AI TypeScript

Realiza una llamada de transmisión a un modelo de Claude 3 con el SDK de Anthropic Vertex

En la siguiente muestra de código, se usa el SDK de Anthropic Vertex para realizar una llamada de transmisión a un modelo de Anthropic Claude 3.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

def generate_text_streaming(project_id: str, region: str) -> str:
    client = AnthropicVertex(region=region, project_id=project_id)
    result = []

    with client.messages.stream(
        model="claude-3-sonnet@20240229",
        max_tokens=1024,
        messages=[
            {
                "role": "user",
                "content": "Send me a recipe for banana bread.",
            }
        ],
    ) as stream:
        for text in stream.text_stream:
            print(text, end="", flush=True)
            result.append(text)

    return "".join(result)

Realiza una llamada unaria a un modelo de Claude 3 con el SDK de Anthropic Vertex.

En la siguiente muestra de código, se usa el SDK de Anthropic Vertex para realizar una llamada unaria a un modelo de Anthropic Claude 3.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

def generate_text(project_id: str, region: str) -> object:
    client = AnthropicVertex(region=region, project_id=project_id)
    message = client.messages.create(
        model="claude-3-sonnet@20240229",
        max_tokens=1024,
        messages=[
            {
                "role": "user",
                "content": "Send me a recipe for banana bread.",
            }
        ],
    )
    print(message.model_dump_json(indent=2))
    return message

Usa un comando curl

Puedes usar un comando curl para realizar una solicitud al extremo de Vertex AI. El comando curl especifica qué modelo de cláusula Anthropic compatible deseas usar:

• Para Claude 3 Sonnet, usa claude-3-sonnet@20240229.
• para Claude 3 Haiku, usa claude-3-haiku@20240307.

No recomendamos usar las versiones del modelo Anthropic Claude 3 que no incluyen un sufijo que comienza con un símbolo @ (claude-3-sonnet o claude-3-haiku).

En el siguiente tema, se muestra cómo crear un comando curl y se incluye un comando curl de muestra. El comando curl de muestra usa el modelo Claude 3 Sonnet.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict

{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": STREAM
}

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content

{
  "id":"msg_012NDLxqh6LsztWCU7zTb14C",
  "type":"message",
  "role":"assistant",
  "content":[{
    "type":"text",
    "text":"Hello! Nice to meet you."
  }],
  "model":"claude-2.1",
  "stop_reason":"end_turn",
  "stop_sequence":null,
  "usage":{
    "input_tokens":11,
    "output_tokens":11
  }
}

MODEL_ID="claude-3-sonnet@20240229"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hello!"
  }],
  "max_tokens": 50,
  "stream": true}'

Disponibilidad de la región de Claude Anthropic

Claude 3 Sonnet está disponible en las siguientes regiones:

• us-central1 (Iowa)
• asia-southeast1 (Singapore)

• us-central1 (Iowa)
• europe-west4 (Netherlands)

Cuotas de Anthropic Claude y longitud del contexto admitido

Para Claude 3 Sonnet y Claude 3 Haiku hay dos cuotas, una para cada región en la que está disponible. La cuota se especifica en consultas por minuto (QPM) y tokens por minuto (TPM). TPM incluye tokens de entrada y salida.

El límite de cuota predeterminado y la longitud del contexto compatible para Claude 3 Sonnet son los siguientes:

El límite de cuota predeterminado y la longitud del contexto compatible con Claude 3 Haiku son los siguientes:

Si quieres aumentar tus cuotas para IA generativa en Vertex AI, puedes usar la consola de Google Cloud para solicitar un aumento de la cuota. Para obtener más información sobre las cuotas, consulta Trabaja con cuotas.

Configura los permisos necesarios para habilitar los modelos de Claude y enviar instrucciones

Para que un usuario habilite los modelos de Claude Anthropic, un administrador debe otorgar a ese usuario el rol de administrador de Identity and Access Management (IAM) de autorizaciones de adquisición de consumidores. Cualquier usuario al que se le haya otorgado este rol puede habilitar un modelo de Claude Anthropic en Model Garden.

Para que un usuario realice solicitudes de mensaje desde Vertex AI, un administrador debe otorgarle el permiso aiplatform.endpoints.predict. Este permiso se incluye en el rol de IAM de usuario de Vertex AI. Para obtener más información, consulta Usuario de Vertex AI y Control de acceso.