Modelli partner Vertex AI per MaaS

Vertex AI supporta un elenco selezionato di modelli sviluppati dai partner di Google. I modelli dei partner possono essere utilizzati con Vertex AI come servizio di modelli come servizio (MaaS) e sono offerti come API gestite. Quando utilizzi un modello di un partner, continui a inviare le richieste agli endpoint Vertex AI. I modelli del partner sono serverless, quindi non è necessario eseguire il provisioning o gestire l'infrastruttura.

I modelli dei partner possono essere scoperti utilizzando Model Garden. Puoi anche il deployment dei modelli usando Model Garden. Per ulteriori informazioni, vedi Esplora i modelli di IA in Model Garden. Sebbene le informazioni su ciascun modello partner disponibile siano disponibili nella relativa scheda in Model Garden, in questa guida sono documentati solo i modelli di terze parti che funzionano come MaaS con Vertex AI.

I modelli Claude e Mistral di Anthropic sono esempi di modelli gestiti da terze parti. disponibili su Vertex AI.

Prezzi dei modelli partner di Vertex AI con garanzia della capacità

Google offre la velocità effettiva sottoposta a provisioning per alcuni modelli dei partner che prenotano per i tuoi modelli a una tariffa fissa. Sei tu a decidere di velocità effettiva elevata e in quali regioni riservarla. Poiché le richieste di velocità effettiva di cui è stato eseguito il provisioning hanno la priorità rispetto alle richieste di velocità effettiva standard con pagamento a consumo la velocità effettiva di cui è stato eseguito il provisioning offre maggiore disponibilità. Quando il sistema è sovraccaricato, le richieste possono comunque essere completate purché il throughput rimanga al di sotto della capacità di throughput riservata. Per ulteriori informazioni o per abbonarti al servizio, contatta il team di vendita.

Concedere agli utenti l'accesso ai modelli partner

Per attivare i modelli di partner ed effettuare una richiesta di prompt, un amministratore Google Cloud deve impostare le autorizzazioni richieste e verificare che i criteri dell'organizzazione consentano l'utilizzo delle API richieste.

Imposta le autorizzazioni necessarie per utilizzare i modelli dei partner

Per utilizzare i modelli di partner sono richiesti i seguenti ruoli e autorizzazioni:

  • Devi avere il Gestore entitlement di approvvigionamento consumer Ruolo IAM (Identity and Access Management). Chiunque abbia ricevuto questo ruolo può abilitare i modelli partner in Model Garden.

  • Devi disporre dell'autorizzazione aiplatform.endpoints.predict. Questo sia inclusa nel ruolo IAM Utente Vertex AI. Per ulteriori informazioni, consulta Utente Vertex AI e Controllo accessi.

Console

  1. Per concedere IAM al Gestore entitlement di approvvigionamento consumer ruoli a un utente, vai alla pagina IAM.

    Vai a IAM

  2. Nella colonna Principale, individua l'entità utente per cui vuoi attivare l'accesso ai modelli di partner e fai clic su Modifica entità nella riga corrispondente.

  3. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  4. In Seleziona un ruolo, seleziona Gestore diritti approvvigionamento consumer.

  5. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  6. In Seleziona un ruolo, seleziona Utente Vertex AI.

  7. Fai clic su Salva.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Concedi il ruolo Gestore entitlement approvvigionamento consumer necessario per attivare i modelli di partner in Model Garden

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Concedi il ruolo Utente Vertex AI che include l'autorizzazioneaiplatform.endpoints.predict necessaria per effettuare richieste di prompt:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Sostituisci PRINCIPAL con l'identificatore per l'entità. L'identificatore ha la forma user|group|serviceAccount:email o domain:domain, ad esempio user:[email protected], group:[email protected], serviceAccount:[email protected] o domain:example.domain.com.

    L'output è un elenco di associazioni di criteri che include quanto segue:

    - members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Per ulteriori informazioni, vedi Assegna un singolo ruolo e gcloud projects add-iam-policy-binding

Imposta il criterio dell'organizzazione per l'accesso al modello partner

Per abilitare i modelli dei partner, i criteri dell'organizzazione devono consentire quanto segue API:

  • Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
  • API Commerce Agreement - commerceagreement.googleapis.com

Se la tua organizzazione imposta un criterio dell'organizzazione su limitare l'utilizzo del servizio, un amministratore dell'organizzazione deve verificare cloudcommerceconsumerprocurement.googleapis.com e commerceagreement.googleapis.com consentiti da l'impostazione del criterio dell'organizzazione.

Inoltre, se hai un criterio dell'organizzazione che limita l'utilizzo del modello Model Garden, il criterio deve consentire l'accesso ai modelli dei partner. Per maggiori informazioni consulta le informazioni sul modello di controllo l'accesso alle app.