Stima dei requisiti di capacità degli slot

Quando acquisti slot prenotati in BigQuery, devi stimare il numero giusto di slot per il tuo carico di lavoro specifico. BigQuery Lo strumento di stima degli slot consente di gestire la capacità degli slot in base alle prestazioni storiche metriche di valutazione.

Puoi usare lo strumento di stima degli slot per la tua versione, la tua prenotazione e i contenuti on demand carichi di lavoro per eseguire le attività seguenti:

Per i carichi di lavoro della versione selezionati:

• Visualizza i dati sulla capacità e sull'utilizzo degli slot per gli ultimi 30 giorni e identifica periodi di picco di utilizzo in cui viene utilizzato il maggior numero di slot.
• Visualizza suggerimenti ottimali per i costi per gli slot con impegno e scalabilità automatica con prestazioni simili.
• Visualizza le impostazioni di prenotazione attuali per una versione specifica.

Per carichi di lavoro delle prenotazioni specifici:

• Visualizza i dati sulla capacità e sull'utilizzo degli slot per gli ultimi 30 giorni e identifica periodi di picco di utilizzo in cui viene utilizzato il maggior numero di slot.
• Visualizza i percentili di latenza del job (P90, P95 e così via) per comprendere la query le prestazioni dei dispositivi.
• Crea un modello di come l'aumento o la riduzione del numero massimo di slot di prenotazione può influire le prestazioni dei dispositivi.

Per i carichi di lavoro di fatturazione on demand:

• Visualizzare i dati sull'utilizzo degli slot on demand dell'intera organizzazione o di una singola persona degli ultimi 30 giorni.
• Visualizza suggerimenti ottimali per i costi per slot di impegno e con scalabilità automatica con con prestazioni simili se passi alla versione Enterprise.

I clienti che utilizzano la versione Enterprise, la versione Enterprise Plus o la fatturazione on demand possono utilizzare il consigliatore di slot BigQuery per visualizzare l'utilizzo degli slot, ottimizzare gli impegni e migliorare le prestazioni. Per ulteriori informazioni informazioni, consulta Visualizzare lo slot della versione personalizzati.

Limitazioni

• I dati sono limitati agli ultimi 30 giorni.
• I modelli non includono ML_EXTERNAL compiti. Se un'ampia percentuale dei tuoi slot viene utilizzata per le assegnazioni di ML_EXTERNAL, i risultati modellati sono meno precisi.

Prima di iniziare

Concedi i ruoli IAM (Identity and Access Management) che concedono agli utenti le autorizzazioni necessarie per eseguire ogni attività in questo documento.

Autorizzazioni obbligatorie

Per utilizzare lo strumento di stima degli slot per i dati delle prenotazioni, è necessario quanto segue Autorizzazioni IAM sul progetto di amministrazione:

• bigquery.reservations.list
• bigquery.reservationAssignments.list
• bigquery.capacityCommitments.list

Ciascuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per utilizzare lo stimatore di slot:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer
• roles/bigquery.user

Per utilizzare lo stimatore di slot per i dati di utilizzo on demand, devi abilitare l'API Reservations in un progetto che intendi utilizzare come progetto di amministrazione per gestire le prenotazioni. Oltre alle autorizzazioni precedenti, è necessaria anche una delle seguenti autorizzazioni Autorizzazioni IAM sulla tua organizzazione per visualizzare a livello di organizzazione o il progetto per visualizzare i dati a livello di progetto:

• bigquery.jobs.listExecutionMetadata (può essere applicato solo all'organizzazione livello)
• bigquery.jobs.listAll (può essere applicato sia a livello di organizzazione che di progetto)

Ciascuno dei seguenti ruoli IAM predefiniti include autorizzazioni necessarie per utilizzare lo strumento di stima degli slot:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer

Per visualizzare i suggerimenti sugli slot dell'impegno, devi disporre anche delle autorizzazioni descritto in Visualizzare lo slot della versione personalizzati.

Per ulteriori informazioni sui ruoli IAM in BigQuery, vedi Autorizzazioni e ruoli predefiniti.

Visualizza capacità e utilizzo degli slot

Per visualizzare la capacità e l'utilizzo degli slot nel tempo, vai allo strumento di stima degli slot:

1. Nella console Google Cloud, apri la pagina BigQuery.

   Vai a BigQuery

2. Seleziona il tuo progetto di amministrazione.

   1. Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
   2. Nella finestra Seleziona da che viene visualizzata, seleziona il tuo progetto.

3. Nel pannello di navigazione, vai alla sezione Gestione della capacità.

4. Fai clic sulla scheda Stimatore di slot.

Il grafico sull'utilizzo mostra la capacità e l'utilizzo degli slot negli ultimi 30 giorni. calcolate con la granularità oraria.

La scheda Utilizzo e utilizzo in percentuale mostra l'utilizzo degli slot come percentuale di utilizzo degli slot in base al numero massimo di slot.

La scheda Utilizzo e utilizzo per capacità mostra il numero massimo di slot e l'utilizzo come valori assoluti,

Puoi scegliere una versione o un'opzione on demand dal menu a discesa Origine per visualizzare le statistiche per ambiti diversi. Selezionando una versione, viene compilata Menu a discesa Prenotazione con prenotazioni pertinenti.

Per le opzioni on demand, puoi scegliere un singolo progetto o l'intero dell'organizzazione Menu a discesa Suggerimenti per se disponi di autorizzazioni a livello di organizzazione. La pagina Strumento per la stima degli slot mostra solo le informazioni a livello di progetto se dispongono di autorizzazioni a livello di progetto.

Le statistiche per la scheda Utilizzo e utilizzo per capacità potrebbero variare leggermente in base a diversi ambiti:

• Per l'origine della versione, mostra il numero massimo di slot disponibili per l'intera versione, slot di impegno, somma degli slot di riferimento, utilizzo medio degli slot, utilizzo slot P99 e l'utilizzo degli slot P50.
• Per una prenotazione specifica, mostra il numero massimo di slot prenotazione, gli slot di riferimento utilizzo medio degli slot, utilizzo slot P99 e utilizzo slot P50.
• Per la sorgente on demand, vengono mostrati l'utilizzo medio dello slot, l'utilizzo dello slot P99 e l'utilizzo dello slot P50.

Prestazioni degli slot modello

Quando è selezionata una prenotazione, puoi utilizzare lo strumento di stima degli slot per visualizzare il job sulle prestazioni e modellare l'effetto della modifica del numero massimo di slot. Lo strumento di stima degli slot ti consente di modellare le possibili variazioni delle prestazioni livelli di capacità, che vanno dall'80% del valore minimo della dimensione massima degli slot di osservazione al 150% degli slot massimi attuali. In altre parole, la diminuzione delle opzioni non può superare il 20% della capacità minima in un periodo di 30 giorni, mentre l'aumento delle opzioni non può superare il 50% della capacità attuale.

I modelli ipotizzano una riproduzione dei 30 giorni precedenti di utilizzo, in cui tutto rimane invariato, tranne che con gli slot.

Il miglioramento delle prestazioni stimato si basa su diversi fattori. Il più i fattori importanti sono il numero di slot nel modello e la proporzione i job in ogni bucket percentile eseguiti durante i periodi di picco rispetto ai normali cicli. I periodi di picco sono definiti come durate in cui sono stati utilizzati quasi tutti gli slot. I job eseguiti durante questi periodi sono maggiormente influenzati dalla contesa degli slot. registrando quindi il maggior guadagno in termini di prestazioni da altri slot. Di conseguenza, bucket di job diversi possono vedere effetti diversi dalla stessa capacità aumentano in base a quando vengono eseguite.

Per configurare le prestazioni degli slot del modello, segui questi passaggi:

1. Nella console Google Cloud, apri la pagina BigQuery.

   Vai a BigQuery

2. Seleziona il progetto di amministrazione.

   1. Fai clic sull'elenco a discesa Seleziona da nella parte superiore della pagina.
   2. Nella finestra Seleziona da che viene visualizzata, seleziona il tuo progetto.

3. Nel pannello di navigazione, vai alla sezione Gestione della capacità.

4. Fai clic sulla scheda Stimatore di slot.

5. Nel menu a discesa Prenotazione, seleziona una determinata prenotazione. Il modello include il numero di slot inattivi che la prenotazione è riuscita a prendere in prestito in un determinato momento.

6. Nel menu a discesa Modello con slot aggiuntivi sul numero massimo di slot, seleziona uno o più valori degli slot da modellare e fai clic su OK.

La tabella in Modifiche nelle prestazioni del job con slot aggiuntivi mostra il job i dati sul rendimento degli ultimi 30 giorni, insieme alla variazione stimata il rendimento derivante dall'aumento o dalla diminuzione del numero massimo di slot. I dati vengono raggruppati percentuali per durata job per tutti i job eseguiti nel periodo di tempo selezionato. La colonna indicata dall'icona della lampadina corrisponde alla colonna che migliora le prestazioni suggerimento per la prenotazione selezionata.

I dati sul rendimento sono suddivisi per percentile. La tabella suddivide i dati in 12 bucket: da P10 a P90, più P95, P99 e P100. Il bucket P100 rappresenta l'1% dei job che hanno richiesto più tempo per l'esecuzione; P99 include il 96-99% migliore; P95 include il 91-95% migliore; P90 include l'81-90% migliore e così via. A seconda dei dati, la tabella potrebbe raggrupparli in meno bucket. In questo caso, la tabella contiene meno righe.

Per ogni bucket percentile, la tabella mostra le seguenti informazioni:

• Percentile durata job: il bucket percentile per questa riga.
• Durata media del job: il tempo medio in cui i job nel bucket percentile per l'esecuzione.
• Numero di job: il numero di job nel bucket percentile.
• Per ogni modello, la durata media stimata per i job in quel percentile.

La tabella riporta anche una stima della "variazione di 30 giorni" per ogni modello. Questo è la variazione stimata delle ore totali trascorse a elaborare i job Cronologia di 30 giorni con capacità slot diverse.

Informazioni sui risultati della definizione del modello con l'utilizzo degli slot

Per le prenotazioni a capacità fissa, se la condivisione di slot inattivi è abilitata, i job in la prenotazione può prendere in prestito gli slot inattivi da altre prenotazioni. Di conseguenza, l'utilizzo può superare il 100% degli slot allocati. Se una prenotazione fa regolarmente prende in prestito gli slot inattivi da altre prenotazioni, questo potrebbe essere un segnale di aumentare la dimensione della prenotazione. Se, invece, una prenotazione utilizza raramente capacità massima, la prenotazione potrebbe essere troppo grande.

Per le prenotazioni che usano la scalabilità automatica vengono usati e aggiungi slot con la priorità seguente:

1. Slot di riferimento.
2. Condivisione di slot inattivi (se abilitata).
3. Slot a scalabilità automatica.

Se una prenotazione con scalabilità automatica raggiunge costantemente il massimo degli slot di scalabilità automatica, potrebbe essere un segnale di aumento del numero massimo di slot prenotati. Per informazioni su come visualizzare l'utilizzo degli slot, vedi Visualizzare i grafici delle risorse amministrative.

Prezzi

Puoi utilizzare lo stimatore di slot senza costi.