Mengelola rekomendasi partisi dan cluster

Dokumen ini menjelaskan cara kerja pemberi rekomendasi cluster dan partisi, serta untuk melihat rekomendasi dan insight Anda, serta cara menerapkan partisi dan rekomendasi cluster.

Cara kerja pemberi rekomendasi

Pemberi rekomendasi partisi dan cluster BigQuery menghasilkan rekomendasi partisi atau cluster untuk mengoptimalkan tabel BigQuery Anda. Pemberi rekomendasi menganalisis alur kerja di tabel BigQuery Anda dan menawarkan rekomendasi untuk lebih mengoptimalkan alur kerja dan membuat kueri biaya dengan lebih baik menggunakan partisi tabel atau pengelompokan tabel.

Untuk informasi selengkapnya tentang layanan Pemberi rekomendasi, lihat Ringkasan pemberi rekomendasi.

Pemberi rekomendasi partisi dan pengelompokan menggunakan data pelaksanaan beban kerja proyek dari 30 hari terakhir untuk menganalisis setiap Tabel BigQuery untuk partisi dan pengelompokan yang kurang optimal konfigurasi standar. Pemberi rekomendasi juga menggunakan machine learning untuk memprediksi seberapa banyak eksekusi workload yang dapat dioptimalkan dengan konfigurasi partisi atau cluster yang berbeda. Jika pemberi rekomendasi mendapati bahwa partisi atau pengelompokan tabel menghasilkan penghematan yang signifikan, pemberi rekomendasi akan menghasilkan rekomendasi. Pemberi rekomendasi pembuatan partisi dan cluster akan menghasilkan jenis rekomendasi berikut:

Setiap rekomendasi terdiri dari tiga bagian:

• Panduan untuk partisi atau cluster tabel tertentu
• Kolom tertentu dalam tabel untuk melakukan partisi atau cluster
• Estimasi penghematan bulanan untuk penerapan rekomendasi

Untuk menghitung potensi penghematan workload, pemberi rekomendasi mengasumsikan bahwa data histori workload eksekusi dari 30 hari terakhir mewakili workload mendatang.

API pemberi rekomendasi juga menampilkan informasi workload tabel dalam bentuk insight. Insight adalah temuan yang membantu Anda memahami workload project, yang memberikan lebih banyak konteks tentang bagaimana rekomendasi partisi atau cluster dapat meningkatkan biaya workload.

Batasan

• Pemberi rekomendasi partisi dan cluster tidak mendukung tabel BigQuery dengan SQL lama. Saat membuat rekomendasi, pemberi rekomendasi mengecualikan kueri legacy SQL dalam analisisnya. Selain itu, menerapkan rekomendasi partisi pada tabel BigQuery dengan legacy SQL akan merusak alur kerja legacy SQL di tabel tersebut.

  Sebelum menerapkan rekomendasi partisi, migrasikan alur kerja legacy SQL ke GoogleSQL.

• BigQuery tidak mendukung perubahan skema partisi dari sebuah tabel. Anda hanya dapat mengubah partisi tabel melalui salinan dari tabel. Untuk mengetahui informasi selengkapnya, lihat Menerapkan rekomendasi partisi.

Lokasi

Pemberi rekomendasi partisi dan pengelompokan tersedia di: lokasi pemrosesan:

	Deskripsi region	Nama region	Detail
Asia Pasifik
	Delhi	asia-south2
	Hong Kong	asia-east2
	Jakarta	asia-southeast2
	Mumbai	asia-south1
	Osaka	asia-northeast2
	Seoul	asia-northeast3
	Singapura	asia-southeast1
	Sydney	australia-southeast1
	Taiwan	asia-east1
	Tokyo	asia-northeast1
Eropa
	Belgia	europe-west1	CO Rendah2
	Berlin	europe-west10	CO Rendah2
	Multi-region di UE	eu
	Frankfurt	europe-west3	CO Rendah2
	London	europe-west2	CO Rendah2
	Belanda	europe-west4	CO Rendah2
	Zürich	europe-west6	CO Rendah2
Amerika
	Iowa	us-central1	CO2 Rendah
	Las Vegas	us-west4
	Los Angeles	us-west2
	Montréal	northamerica-northeast1	CO2 Rendah
	Northern Virginia	us-east4
	Oregon	us-west1	CO2 Rendah
	Salt Lake City	us-west3
	Sao Paulo	southamerica-east1	CO Rendah2
	Toronto	northamerica-northeast2	CO Rendah2
	Multi-region AS	us

Sebelum memulai

• Pastikan Gemini di BigQuery diaktifkan untuk project Google Cloud Anda.
• Aktifkan Recommender API.

Izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna mengakses rekomendasi partisi dan cluster, minta administrator untuk memberi Anda Peran IAM BigQuery Partitioning Clustering Recommender Viewer (roles/recommender.bigqueryPartitionClusterViewer). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengakses rekomendasi cluster dan partisi. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran yang telah ditetapkan sebelumnya.

Untuk mengetahui informasi lebih lanjut tentang peran dan izin IAM di BigQuery, baca Pengantar IAM.

Melihat rekomendasi

Bagian ini menjelaskan cara melihat rekomendasi partisi dan cluster serta insight menggunakan Konsol Google Cloud, Google Cloud CLI, atau Recommender API.

Pilih salah satu opsi berikut:

gcloud recommender recommendations list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --recommender=google.bigquery.table.PartitionClusterRecommender \
    --format=FORMAT_TYPE \

gcloud recommender insights list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --insight-type=google.bigquery.table.StatsInsight \
    --format=FORMAT_TYPE \

curl
    -H "Authorization: Bearer $GCLOUD_AUTH_TOKEN"
    -H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/my-project/locations/us/recommenders/google.bigquery.table.PartitionClusterRecommender/recommendations

curl
-H "Authorization: Bearer $GCLOUD_AUTH_TOKEN"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/my-project/locations/us/insightTypes/google.bigquery.table.StatsInsight/insights

Menerapkan rekomendasi cluster

Untuk menerapkan rekomendasi cluster, lakukan salah satu langkah berikut:

• Menerapkan cluster langsung ke tabel asli
• Menerapkan cluster ke tabel yang disalin
• Menerapkan cluster dalam tampilan terwujud

Terapkan cluster langsung ke tabel asli

Anda dapat menerapkan rekomendasi cluster langsung ke tabel BigQuery yang ada. Metode ini lebih cepat daripada menerapkan rekomendasi ke tabel yang disalin, tetapi tidak mempertahankan tabel cadangan.

Ikuti langkah-langkah berikut untuk menerapkan spesifikasi pengelompokan baru ke tabel yang tidak dipartisi atau dipartisi.

1. Pada alat bq, perbarui spesifikasi pengelompokan tabel agar sesuai dengan pengelompokan baru:

    bq update --clustering_fields=CLUSTER_COLUMN DATASET.ORIGINAL_TABLE 

   Ganti yang berikut ini:

   • CLUSTER_COLUMN: kolom tempat Anda melakukan pengelompokan—misalnya, mycolumn
   • DATASET: nama set data yang berisi tabel—misalnya, mydataset
   • ORIGINAL_TABLE: nama tabel asli—misalnya, mytable

   Anda juga dapat memanggil metode API tables.update atau tables.patch untuk mengubah spesifikasi pengelompokan.

2. Untuk mengelompokkan semua baris sesuai dengan spesifikasi pengelompokan baru, jalankan pernyataan UPDATE berikut:

   UPDATE DATASET.ORIGINAL_TABLE SET CLUSTER_COLUMN=CLUSTER_COLUMN WHERE true
   

Menerapkan cluster ke tabel yang disalin

Saat menerapkan rekomendasi cluster ke tabel BigQuery, Anda dapat menyalin tabel asli terlebih dahulu, lalu menerapkan rekomendasi tersebut ke tabel yang disalin. Metode ini memastikan data asli Anda dipertahankan jika Anda perlu me-roll back perubahan ke konfigurasi cluster.

Anda dapat menggunakan metode ini untuk menerapkan rekomendasi cluster ke tabel yang tidak dipartisi dan dipartisi.

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, buat tabel kosong dengan metadata yang sama (termasuk spesifikasi cluster) dari tabel asli menggunakan operator LIKE:

   CREATE TABLE DATASET.COPIED_TABLE
   LIKE DATASET.ORIGINAL_TABLE
   

   Ganti kode berikut:

   • DATASET: nama set data yang berisi tabel—misalnya, mydataset
   • COPIED_TABLE: nama untuk tabel yang disalin—misalnya, copy_mytable
   • ORIGINAL_TABLE: nama tabel asli Anda—misalnya, mytable

3. Di Konsol Google Cloud, buka Cloud Shell Editor.

   Aktifkan Cloud Shell

4. Di Cloud Shell Editor, perbarui spesifikasi pengelompokkan dari tabel yang disalin agar sesuai dengan pengelompokan yang direkomendasikan menggunakan perintah bq update:

    bq update --clustering_fields=CLUSTER_COLUMN DATASET.COPIED_TABLE 

   Ganti CLUSTER_COLUMN dengan kolom yang sedang Anda kelompokkan—misalnya, mycolumn.

   Anda juga dapat memanggil metode API tables.update atau tables.patch untuk mengubah spesifikasi cluster.

5. Di editor kueri, ambil skema tabel dengan konfigurasi partisi dan cluster tabel asli, jika ada partisi atau cluster. Anda dapat mengambil skema dengan melihat tampilan INFORMATION_SCHEMA.TABLES dari tabel asli:

   SELECT
     ddl
   FROM
     DATASET.INFORMATION_SCHEMA.TABLES
   WHERE
     table_name = 'DATASET.ORIGINAL_TABLE;'
   

   Output-nya adalah pernyataan bahasa definisi data lengkap (DDL) dari ORIGINAL_TABLE, termasuk klausa PARTITION BY. Untuk mengetahui informasi selengkapnya tentang argumen dalam output DDL Anda, lihat pernyataan CREATE TABLE.

   Output DDL menunjukkan jenis partisi dalam tabel asli:

   Jenis partisi	Contoh output
   Tidak dipartisi	Klausa PARTITION BY tidak ada.
   Dipartisi menurut kolom tabel	PARTITION BY c0
   	PARTITION BY DATE(c0)
   	PARTITION BY DATETIME_TRUNC(c0, MONTH)
   Dipartisi menurut waktu penyerapan	PARTITION BY _PARTITIONDATE
   	PARTITION BY DATETIME_TRUNC(_PARTITIONTIME, MONTH)

6. Menyerap data ke dalam tabel yang disalin. Proses yang digunakan didasarkan pada jenis partisi.

   • Jika tabel asli tidak dipartisi atau dipartisi oleh kolom tabel, serap data dari tabel asli ke tabel yang disalin:

     INSERT INTO DATASET.COPIED_TABLE
     SELECT * FROM DATASET.ORIGINAL_TABLE
     

   • Jika tabel asli dipartisi menurut waktu penyerapan, ikuti langkah-langkah berikut:

     1. Ambil daftar kolom untuk membentuk ekspresi penyerapan data dengan menggunakan tampilan INFORMATION_SCHEMA.COLUMNS:

        SELECT
        ARRAY_TO_STRING((
        SELECT
          ARRAY(
          SELECT
            column_name
          FROM
            DATASET.INFORMATION_SCHEMA.COLUMNS
          WHERE
            table_name = 'ORIGINAL_TABLE')), ", ")
        

        Output-nya adalah daftar nama kolom yang dipisahkan koma.

     2. Serap data dari tabel asli ke tabel yang disalin:

        INSERT DATASET.COPIED_TABLE (COLUMN_NAMES, _PARTITIONTIME)
        SELECT *, _PARTITIONTIME FROM DATASET.ORIGINAL_TABLE
        

        Ganti COLUMN_NAMES dengan daftar kolom yang merupakan output pada langkah sebelumnya, yang dipisahkan dengan koma—misalnya, col1, col2, col3.

   Anda sekarang memiliki salinan tabel yang dikelompokkan dengan data yang sama seperti tabel asli. Pada langkah berikutnya, Anda akan mengganti tabel asli dengan tabel yang baru dikelompokkan.

7. Mengganti nama tabel asli menjadi tabel cadangan:

   ALTER TABLE DATASET.ORIGINAL_TABLE
   RENAME TO DATASET.BACKUP_TABLE
   

   Ganti BACKUP_TABLE dengan nama untuk tabel cadangan Anda—misalnya, backup_mytable.

8. Ganti nama tabel yang disalin ke tabel asli:

   ALTER TABLE DATASET.COPIED_TABLE
   RENAME TO DATASET.ORIGINAL_TABLE
   

   Tabel asli Anda sekarang dikelompokkan sesuai dengan rekomendasi cluster.

• Akses dan izin, seperti izin IAM, akses tingkat baris, atau akses tingkat kolom.
• Artefak tabel seperti clone tabel, snapshot tabel, atau indeks penelusuran.
• Status setiap proses tabel yang sedang berlangsung, seperti tampilan terwujud atau tugas apa pun yang dijalankan saat Anda menyalin tabel.
• Kemampuan untuk mengakses data tabel historis menggunakan perjalanan waktu.
• Metadata apa pun yang terkait dengan tabel asli—misalnya, table_option_list atau column_option_list. Untuk mengetahui informasi selengkapnya, lihat Pernyataan bahasa definisi data.

Jika muncul masalah, Anda harus memigrasikan artefak yang terpengaruh secara manual ke tabel baru.

    DROP TABLE DATASET.BACKUP_TABLE
    

Terapkan cluster dalam tampilan terwujud

Menerapkan rekomendasi partisi

Untuk menerapkan rekomendasi partisi, Anda harus menerapkannya ke salinan file aslinya tabel sementara. BigQuery tidak mendukung perubahan partisi skema tabel yang sudah ada, seperti mengubah tabel tanpa partisi tabel yang dipartisi, mengubah skema partisi tabel, atau membuat terwujud dengan skema partisi yang berbeda dari tabel dasar. Anda hanya dapat mengubah partisi sebuah tabel pada salinan tabel itu.

Terapkan rekomendasi partisi ke tabel yang disalin

Saat menerapkan rekomendasi partisi ke tabel BigQuery, Anda harus menyalin tabel asli terlebih dahulu, lalu menerapkan rekomendasi ke salinan tabel. Pendekatan ini memastikan data asli tetap dipertahankan jika Anda perlu me-roll back partisi.

Prosedur berikut menggunakan contoh rekomendasi untuk mempartisi tabel berdasarkan unit waktu partisi DAY.

1. Buat tabel yang disalin menggunakan rekomendasi partisi:

   CREATE TABLE DATASET.COPIED_TABLE
   PARTITION BY DATE_TRUNC(PARTITION_COLUMN, DAY)
   AS SELECT * FROM DATASET.ORIGINAL_TABLE
   

   Ganti kode berikut:

   • DATASET: nama set data yang berisi tabel—misalnya, mydataset
   • COPIED_TABLE: nama untuk tabel yang disalin—misalnya, copy_mytable
   • PARTITION_COLUMN: kolom tempat Anda membuat partisi—misalnya, mycolumn

   Untuk informasi selengkapnya tentang cara membuat tabel yang dipartisi, lihat Membuat tabel yang dipartisi.

2. Mengganti nama tabel asli menjadi tabel cadangan:

   ALTER TABLE DATASET.ORIGINAL_TABLE
   RENAME TO DATASET.BACKUP_TABLE
   

   Ganti BACKUP_TABLE dengan nama untuk tabel cadangan Anda—misalnya, backup_mytable.

3. Ganti nama tabel yang disalin ke tabel asli:

   ALTER TABLE DATASET.COPIED_TABLE
   RENAME TO DATASET.ORIGINAL_TABLE
   

   Tabel asli Anda kini dipartisi menurut rekomendasi partisi.

• Akses dan izin, seperti izin IAM, akses tingkat baris, atau akses tingkat kolom.
• Artefak tabel seperti clone tabel, snapshot tabel, atau indeks penelusuran.
• Status setiap proses tabel yang sedang berlangsung, seperti tampilan terwujud atau tugas apa pun yang dijalankan saat Anda menyalin tabel.
• Kemampuan untuk mengakses data tabel historis menggunakan perjalanan waktu.
• Metadata apa pun yang terkait dengan tabel asli—misalnya, table_option_list atau column_option_list. Untuk mengetahui informasi selengkapnya, lihat Pernyataan bahasa definisi data.
• Kemampuan menggunakan legacy SQL untuk menulis hasil kueri ke dalam tabel yang dipartisi. Penggunaan legacy SQL tidak sepenuhnya didukung dalam tabel yang dipartisi. Salah satu solusinya adalah memigrasikan alur kerja legacy SQL ke GoogleSQL sebelum menerapkan rekomendasi partisi.

Jika muncul masalah, Anda harus memigrasikan artefak yang terpengaruh secara manual ke tabel baru.

    DROP TABLE DATASET.BACKUP_TABLE
    

Harga

Untuk detail tentang harga untuk fitur ini, lihat Ringkasan harga Gemini di BigQuery.

• Biaya pemrosesan. Saat menerapkan rekomendasi, Anda akan mengeksekusi kueri bahasa definisi data (DDL) atau bahasa pengolahan data (DML) ke project BigQuery.
• Biaya penyimpanan. Jika Anda menggunakan metode penyalinan tabel, Anda menggunakan penyimpanan tambahan untuk tabel yang disalin (atau cadangan).

Biaya pemrosesan dan penyimpanan standar berlaku, tergantung pada akun penagihan yang terkait dengan project. Untuk informasi lebih lanjut, lihat Harga BigQuery.

Kuota dan batas

Untuk informasi tentang kuota dan batas untuk fitur ini, lihat Kuota untuk Gemini di BigQuery.

Pemecahan masalah

Masalah: Tidak ada rekomendasi yang muncul untuk tabel tertentu.

Rekomendasi partisi dan cluster mungkin tidak muncul dalam situasi berikut:

• Ukuran tabel kurang dari 10 GB.
• Tabel ini memiliki biaya tulis yang tinggi dari operasi bahasa pengolahan data (DML).
• Tabel tidak dibaca dalam 30 hari terakhir.
• Estimasi penghematan bulanan terlalu tidak signifikan (penghematan kurang dari 1 slot jam).
• Tabel sudah dikelompokkan.