Transferts de chaînes YouTube

Le service de transfert de données BigQuery pour le connecteur YouTube vous permet de programmer et de gérer automatiquement les tâches de chargement récurrentes pour les rapports de chaîne YouTube.

Rapports acceptés

• Rapports de chaîne (chargés automatiquement dans BigQuery)

Le service de transfert de données BigQuery pour les rapports de chaîne YouTube accepte les options de création de rapports ci-dessous.

Pour en savoir plus sur la transformation des rapports de chaîne YouTube en tables et vues BigQuery, consultez la page Transformation des rapports de chaîne YouTube.

Ingestion de données à partir de transferts de chaîne YouTube

Limites

• La taille maximale acceptée pour un rapport est de 1 710 Go.
• La fréquence minimale à laquelle vous pouvez planifier un transfert de données est une fois toutes les 24 heures. Par défaut, un transfert de données commence au moment où vous le créez. Toutefois, vous pouvez configurer l'heure de début du transfert de données lorsque vous configurez votre transfert.
• Le service de transfert de données BigQuery n'accepte pas les transferts de données incrémentiels lors d'un transfert de propriétaire de contenu YouTube. Lorsque vous spécifiez une date pour un transfert de données, toutes les données disponibles pour cette date sont transférées.
• Vous ne pouvez pas créer un transfert de données de chaîne YouTube si vous êtes connecté en tant qu'identité fédérée. Vous ne pouvez créer un transfert de chaîne YouTube que lorsque vous êtes connecté à l'aide d'un compte Google.

Avant de commencer

Avant de créer un transfert de données de chaîne YouTube, procédez comme suit :

• Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
• Créez un ensemble de données BigQuery pour stocker les données YouTube.

Autorisations requises

Pour créer un transfert de données de chaîne YouTube, vous devez disposer des éléments suivants :

• YouTube - Propriété de la chaîne YouTube

• BigQuery - Les autorisations IAM (Identity and Access Management) suivantes dans BigQuery :

  • bigquery.transfers.update pour créer le transfert.
  • bigquery.datasets.get et bigquery.datasets.update sur l'ensemble de données cible.
  • Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour plus d'informations, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Le rôle IAM prédéfini bigquery.admin inclut toutes les autorisations BigQuery dont vous avez besoin pour créer un transfert de données de chaîne YouTube. Pour en savoir plus sur les rôles IAM dans BigQuery, consultez la page Rôles prédéfinis et autorisations.

Configurer un transfert de chaîne YouTube

Pour configurer un transfert de données de chaîne YouTube, vous devez disposer des éléments suivants :

• Suffixe de table : nom convivial de la chaîne que vous avez fourni lors de la configuration du transfert de données. Le suffixe est ajouté à l'ID de tâche pour former le nom de la table, par exemple reportTypeId_suffix. Il empêche que des transferts séparés écrivent sur des tables identiques. Le suffixe de table doit être unique pour tous les transferts qui chargent des données dans le même ensemble de données. Il doit par ailleurs être court de façon à réduire la longueur du nom de table obtenu.

Si vous utilisez actuellement l'API de création de rapports YouTube et disposez de tâches de création de rapports, le service de transfert de données BigQuery charge les données de vos rapports. Si vous n'avez pas de tâches de création de rapports existantes, la configuration du transfert active automatiquement les tâches de création de rapports YouTube.

Pour créer un transfert de données de chaîne YouTube :

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

Interroger les données

Lorsque les données sont transférées vers BigQuery, elles sont écrites dans des tables partitionnées avec date d'ingestion. Pour plus d'informations, consultez la page Présentation des tables partitionnées.

Si vous interrogez directement les tables au lieu d'utiliser les vues générées automatiquement, vous devez utiliser la pseudo-colonne _PARTITIONTIME dans votre requête. Pour en savoir plus, consultez la page Interroger des tables partitionnées.

Résoudre les problèmes de configuration des transferts de chaînes YouTube

Si vous rencontrez des problèmes lors de la configuration de votre transfert de données, reportez-vous à la section Problèmes de transfert sur YouTube à la page Dépannage des configurations de transferts.