Precios de Dataflow

En esta página se describen los precios de Dataflow. Para ver los precios de otros productos, consulta la documentación sobre precios.

Para obtener información sobre cómo puedes ahorrar un 40% con un compromiso de tres años o un 20% con un compromiso de un año, consulta nuestra página de descuentos por compromiso de uso (CUD).

Descripción general

El uso de Dataflow se factura por los recursos que usan tus trabajos. Según el modelo de precios que uses, los recursos se miden y facturan de manera diferente.

Recursos de procesamiento de Dataflow	Recursos de procesamiento de Dataflow Prime
CPU y memoria de trabajador (lotes, transmisión y FlexRS) Datos procesados de Dataflow Shuffle (por lotes y FlexRS) Unidades de procesamiento de Streaming Engine o datos heredados de Streaming Engine procesados (solo transmisión)	Unidades de procesamiento de datos (DCU) (lotes y transmisión)

Otros recursos de Dataflow que se facturan por todos los trabajos incluyen Persistent Disk, instantáneas y GPU.

Es posible que se usen recursos de otros servicios para el trabajo de Dataflow. Los servicios que se usan con Dataflow pueden incluir BigQuery, Pub/Sub, Cloud Storage y Cloud Logging, entre otros.

Aunque la tarifa de los precios se basa en la hora, el uso de Dataflow se factura en incrementos por segundo por trabajo. El uso se expresa en horas para aplicar precios por hora al uso por segundo. Por ejemplo, 30 minutos son 0.5 horas. Los trabajadores y los trabajos pueden consumir recursos como se describe en las siguientes secciones.

Las versiones futuras de Dataflow podrían tener cargos por servicio diferentes o agrupar servicios relacionados en paquetes.

Recursos de procesamiento de Dataflow

La facturación de Dataflow para los recursos de procesamiento incluye los siguientes componentes:

• CPU y memoria de los trabajadores
• Datos procesados de Dataflow Shuffle para cargas de trabajo por lotes
• Unidades de procesamiento de Streaming Engine
• Datos procesados de Streaming Engine

Para obtener más información sobre las regiones disponibles y sus zonas, consulta la página Regiones y zonas de Compute Engine.

CPU y memoria de los trabajadores

Cada trabajo de Dataflow usa al menos un trabajador de Dataflow. Este servicio ofrece dos tipos de trabajadores: lotes y transmisión. Los trabajadores de transmisión y por lotes tienen cargos por servicio independientes.

Los trabajadores de Dataflow consumen los siguientes recursos, que se facturan por segundo:

• CPU
• Memoria

Los trabajadores en transmisión y por lotes son recursos especializados que usan Compute Engine. Sin embargo, un trabajo de Dataflow no emite facturación de Compute Engine para los recursos de Compute Engine que administra el servicio de Dataflow. En cambio, los cargos por el servicio de Dataflow abarcan el uso de estos recursos de Compute Engine.

Puedes anular el recuento de trabajadores predeterminado para un trabajo. Si usas el ajuste de escala automático, puedes especificar la cantidad máxima de trabajadores para asignar a un trabajo. Los trabajadores y sus recursos se agregan y quitan de forma automática según la activación del ajuste de escala automático.

Además, puedes usar opciones de canalización para anular la configuración de recursos predeterminada, como el tipo de máquina y el tipo y tamaño del disco, que se asignan a cada trabajador y que usan GPU.

FlexRS

Dataflow ofrece una opción de precios con descuento para la CPU y la memoria, destinada al procesamiento por lotes. Flexible Resource Scheduling (FlexRS) combina VM interrumpibles y normales en un solo grupo de trabajadores de Dataflow para que los usuarios tengan acceso a recursos de procesamiento más económicos. Además, FlexRS retrasa la ejecución de un trabajo por lotes de Dataflow por un período de 6 horas a fin de identificar el mejor momento para iniciarlo según los recursos disponibles.

Aunque Dataflow usa una combinación de trabajadores para ejecutar un trabajo de FlexRS, se te factura una tarifa uniforme con descuento de alrededor del 40% en el costo de CPU y memoria en comparación con los precios normales de Dataflow, sin importar el tipo de trabajador. Para indicarle a Dataflow que use FlexRS en tus canalizaciones por lotes con ajuste de escala automático, debes especificar el parámetro de FlexRS.

Datos procesados con Dataflow Shuffle

Para las canalizaciones por lotes, Dataflow proporciona una función altamente escalable, Dataflow Shuffle, que redistribuye los datos fuera de los trabajadores. Para obtener más información, consulta Dataflow Shuffle.

Dataflow Shuffle cobra por el volumen de datos procesados durante la redistribución.

Precios de Streaming Engine

Para las canalizaciones de transmisión, Dataflow Streaming Engine traslada el procesamiento de la redistribución de datos y el estado de las VM de trabajador hacia el backend del servicio de Dataflow. Para obtener más información, consulta Streaming Engine.

Unidades de procesamiento de Streaming Engine

Con la facturación basada en recursos, los recursos de Streaming Engine se miden en unidades de procesamiento de Streaming Engine. Dataflow mide los recursos de Streaming Engine que usa cada trabajo y, luego, factura según el total de recursos que usa ese trabajo. Si quieres habilitar la facturación basada en recursos para tu trabajo, consulta Usa la facturación basada en recursos. Cuando usas la facturación basada en recursos, los descuentos existentes se aplican automáticamente.

Cuando usas Dataflow Prime con facturación basada en recursos, se te factura según el total de recursos que usa cada trabajo, pero se usa el SKU de la unidad de procesamiento de datos (DCU) en lugar del SKU de la unidad de procesamiento de Streaming Engine.

Datos procesados (heredados) de Streaming Engine

Dataflow sigue admitiendo la facturación heredada procesada por los datos. A menos que habilites la facturación basada en recursos, los trabajos se facturan con la facturación procesada de datos.

La facturación procesada por los datos de Streaming Engine mide el uso según el volumen de datos de transmisión procesados, que depende de los siguientes factores:

• El volumen de datos transferidos a tu canalización de transmisión
• La complejidad de la canalización
• La cantidad de etapas de canalización con operación de Shuffle o con DoFn con estado

Entre los ejemplos de lo que se registra como un byte procesado, se incluyen los siguientes elementos:

• Flujos de entrada desde fuentes de datos
• Flujos de datos desde una etapa de canalización fusionada a otra etapa fusionada
• Flujos de datos que persisten en el estado definido por el usuario o se usan para la renderización en ventanas
• Enviar mensajes a los receptores de datos, como a Pub/Sub o BigQuery

Precios de los recursos de procesamiento de Dataflow: por lotes y FlexRS

La siguiente tabla contiene detalles de los precios de los recursos de trabajadores y los datos procesados con Shuffle para trabajos por lotes y de FlexRS.

¹ Configuración predeterminada de los trabajadores por lotes: 1 CPU virtual, 3.75 GB de memoria, 250 GB de disco persistente si no se usa Dataflow Shuffle, 25 GB de disco persistente si se usa Dataflow Shuffle

² Propiedades predeterminadas de los trabajadores FlexRS: 2 CPU virtuales, 7.50 GB de memoria, 25 GB de disco persistente por trabajador, con un mínimo de dos trabajadores

Precios de los recursos de procesamiento de Dataflow: transmisión

En la siguiente tabla, se muestran los detalles de los precios de los recursos de trabajadores, los datos procesados (heredados) de Streaming Engine y las unidades de procesamiento de Streaming Engine para los trabajos de transmisión.

Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

³ Configuración predeterminada de los trabajadores de transmisión: 4 CPU virtuales, 15 GB de memoria, 400 GB de disco persistente si no se usa Streaming Engine, 30 GB de disco persistente si se usa Streaming Engine En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Una proporción de 1:1 entre trabajadores y discos es la asignación de recursos mínima.

⁴ Los precios de Dataflow Shuffle se basan en los ajustes de volumen que se aplican a la cantidad de datos procesados durante las operaciones de lectura y escritura mientras se redistribuye el conjunto de datos. Para obtener más información, consulta los detalles de precios de Dataflow Shuffle. Los precios de Dataflow Shuffle no se aplican a los trabajos de Streaming Engine que usan facturación basada en recursos.

⁵ Unidades de procesamiento de Streaming Engine para trabajos de transmisión que usan Streaming Engine y el modelo de facturación basado en recursos Estos trabajos no se facturan por los datos procesados durante la redistribución.

Ajustes de volumen para datos procesados de Dataflow Shuffle

Los cargos se calculan por trabajo de Dataflow a través de los ajustes de volumen que se aplican a la cantidad total de datos procesados durante las operaciones de Dataflow Shuffle. Tu facturación actual por los datos procesados con Dataflow Shuffle es igual a que se te cobre el precio completo por un cantidad menor de datos en vez de la cantidad procesada por un trabajo de Dataflow. Esta diferencia hace que la métrica datos procesados aleatorios facturables sea menor que la métrica de datos aleatorios totales procesados.

En la siguiente tabla, se explica cómo se aplican estos ajustes:

Datos procesados de Dataflow Shuffle	Ajuste de facturación
Primeros 250 GB	Reducción del 75%
Siguientes 4,870 GB	Reducción del 50%
Datos restantes sobre 5,120 GB (5 TB)	ninguno

Por ejemplo, si tu canalización da como resultado 1,024 GB (1 TB) de datos procesados totales de Dataflow Shuffle, el importe facturable se calcula de la siguiente manera:

250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate

Si tu canalización da como resultado 10,240 GB (10 TB) de datos procesados en total con Dataflow Shuffle, esta es la cantidad facturable de datos:

250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB

Precios de los recursos de procesamiento de Dataflow Prime

Dataflow Prime es una plataforma de procesamiento de datos que se basa en Dataflow para brindar mejoras en el uso de recursos y el diagnóstico distribuido.

El precio de los recursos de procesamiento que usa un trabajo de Dataflow Prime se determina según la cantidad de unidades de procesamiento de datos (DCU). Las DCU representan los recursos de procesamiento que se asignan para ejecutar tu canalización. Otros recursos de Dataflow que usan los trabajos de Dataflow Prime, como Persistent Disk, las GPU y las instantáneas, se facturan por separado.

Para obtener más información sobre las regiones disponibles y sus zonas, consulta la página Regiones y zonas de Compute Engine.

Unidad de procesamiento de datos

Una unidad de procesamiento de datos (DCU) es una unidad de medición de uso de Dataflow que realiza un seguimiento de la cantidad de recursos de procesamiento que consumen los trabajos. Los recursos rastreados por DCU incluyen CPU virtuales, memoria, datos procesados de Dataflow Shuffle (para trabajos por lotes) y datos procesados de Streaming Engine (para trabajos de transmisión). Los trabajos que consumen más recursos tienen más uso de DCU en comparación con los trabajos que consumen menos recursos. Una DCU se puede comparar con los recursos que usa un trabajo de Dataflow que se ejecuta durante una hora en un trabajador con 1 CPU virtual y 4 GB.

Facturación de la unidad de procesamiento de datos

Se te factura por la cantidad total de DCU que consume tu trabajo. El precio de una sola DCU varía en función de si tienes un trabajo por lotes o de transmisión. Cuando usas Dataflow Prime con facturación basada en recursos, se te factura en función del total de recursos usados, en lugar del proceso de bytes.

Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

Optimiza el uso de unidades de procesamiento de datos

No puedes establecer la cantidad de DCU para tus trabajos. Dataflow Prime cuenta las DCU. Sin embargo, puedes reducir la cantidad de DCU que se consumen si administras los siguientes aspectos de tu trabajo:

• Cómo reducir el consumo de memoria
• Reducir la cantidad de datos procesados en pasos de redistribución mediante filtros, combinadores y codificadores eficientes

Para identificar estas optimizaciones, usa la interfaz de supervisión de Dataflow y la interfaz de detalles de ejecución.

¿En qué se diferencian los precios de Dataflow Prime de los de Dataflow?

En Dataflow, se te cobra por los recursos dispares que consumen tus trabajos, como CPU virtuales, memoria, Persistent Disk y la cantidad de datos que se procesan mediante Dataflow Shuffle o Streaming Engine.

Las unidades de procesamiento de datos consolidan todos los recursos, excepto el almacenamiento, en una sola unidad de medición. Se te factura por los recursos de Persistent Disk y por la cantidad de DCU que se consuman según el tipo de trabajo, por lotes o de transmisión. Para obtener más información, consulta Usa Dataflow Prime.

¿Qué sucede con mis trabajos existentes que usan el modelo de precios de Dataflow?

Los trabajos por lotes y de transmisión existentes se seguirán facturando con el modelo de Dataflow. Cuando actualices tus trabajos para usar Dataflow Prime, estos usarán el modelo de precios de Dataflow Prime, en el que se facturan por los recursos de Persistent Disk y por las DCU consumidas.

Otros recursos de Dataflow

El almacenamiento, las GPU, las instantáneas y otros recursos se facturan de la misma manera para Dataflow y Dataflow Prime.

Precios de los recursos de almacenamiento

Los recursos de almacenamiento se facturan con la misma tarifa para los trabajos de transmisión, por lotes y de FlexRS. Puedes usar las opciones de canalización para cambiar el tamaño o tipo de disco predeterminados. Dataflow Prime factura al Persistent Disk por separado según los precios de la siguiente tabla.

Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Cada disco persistente es local para una máquina virtual de Compute Engine individual. La asignación de recursos mínima es una proporción de 1:1 entre trabajadores y discos.

Los trabajos que usan Streaming Engine usan discos de arranque de 30 GB. Los trabajos que usan Dataflow Shuffle usan discos de arranque de 25 GB. Para los trabajos que no usan estas ofertas, el tamaño predeterminado de cada disco persistente es de 250 GB en modo por lotes y 400 GB en modo de transmisión.

El uso de Compute Engine se basa en la cantidad promedio de trabajadores, mientras que el uso de Persistent Disk se basa en el valor exacto de --maxNumWorkers. Los discos persistentes se redistribuyen de modo que cada trabajador tenga la misma cantidad de discos conectados.

Precios de los recursos de GPU

Los recursos de GPU se facturan con la misma tarifa para los trabajos de transmisión y por lotes. En la actualidad, FlexRS no admite GPU. Si deseas obtener información sobre las regiones y las zonas disponibles para GPU, consulta la disponibilidad de regiones y zonas de GPU en la documentación de Compute Engine.

Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

Instantáneas

Para ayudarte a administrar la confiabilidad de tus canalizaciones de transmisión, puedes usar instantáneas con el objetivo de guardar y restablecer el estado de tu canalización. El uso de instantáneas se factura según el volumen de datos almacenados, lo que depende de los siguientes factores:

• El volumen de datos transferidos a tu canalización de transmisión
• La lógica de tu sistema de ventanas
• La cantidad de etapas de la canalización

Puedes tomar una instantánea de tu trabajo de transmisión con la consola de Dataflow o Google Cloud CLI. No se aplican cargos adicionales por crear un trabajo desde tu instantánea para restablecer el estado de tu canalización. Para obtener más información, consulta Usa instantáneas de Dataflow.

Precios de las instantáneas

Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

Confidential VM

Confidential VM para Dataflow encripta los datos en uso en las VM de Compute Engine de trabajadores. Para obtener más detalles, consulta Descripción general de Confidential VM.

El uso de Confidential VM para Dataflow genera costos fijos adicionales por CPU virtual y por GB.

Precios de Confidential VM

Los precios son globales y no cambian según la región de Google Cloud.