Ingeniería de Datos y Big Data
Ingeniería de Datos y Big Data
Ingeniería de Datos y Big Data
• No código involucrado
• Objetivos:
Capítulo 3
Cómo mover y procesar datos
1. Procesando datos
2. Scheduling data
3. Parallel computing
4. Cloud computing
Data workflow
Data workflow
Data workflow
Data workflow
Ingenieros de datos (Data engineers)
Ingenieros de Responsabilidades de un
datos Ingeniero de datos
Los ingenieros de datos ofrecen: • Ingerir datos de diferentes fuentes
• Optimizar bases de datos para análisis
• los datos correctos en la forma correcta
• Eliminar datos corruptos
• a las personas correctas
• Desarrollar, construir, probar y mantener
• lo más eficientemente posible arquitecturas de datos.
Data engineers and big data
• Big data se convierte en la norma => los ingenieros de datos son
cada vez más necesarios
• Big data:
• Tiene que pensar en cómo lidiar con su tamaño.
• Los grandes métodos tradicionales ya no funcionan
Big data growth
Sensors and devices
Social media
Enterprise data