Apache Airflow

Origen

Airflow surgió en 2014 en Airbnb y se convirtió en un proyecto de Apache en 2016. Orquesta pipelines de datos complejos como código a través de grafos dirigidos acíclicos (DAGs).

Ventajas

Pipelines como código Python, versionables
Gran variedad de operadores
Estándar establecido en Data Engineering

Desventajas

Menos adecuado para streaming que las herramientas especializadas
La escalabilidad requiere la elección del executor (Celery, Kubernetes)

Proyectos seleccionados

Todos los proyectos

Sector Energético

Base de Datos para el Control de Precios y Escenarios en la Venta de Energía

En un entorno de ventas de energía, se apoyó el desarrollo y la operación de una solución de datos central para el control de precios, la planificación y los análisis de escenarios. La solución procesa amplios flujos de datos técnicos y de negocio, verifica su calidad y los consolida en datos de origen fiables para decisiones operativas y a medio plazo. Esto incluyó la modelización y automatización de pipelines de datos, la provisión de indicadores clave relevantes y la garantía de una base de datos trazable para la elaboración de informes y el control.

Saber más

¿Un proyecto con Apache Airflow?

Aportamos expertos con experiencia a su proyecto. Hablemos.

Solicitar una llamada