Apache Airflow

Powstanie

Airflow powstał w 2014 roku w Airbnb i w 2016 roku stał się projektem Apache. Orchestruje złożone potoki danych jako kod za pomocą skierowanych grafów acyklicznych (DAG).

Zalety

Potoki jako kod Python, możliwe do wersjonowania
Duży wybór operatorów
Ugruntowany standard w inżynierii danych

Wady

Mniej odpowiedni do przesyłania strumieniowego niż wyspecjalizowane narzędzia
Skalowanie wymaga wyboru wykonawcy (Celery, Kubernetes)

Wybrane projekty

Wszystkie projekty

Energetyka

Baza danych do sterowania ceną i scenariuszami w sprzedaży energii

W środowisku sprzedaży energii wspierano rozwój i funkcjonowanie centralnego rozwiązania danych do sterowania ceną, planowania i analizy scenariuszy. Rozwiązanie przetwarza obszerne przepływy danych merytorycznych i technicznych, sprawdza ich jakość i konsoliduje je w wiarygodne dane wyjściowe dla decyzji operacyjnych i średnioterminowych. Obejmowało to modelowanie i automatyzację potoków danych, dostarczanie odpowiednich wskaźników oraz zapewnienie śledzalnej bazy danych do raportowania i sterowania.

Dowiedz się więcej

Planujesz projekt z Apache Airflow?

Wprowadzamy doświadczonych ekspertów do Twojego projektu. Porozmawiajmy.

Zamów rozmowę