Airflow
Categoria
Dados e Analytics
Apache Airflow e uma plataforma de orquestracao de workflows de dados que permite programar, agendar e monitorar pipelines complexos. Utiliza Python para definir workflows como DAGs (grafos aciclicos direcionados) com dependencias entre tarefas.
Categoria
Dados e Analytics
Compartilhar
O que e Airflow
Apache Airflow e uma plataforma de orquestracao de workflows criada pelo Airbnb e doada a Apache Software Foundation. Permite definir, agendar e monitorar pipelines de dados complexos usando Python como linguagem de configuracao.
Conceitos-chave:
- DAG: grafo aciclico direcionado que define o workflow
- Task: unidade de trabalho dentro do DAG
- Operator: tipo de task (Python, SQL, Bash, etc.)
- Scheduler: componente que dispara tasks no horario certo
- UI: interface web para monitoramento
Recursos:
- Agendamento sofisticado com cron e intervalos
- Retentativas e alertas automaticos
- Paralelismo configuravel
- Centenas de conectores pre-construidos
A Trilion utiliza Airflow como orquestrador principal de pipelines de dados, coordenando processos de ETL, treinamento de modelos e atualizacao de dashboards de forma confiavel e monitorada.
