Data Lineage
Categoria
Dados e Analytics
Data Lineage e o rastreamento completo da jornada dos dados desde sua origem ate o consumo final. Mostra como os dados se movem, se transformam e sao utilizados ao longo dos pipelines, essencial para auditoria, compliance e resolucao de problemas.
Categoria
Dados e Analytics
Compartilhar
O que e Data Lineage
Data Lineage, ou linhagem de dados, e a capacidade de rastrear a trajetoria completa de um dado desde sua criacao ate seu uso final. Inclui cada transformacao, movimentacao e derivacao que o dado sofreu ao longo do pipeline.
Niveis de lineage:
- Table-level: quais tabelas alimentam quais
- Column-level: mapeamento de campos especificos
- Row-level: rastreamento de registros individuais
Beneficios:
- Analise de impacto antes de mudancas
- Resolucao rapida de problemas de dados
- Compliance regulatorio (LGPD, SOX)
- Confianca nos dados utilizados para decisoes
Ferramentas:
- OpenLineage, Marquez
- DataHub, Atlan, Collibra
- dbt (lineage automatico via SQL)
Na Trilion, a linhagem de dados e implementada como parte de toda arquitetura de dados, garantindo transparencia total sobre como cada metrica, relatorio e modelo de IA e construido a partir dos dados brutos.
