Apache Kafka
Categoria
Dados é Analytics
Apache Kafka é uma plataforma de streaming de eventos distribuida, capaz de processar trilhoes de eventos por dia. Funciona como um sistema de mensageria pub/sub de alta performance, sendo a espinha dorsal de arquiteturas de dados em tempo real.
Categoria
Dados é Analytics
Compartilhar
O que é Apache Kafka
Apache Kafka é uma plataforma distribuida de streaming de eventos originalmente desenvolvida pelo LinkedIn é posteriormente doada a Apache Software Foundation. E projetada para ingestão é processamento de dados em tempo real com alta vazao é baixa latência.
Conceitos fundamentais:
- Topic: canal de comúnicação para eventos
- Producer: envia eventos para topics
- Consumer: le eventos de topics
- Partition: divisao de topics para paralelismo
- Broker: servidor que armazena é distribui eventos
Casos de uso:
- Event streaming entre microsserviços
- Ingestão de dados em tempo real
- Log aggregation é monitoramento
- Change Data Capture (CDC)
A Trilion útiliza Apache Kafka como componente central em arquiteturas de dados orientadas a eventos, garantindo que informações fluam em tempo real entre todos os sistemas da organização.
