Apache Kafka
Categoria
Dados e Analytics
Apache Kafka e uma plataforma de streaming de eventos distribuida, capaz de processar trilhoes de eventos por dia. Funciona como um sistema de mensageria pub/sub de alta performance, sendo a espinha dorsal de arquiteturas de dados em tempo real.
Categoria
Dados e Analytics
Compartilhar
O que e Apache Kafka
Apache Kafka e uma plataforma distribuida de streaming de eventos originalmente desenvolvida pelo LinkedIn e posteriormente doada a Apache Software Foundation. E projetada para ingestao e processamento de dados em tempo real com alta vazao e baixa latencia.
Conceitos fundamentais:
- Topic: canal de comunicacao para eventos
- Producer: envia eventos para topics
- Consumer: le eventos de topics
- Partition: divisao de topics para paralelismo
- Broker: servidor que armazena e distribui eventos
Casos de uso:
- Event streaming entre microsservicos
- Ingestao de dados em tempo real
- Log aggregation e monitoramento
- Change Data Capture (CDC)
A Trilion utiliza Apache Kafka como componente central em arquiteturas de dados orientadas a eventos, garantindo que informacoes fluam em tempo real entre todos os sistemas da organizacao.
