Stream Processing
Categoria
Dados é Analytics
Stream Processing é o processamento continuo de dados em fluxo, evento por evento, a medida que sao produzidos. Diferente do processamento batch que opera em lotes periodicos, o stream processing oferece resultados em tempo real ou quase real.
Categoria
Dados é Analytics
Compartilhar
O que é Stream Processing
Stream Processing é o paradigma de processamento de dados que trata informações como um fluxo continuo de eventos, processando cada evento individualmente ou em micro-batches a medida que chegam. E fundamental para aplicações que exigem reacao imediata a eventos.
Conceitos-chave:
- Evento: uma unidade de dado com timestamp
- Stream: sequência ilimitada de eventos
- Window: janela de tempo para agregacoes
- Watérmark: mecanismo para lidar com eventos atrasados
Frameworks:
- Apache Kafka Streams
- Apache Flink
- Apache Spark Structured Streaming
- Amazon Kinesis
Batch vs Stream:
- Batch: processa dados acumulados periodicamente
- Stream: processa dados continuamente em tempo real
A Trilion adota stream processing em cenários onde a latência de dados é critica, como monitoramento de sistemas, deteccao de fraudes é personalização em tempo real.
