Kafka, RabbitMQ e mensageria: quando o seu sistema precisa de eventos

Aplicações de alta performance · Artigo

Kafka, RabbitMQ e mensageria: quando o seu sistema precisa de eventos

Falar no WhatsApp
Resposta direta

Mensageria é uma camada que recebe mensagens de um sistema e as entrega a outros sem exigir que ambos estejam disponíveis ao mesmo tempo. Kafka registra eventos que podem ser relidos; RabbitMQ entrega mensagens por filas. O sistema precisa disso quando há picos, falhas em cadeia ou vários consumidores do mesmo fato.

Pontos-chave

O que você leva deste artigo

  1. Mensageria e eventos: o que é Kafka, o que é RabbitMQ e para que servemMensageria é uma camada intermediária que recebe mensagens de um sistema e as entrega a outros, sem que os dois precisem estar disponíveis ao mesmo tempo. Kafka e RabbitMQ são exemplos con…Ir para a seção
  2. Dois modelos de mensageria: fila com roteamento e registro de eventosHá dois desenhos principais por trás dessas ferramentas: o corretor que entrega mensagens por filas e regras de roteamento, e o registro de eventos que mantém o histórico para ser relido.Ir para a seção
  3. Sinais de que o seu sistema precisa de eventosO sistema precisa de mensageria quando várias partes dependem do mesmo fato, quando picos de volume ameaçam a operação ou quando uma falha em cadeia derruba processos que deveriam seguir i…Ir para a seção
  4. Garantias de entrega: duplicidade, ordem e falhasMensageria não elimina falhas, apenas muda a forma de lidar com elas. O ponto central é aceitar que uma mensagem pode chegar mais de uma vez e projetar o consumidor para isso.Ir para a seção
  5. Como adotar eventos sem reescrever o sistema inteiroA adoção segura começa por um fluxo pequeno e bem delimitado, com medição antes e depois, e só então se estende a outros pontos do sistema.Ir para a seção
  6. Custos escondidos e erros comunsA mensageria resolve problemas de acoplamento e de volume, mas cria outros: mais peças para operar, mais coisas a acompanhar e uma lógica menos linear para depurar.Ir para a seção

Imagine uma operação em que cada pedido confirmado precisa avisar o estoque, o financeiro, a logística, o atendimento e o painel da diretoria. No começo, o sistema chama um por um, em sequência. Quando um deles demora, o cliente fica olhando uma tela parada. Quando um deles cai, o pedido inteiro falha. É nesse ponto que muita empresa ouve falar de Kafka, RabbitMQ e mensageria, e não sabe se aquilo é solução ou complicação.

Na Trilion, que desenvolve sistemas desde 1995, vemos esse cenário com frequência: o problema raramente é a ferramenta, e quase sempre é o desenho da conversa entre as partes do sistema. Neste artigo, você vai entender o que a mensageria faz, em que Kafka e RabbitMQ representam modelos diferentes, quais sinais mostram que o seu sistema precisa de eventos e quais cuidados evitam dor de cabeça depois.

Se você prefere discutir o seu caso com quem projeta esse tipo de arquitetura, a página de aplicações de alta performance mostra como trabalhamos, e o briefing leva poucos minutos.

Mensageria e eventos: o que é Kafka, o que é RabbitMQ e para que servem

Mensageria é uma camada intermediária que recebe mensagens de um sistema e as entrega a outros, sem que os dois precisem estar disponíveis ao mesmo tempo. Kafka e RabbitMQ são exemplos conhecidos dessa camada.

O que é mensageria

Pense em um correio interno do sistema. Quem envia deposita a mensagem e segue o trabalho. Quem recebe a retira quando puder. Esse intervalo entre enviar e receber é a grande vantagem: a parte que envia não espera a parte que processa, e uma falha temporária de um lado não derruba o outro.

Produtor, mensagem e consumidor

Três papéis aparecem em qualquer desenho. O produtor gera a mensagem, por exemplo "pedido confirmado". O consumidor a lê e age, por exemplo baixando o estoque. No meio, o intermediário guarda e entrega. Um mesmo fato pode ter vários consumidores, cada um com a sua responsabilidade.

O que é Kafka

Segundo a documentação do projeto Apache Kafka, ele é uma plataforma de transmissão de eventos: permite publicar e assinar fluxos de eventos, armazená-los de forma durável e processá-los, em um sistema distribuído, escalável e tolerante a falhas. Um evento é o registro de que algo aconteceu, como um pagamento aprovado.

O que é RabbitMQ

A documentação do RabbitMQ descreve um corretor de mensagens: ele recebe o que os publicadores enviam e encaminha aos consumidores por meio de trocas, filas e regras de ligação entre elas. A mensagem fica na fila até que um consumidor a processe e confirme o recebimento.

Evento ou comando: uma diferença que muda o desenho

Um comando pede uma ação, como "emita esta nota". Um evento apenas informa um fato, como "o pedido foi pago", e quem se interessa reage. Arquiteturas orientadas a eventos preferem o segundo formato, porque o sistema que publica não precisa saber quem está ouvindo. Isso facilita incluir novos consumidores sem mexer no que já funciona.

Dois modelos de mensageria: fila com roteamento e registro de eventos

Há dois desenhos principais por trás dessas ferramentas: o corretor que entrega mensagens por filas e regras de roteamento, e o registro de eventos que mantém o histórico para ser relido.

O modelo de corretor com filas

Nesse modelo, exemplificado pelo RabbitMQ, o publicador envia a mensagem a uma troca, que a copia para as filas ligadas a ela segundo as regras definidas. Há tipos de troca que roteiam por chave exata, por padrão de chave ou para todas as filas ligadas. O foco está em entregar cada mensagem a quem deve tratá-la e em confirmar que foi tratada.

O modelo de registro de eventos

No modelo exemplificado pelo Kafka, os eventos são gravados em tópicos, e cada tópico se divide em partições espalhadas por vários servidores. Ler um evento não o apaga: a documentação afirma que os eventos não são excluídos após o consumo, e um ajuste por tópico define por quanto tempo ficam guardados. Isso permite que um novo sistema leia o histórico desde o início.

Ordem e paralelismo

No registro de eventos, eventos com a mesma chave vão para a mesma partição, e o consumidor lê cada partição na ordem em que foi gravada. A ordem vale dentro da partição, não entre partições diferentes. Quem desenha o sistema precisa decidir qual chave mantém junto o que precisa de sequência, como todos os eventos de um mesmo pedido.

Escolher o modelo pelo problema, não pela fama

Perguntar "qual ferramenta é melhor" leva ao caminho errado. A pergunta útil é: o meu problema pede entregar tarefas a trabalhadores, ou pede registrar fatos que vários sistemas vão consultar, inclusive no futuro? A resposta define o modelo, e só depois se escolhe a tecnologia que o implementa dentro da sua infraestrutura.

Compartilhe este trecho com quem decide a arquitetura da sua empresa: a conversa certa começa pelo problema, não pela marca.

Imagem ilustrativa: cultura orientada a dados

Sinais de que o seu sistema precisa de eventos

O sistema precisa de mensageria quando várias partes dependem do mesmo fato, quando picos de volume ameaçam a operação ou quando uma falha em cadeia derruba processos que deveriam seguir independentes.

Uma ação do usuário dispara muitas chamadas em sequência

Se confirmar um pedido exige acionar 5 sistemas, um depois do outro, a tela só termina quando o mais lento terminar. Publicar um evento e deixar cada sistema reagir por conta própria encurta a espera do usuário e isola os problemas. Esse é o desenho clássico de filas e processamento assíncrono.

Os picos derrubam o que funciona bem no dia a dia

Datas promocionais, fechamentos e campanhas concentram volume em poucas horas. Com uma fila no meio, o excesso de trabalho espera sua vez em vez de estourar o servidor. O sistema processa no ritmo que aguenta, e nada se perde no caminho. Essa ideia conversa diretamente com a escalabilidade de sistemas.

Vários sistemas precisam saber do mesmo fato

Quando o financeiro, o marketing e a logística querem ser avisados da mesma venda, o desenho com um evento e vários consumidores evita que o sistema de vendas conheça cada destino. Novos interessados se conectam depois, sem alterar o emissor.

Você precisa reler o passado

Se a empresa quer reconstruir um relatório, alimentar um novo sistema ou investigar um problema a partir do histórico de fatos, um registro de eventos retido por tempo definido ajuda. Uma fila comum, que descarta a mensagem depois de tratada, não serve a esse fim.

Em resumo, estes são os sinais mais frequentes:

  • Cadeia de chamadas: uma ação do usuário depende de vários sistemas em sequência.
  • Picos de volume: datas e campanhas concentram o trabalho em poucas horas.
  • Vários interessados: mais de um sistema precisa saber do mesmo fato.
  • Histórico: a empresa precisa reler o que aconteceu para reconstruir ou investigar.

Sinais de que você ainda não precisa

Um sistema com poucos usuários, um único banco de dados e integrações simples dispensa essa camada. Adicionar mensageria cedo demais cria servidores novos para operar, monitorar e atualizar. Antes de adotar, vale revisar a arquitetura do software e confirmar que o gargalo é mesmo a comunicação entre as partes.

Garantias de entrega: duplicidade, ordem e falhas

Mensageria não elimina falhas, apenas muda a forma de lidar com elas. O ponto central é aceitar que uma mensagem pode chegar mais de uma vez e projetar o consumidor para isso.

Entrega ao menos uma vez

A documentação de confiabilidade do RabbitMQ explica que, com confirmações do consumidor, a garantia é de entrega "ao menos uma vez"; sem elas, a garantia cai para "no máximo uma vez". O consumidor deve confirmar somente depois de terminar o trabalho, como gravar o dado ou repassá-lo adiante. Se ele cair antes de confirmar, o intermediário reenvia a mensagem.

Duplicatas fazem parte do jogo

Segundo a mesma documentação, o reenvio após uma falha de rede pode gerar duplicatas, porque a confirmação pode ter sido enviada e se perdido no caminho. Por isso, o guia recomenda projetar consumidores idempotentes: processar a mesma mensagem 2 vezes deve produzir o mesmo resultado que processá-la 1 vez.

Como tornar um consumidor idempotente

Na prática, isso significa gravar o identificador de cada mensagem já tratada ou escrever operações que se repetem sem dano, como "definir o status como pago" em vez de "somar um pagamento". Cobrar o cliente 2 vezes por causa de uma duplicata é o erro clássico que esse cuidado evita.

Mensagens que nunca dão certo

Algumas mensagens falham sempre, por dado inválido ou por defeito no código. Sem tratamento, elas voltam à fila em ciclo e travam o restante. Um bom desenho define um número máximo de tentativas e desvia a mensagem problemática para um local à parte, onde a equipe a examina com calma.

Durabilidade: o que sobrevive a uma queda

Para que uma mensagem importante sobreviva à reinicialização do servidor, a fila precisa ser durável e a mensagem, persistente, conforme a documentação do RabbitMQ. No registro de eventos, a proteção vem da replicação das partições em vários servidores; a documentação do Kafka cita 3 cópias como valor comum em produção.

Imagem ilustrativa: indústria 5.0

Como adotar eventos sem reescrever o sistema inteiro

A adoção segura começa por um fluxo pequeno e bem delimitado, com medição antes e depois, e só então se estende a outros pontos do sistema.

Passo a passo de uma adoção gradual

  1. Mapeie os fatos: liste os acontecimentos importantes do negócio, como pedido pago, cadastro criado e entrega realizada.
  2. Escolha um fluxo: comece pelo que hoje mais trava ou falha, não pelo mais crítico.
  3. Defina o formato do evento: nome, identificador único, data e os dados mínimos necessários.
  4. Implemente o consumidor idempotente: assuma que a mesma mensagem pode chegar de novo.
  5. Observe: acompanhe o tamanho da fila, o atraso e as falhas desde o primeiro dia.
  6. Só depois, expanda: leve os demais fluxos para o novo desenho, um a um.

Convivência com o sistema atual

Um sistema antigo raramente precisa ser trocado. Ele pode publicar eventos a partir de pontos específicos, e os novos serviços consomem esses eventos ao lado do que já funciona. Essa convivência é o caminho comum em projetos de modernização de sistemas.

Integrações com outros sistemas da empresa

Quando o evento precisa alcançar o ERP, o CRM ou um parceiro externo, entra o tema da integração de sistemas. Eventos reduzem o acoplamento, mas cada destino ainda tem seu formato, seus limites e suas indisponibilidades, e o desenho precisa prever isso.

Checklist antes de colocar em produção

  • Idempotência: cada consumidor tolera mensagens repetidas.
  • Limite de tentativas: mensagens com defeito saem do ciclo e vão para análise.
  • Durabilidade: filas e eventos importantes resistem a reinicializações.
  • Alertas: a equipe é avisada quando a fila cresce além do normal.
  • Documentação: o formato de cada evento está escrito e versionado.

Custos escondidos e erros comuns

A mensageria resolve problemas de acoplamento e de volume, mas cria outros: mais peças para operar, mais coisas a acompanhar e uma lógica menos linear para depurar.

Mais uma peça para operar

O intermediário precisa de servidores, atualizações, backup, segurança e alguém que saiba agir quando ele falha. Em um sistema pequeno, esse esforço pesa mais do que o benefício. O valor de um projeto assim depende de escopo, integrações, volume e prazo, e a proposta é escrita depois do briefing.

Rastrear um fluxo fica mais difícil

Quando uma chamada direta falha, o erro aparece na hora. Em um fluxo por eventos, o problema pode surgir minutos depois, em outro sistema. Sem registros e rastreamento bem feitos, descobrir onde a cadeia quebrou vira investigação demorada. Esse é o assunto da observabilidade na prática.

Eventos mal desenhados viram dívida técnica

Eventos com nomes vagos, dados demais ou formato que muda sem aviso fazem os consumidores quebrarem em silêncio. Trate o evento como um contrato: mudanças são combinadas, versionadas e comunicadas.

Usar a ferramenta por moda

Adotar uma plataforma só porque grandes empresas a usam é a origem de muitos projetos caros. O caminho é inverso: entender o volume, o padrão de uso e o nível de falha aceitável, e só então definir a solução. Quando o ganho vem de guardar respostas já calculadas, o tema pode ser cache, e não mensageria.

Deixe um comentário com o fluxo do seu sistema que hoje mais trava: ele costuma indicar por onde começar.

Conclusão

Mensageria e eventos servem para desacoplar partes do sistema, absorver picos e permitir que vários interessados reajam ao mesmo fato. Kafka e RabbitMQ ilustram dois modelos: o corretor que entrega por filas e o registro que guarda a história dos eventos. A escolha nasce do problema, e as garantias de entrega exigem consumidores prontos para duplicatas.

A Trilion projeta e otimiza sistemas para volume e velocidade, com arquitetura, filas, cache, banco de dados e observabilidade pensados em conjunto. Se o seu sistema trava nos picos ou falha em cadeia, monte o briefing na página de aplicações de alta performance ou em orçamento, e a proposta chega por escrito, depois da conversa sobre o seu cenário.

Sobre este texto

Este artigo foi escrito pela equipe da Trilion a partir da experiência em projetos de sistemas e da leitura da documentação oficial das ferramentas citadas. Os fatos técnicos foram conferidos nas fontes abaixo; os nomes de tecnologias aparecem apenas como exemplos, sem recomendação. Nenhum resultado de desempenho é prometido.

Perguntas frequentes

O que é Kafka?

Segundo a documentação do projeto, é uma plataforma de transmissão de eventos: permite publicar e assinar fluxos de eventos, armazená-los de forma durável e processá-los, em um sistema distribuído, escalável e tolerante a falhas.

O que é RabbitMQ?

É um corretor de mensagens. Recebe o que os publicadores enviam, encaminha às filas por meio de trocas e regras de ligação e entrega aos consumidores, que confirmam o recebimento depois de processar a mensagem.

Qual a diferença entre uma fila e um registro de eventos?

Na fila, a mensagem é entregue, tratada e confirmada. No registro de eventos, o evento permanece guardado pelo tempo configurado, mesmo depois de lido, e novos sistemas podem relê-lo desde o início.

Uma mensagem pode ser entregue duas vezes?

Pode. Com confirmações, a garantia é de entrega ao menos uma vez, e falhas de rede podem gerar duplicatas. Por isso o consumidor deve ser idempotente: processar a mensagem 2 vezes gera o mesmo resultado que processá-la 1 vez.

Toda empresa precisa de mensageria?

Não. Sistemas pequenos, com um banco de dados e integrações simples, costumam dispensar essa camada. Ela compensa quando há picos de volume, falhas em cadeia ou vários sistemas dependendo do mesmo fato.

Método

Como a Trilion conduz um projeto de alta performance

Do briefing à operação, em 5 etapas e com tudo por escrito. A proposta vem depois do briefing e o valor depende de escopo, integrações, volume e prazo.

  1. Briefing em 3 passos

    Você conta o que precisa construir; nós devolvemos perguntas e um caminho possível.

  2. Desenho por escrito

    Diagnóstico dos gargalos, metas de desempenho, arquitetura e plano de testes, antes de qualquer alteração.

  3. Construção em fatias

    Mudanças pequenas e medidas, com comparação antes e depois em cada fatia.

  4. Testes e homologação

    Casos do dia a dia da sua operação, com plano de retorno antes de publicar.

  5. Operação e evolução

    Acompanhamento combinado na proposta e ajustes guiados por indicadores.

Vamos deixar o seu sistema à altura da sua operação

Conte o que precisa resolver. A Trilion responde com uma proposta escrita, depois do briefing, e leva o projeto do código à operação.

Falar no WhatsApp
Blog da Trilion · Inteligência artificial

Continue aprendendo sobre IA

Artigos do blog da Trilion que aprofundam os temas deste texto. Arraste, use as setas ou o teclado.

WhatsApp
WhatsApp

Converse com a Trilion

Diga-nos o seu nome, e a conversa abre em seguida