Imagine uma diretoria que troca o título da página de contato numa segunda-feira e, na sexta, vê os pedidos de orçamento subirem. A conclusão parece óbvia: o novo título funciona. Só que, naquela mesma semana, uma campanha começou, um feriado terminou e o time comercial respondeu mais rápido. Ninguém consegue dizer o que causou a melhora, e a próxima decisão vai nascer de um palpite.
O teste A/B existe para separar causa de coincidência. Em vez de comparar antes e depois, você mostra 2 versões ao mesmo tempo, para públicos sorteados, e compara o resultado de cada uma. Na Trilion, agência de marketing digital e desenvolvimento em São Paulo desde 1995, usamos o teste A/B como uma das ferramentas do growth marketing, sempre ligado a uma métrica de negócio, e não apenas a cliques.
Neste artigo você vai entender o que é um teste A/B, como escrever a hipótese, como decidir o tamanho da amostra, por que olhar o resultado todo dia distorce a conclusão e o que fazer quando o volume de visitas não sustenta um teste. Se quiser ver como isso se encaixa no funil inteiro, a página de growth marketing mostra o caminho e o briefing em 3 passos.
Teste A/B: o que é e o que ele consegue provar
O teste A/B é um experimento controlado em que 2 versões de uma página, anúncio ou mensagem são exibidas ao mesmo tempo para grupos sorteados, e a diferença de resultado entre elas é medida.
O que é teste A/B, em termos simples
Segundo a Wikipédia, o teste A/B é uma forma abreviada de um experimento controlado randomizado simples, também chamado de split test. A versão A costuma ser a atual, chamada de controle. A versão B traz uma única mudança. Como as pessoas são distribuídas por sorteio, as 2 turmas tendem a ser parecidas, e a diferença de resultado pode ser atribuída à mudança testada.
Por que comparar antes e depois engana
Quando você compara uma semana com a seguinte, tudo muda junto: a sazonalidade, a verba de mídia, o humor do mercado, a equipe de atendimento. No teste A/B, as 2 versões vivem a mesma semana, o mesmo clima e as mesmas campanhas. Por isso ele isola o efeito da mudança de um jeito que a comparação no tempo não consegue.
De onde vem a prática
A Wikipédia registra que engenheiros do Google fizeram o primeiro teste A/B da empresa em 2000, sobre a quantidade de resultados exibidos por página, e que em 2011 o Google já rodava mais de 7.000 testes. O mesmo artigo relata que, em 2012, um funcionário da Microsoft testou formatos de títulos de anúncios no Bing e encontrou um aumento de receita de 12%. São exemplos de escala, e não metas para uma empresa média.
Teste A/B, teste multivariado e teste A/A
Há variações do mesmo princípio. Cada uma responde a uma pergunta diferente e exige volumes diferentes de visitas.
- Teste A/B: compara 2 versões com uma mudança principal. É o mais simples de ler.
- Teste A/B/n: compara 3 ou mais versões da mesma mudança. Divide o público em mais partes e pede mais tempo.
- Teste multivariado: combina várias mudanças ao mesmo tempo, como título e botão, e mede as combinações. Exige muito mais tráfego.
- Teste A/A: mostra a mesma versão para 2 grupos. Serve para checar se a ferramenta e a medição estão funcionando antes de confiar nelas.
Antes de rodar: hipótese, métrica e público
Um teste A/B bem planejado começa no papel, com uma hipótese escrita, uma métrica principal definida e um público claro, antes de qualquer configuração na ferramenta.
Como escrever uma boa hipótese
A hipótese liga uma mudança a um comportamento e a um motivo. Um formato útil é: "se mudarmos X, esperamos que Y aconteça, porque Z". Por exemplo: se a página de serviço mostrar as etapas do atendimento, esperamos mais pedidos de diagnóstico, porque o visitante entende o que acontece depois do contato. O "porque" é o que transforma o resultado em aprendizado, ganhando ou perdendo.
Uma métrica principal, e só uma
A Wikipédia alerta que um teste precisa de um resultado definido e mensurável, porque a mesma versão pode vencer em uma métrica e perder em outra. Escolha antes qual número decide o teste, como pedidos de orçamento enviados ou compras concluídas. Cliques e tempo na página podem ser acompanhados, mas não devem mudar a decisão no meio do caminho.
Métricas de proteção
Além da métrica principal, defina 1 ou 2 métricas que não podem piorar. Um formulário mais curto pode gerar mais contatos e, ao mesmo tempo, contatos piores. Por isso acompanhamos a qualidade das oportunidades no CRM, o sistema que registra cada contato e sua evolução até a venda. Ganhar volume e perder qualidade não é vitória.
Quem entra no teste
Decida se o teste vale para todos os visitantes ou para um recorte, como quem chega por anúncios ou quem usa o celular. Misturar públicos muito diferentes pode esconder efeitos opostos. A Wikipédia mostra um exemplo em que uma versão vence entre homens e a outra entre mulheres, e o resultado geral não revela nada disso.
Se a hipótese não cabe em uma frase com "porque", o teste ainda não está pronto para rodar.

Tamanho da amostra e duração: o erro de espiar o resultado
O resultado de um teste A/B só vale se o tamanho da amostra for decidido antes e respeitado até o fim, sem interromper o experimento quando o painel mostra uma vantagem momentânea.
O que é significância estatística
Significância estatística é uma medida de quão improvável seria ver aquela diferença se as 2 versões, no fundo, fossem iguais. Segundo a Wikipédia, o objetivo é verificar se a diferença é muito provavelmente verdadeira, repetível e não fruto do acaso. Um resultado significativo não diz que o efeito é grande; diz apenas que dificilmente é ruído.
Por que parar cedo infla os falsos vencedores
No texto "How Not To Run an A/B Test", de 2010, o estatístico Evan Miller mostra que olhar o resultado várias vezes e parar assim que aparece significância aumenta muito a chance de declarar um vencedor que não existe. Em um dos exemplos dele, a chance de um falso positivo sobe para cerca de 26%, quando o esperado era 5%. O motivo é que o cálculo pressupõe uma amostra fixada antes.
Como definir a amostra antes de começar
- Meça a taxa atual da métrica principal, por exemplo a conversão da página nas últimas semanas.
- Defina o menor efeito que vale a pena detectar, aquele que mudaria uma decisão de negócio.
- Calcule a amostra por versão com uma calculadora estatística ou com a regra prática de Evan Miller, que relaciona a amostra à variação esperada e ao efeito mínimo.
- Converta em tempo, dividindo a amostra pelo tráfego diário de cada versão.
- Arredonde para semanas completas, para que dias úteis e fins de semana entrem de forma equilibrada.
- Registre tudo antes de ligar o teste: hipótese, métrica, amostra, data de início e de leitura.
E se a empresa precisar decidir mais rápido
Evan Miller cita 2 caminhos para quem precisa olhar o resultado durante o teste: o desenho sequencial, com pontos de leitura combinados antes e correção estatística, e o desenho bayesiano. Ambos exigem configuração cuidadosa. O que não funciona é olhar o painel todo dia e parar no primeiro número bonito.
Como ler o resultado e decidir o próximo passo
Ler um teste A/B é comparar o resultado com o critério combinado antes, registrar o aprendizado e decidir entre adotar, descartar ou testar de novo, inclusive quando não há vencedor.
Quando a versão B vence
Se a métrica principal melhorou com significância e as métricas de proteção não pioraram, a mudança pode ser adotada. Antes de comemorar, confira se o efeito é grande o bastante para importar no negócio. Uma melhora pequena, mas estável, numa página com muito tráfego, pode valer mais do que um salto numa página que quase ninguém visita.
Quando não há diferença
Empate também ensina. Ele indica que aquela mudança, naquele público, não move a métrica escolhida. Isso libera o time para testar algo mais ousado ou para atacar outra etapa do funil. O erro é rodar de novo a mesma ideia até "dar certo", porque isso reproduz o problema dos falsos vencedores.
Quando a versão B perde
Uma derrota clara evita que a empresa adote, por intuição, uma mudança que prejudicaria as vendas. Registre o resultado com o mesmo cuidado de uma vitória. Com o tempo, a base de testes perdidos mostra o que o seu público não valoriza, e isso orienta as próximas hipóteses.
Checklist de leitura
- Amostra: o teste atingiu o tamanho definido antes de começar.
- Duração: o teste cobriu semanas completas.
- Métrica principal: a decisão usa o número combinado, e não o que ficou mais bonito.
- Proteção: qualidade das oportunidades e outras métricas sensíveis não pioraram.
- Medição: os eventos foram registrados corretamente nas 2 versões.
- Registro: hipótese, resultado e aprendizado ficaram documentados para o time.

Quando o teste A/B não é a ferramenta certa
O teste A/B exige volume, uma métrica rápida de observar e mudanças que possam ser isoladas. Quando falta alguma dessas condições, outras formas de experimento ensinam mais com menos risco.
Pouco tráfego ou ciclo de venda longo
A Wikipédia lembra que o teste exige amostras grandes, o que pode demorar em sites com poucos visitantes. Em empresas de alto padrão ou B2B, em que a venda leva semanas, a métrica final aparece tarde demais. Nesses casos, use uma métrica intermediária confiável, como pedidos de diagnóstico qualificados, ou troque o teste por um experimento de outra natureza.
Alternativas que também são experimentos
- Teste em mídia: 2 mensagens em anúncios, com verba igual, para medir interesse antes de mudar o site. A frente de tráfego pago trabalha com esse tipo de comparação.
- Teste de usabilidade: 5 a 8 pessoas tentando concluir uma tarefa enquanto você observa onde hesitam.
- Entrevistas com clientes: perguntas sobre o que quase os fez desistir de comprar.
- Mudança com controle por período: quando não há volume, compare com cuidado e anote tudo o que mudou junto.
Mudanças grandes demais para um teste
Um novo posicionamento, uma nova oferta ou uma mudança de preço não cabem bem num teste A/B de página. Eles afetam o funil inteiro e a percepção da marca. Antes de testar detalhes, vale confirmar se a oferta encontra demanda, tema do artigo sobre product market fit.
Ferramentas mudam, o método fica
Segundo a central de ajuda do Google Analytics, o Google Optimize e o Optimize 360 deixaram de funcionar em 30 de setembro de 2023, e os experimentos ativos foram encerrados. Quem dependia só da ferramenta perdeu o histórico que não exportou. Por isso registramos hipóteses e resultados em documentos da própria empresa, independentes da plataforma usada no momento.
Compartilhe este artigo com quem decide mudanças no site: um teste sem hipótese, sem amostra definida e sem registro é só uma opinião com gráfico.
Erros comuns em testes A/B
A maior parte dos testes que não ensinam nada falha por planejamento: mudanças demais ao mesmo tempo, leitura antecipada, métrica trocada no meio e falta de registro.
Mudar várias coisas e chamar de teste A/B
Se a versão B tem novo título, nova foto, novo botão e novo formulário, você saberá qual página venceu, mas não por quê. Às vezes isso é aceitável, quando o objetivo é comparar 2 propostas completas. Só não espere tirar dali um aprendizado sobre cada elemento.
Testar o que não importa
Cor de botão é o exemplo clássico. Raramente a cor decide uma compra de alto valor. Comece pelo que o cliente precisa entender para avançar: a proposta, a prova, o próximo passo e o esforço exigido. Uma página bem desenhada desde o início, como as que tratamos em landing pages de luxo, já elimina parte dos testes óbvios.
Ignorar o que acontece depois do clique
Um teste que mede só o envio do formulário pode premiar uma versão que atrai contatos sem perfil. Ligue o teste ao que vem depois: oportunidade qualificada, venda e permanência. Para enxergar se os clientes que entraram por uma versão ficam mais tempo, a análise de coorte é a leitura certa.
Não guardar o aprendizado
Times mudam, agências mudam, ferramentas saem do ar. Se os resultados ficam só na cabeça de quem rodou o teste, a empresa repete os mesmos experimentos anos depois. Um registro simples, com hipótese, período, amostra, resultado e decisão, vale mais do que um painel sofisticado.
Conclusão
O teste A/B é uma forma disciplinada de decidir com evidência: 2 versões ao mesmo tempo, públicos sorteados, uma hipótese escrita, uma métrica principal, uma amostra definida antes e a leitura feita só no fim. Vencer, empatar e perder são resultados úteis quando ficam registrados.
Ele também tem limites. Com pouco tráfego, venda longa ou mudanças estruturais, outros experimentos ensinam mais. Se você quer organizar testes ligados a vendas, e não a cliques, monte o briefing na página de growth marketing. A proposta é escrita depois do diagnóstico, com a verba de mídia separada do honorário.
Sobre este texto
Este artigo foi escrito pela equipe da Trilion a partir da nossa prática com experimentos de marketing e conferido com as fontes abaixo. Os fatos sobre a origem do teste A/B, o risco de parar cedo e o encerramento do Google Optimize foram checados nas páginas listadas. Nenhum resultado é prometido, porque cada teste depende do público, do volume e da oferta.
- Wikipédia, A/B testing: https://en.wikipedia.org/wiki/A/B_testing (consulta em 08/11/2026)
- Evan Miller, How Not To Run an A/B Test: https://www.evanmiller.org/how-not-to-run-an-ab-test.html (consulta em 08/11/2026)
- Ajuda do Google Analytics, Google Optimize (encerrado em setembro de 2023): https://support.google.com/analytics/answer/12979939 (consulta em 08/11/2026)

