Físico Turista School
O teste deu "significativo". Dá para confiar?

Planeje e leia testes A/B que param em pé na reunião

O método que o Caio Gomes usou como PM na Booking, organizado em 3 skills do Claude: uma audita o resultado antes de você acreditar nele, uma planeja o próximo teste antes de rodar e uma treina a conta até ela sair sozinha. Toda conta sai de um script conferido.

R$ 973 skills + kit em PDF
Quero as skills →
Caio Gomes, de braços cruzados
AntesPM na Booking HojeChief AI Officer e CDO do Magalu
De cada 10 ideias testadas na Booking,
só 1
melhora a métrica que deveria melhorar
80%

dos experimentos da Booking não tinham cálculo de power, nos primeiros dados do painel de qualidade

6%

dos experimentos da Microsoft tinham a divisão de tráfego quebrada

11%

de falso positivo ao espiar 3 vezes e parar no primeiro "deu", em vez dos 5% prometidos

49 x 51

mil visitantes num teste 50/50 já invalidam o resultado (p < 0,0001)

Kohavi, Deng e Vermeer, KDD 2022 · Booking.com, blog de engenharia, mar/2026 · Fabijan et al., KDD 2019 · 11% e 49 x 51: cálculo (simulação de 3 olhadas e qui-quadrado)

Teste · página de produto7 dias
Página atual41.200 visit. · 3,00%
Página nova43.150 visit. · 3,25%
97% de chance da nova ser melhordivisão planejada: 50/50
Subir para produção
Não valedivisão quebrada · p < 0,0001

A ferramenta disse 97%. O teste estava quebrado.

Metade para cada lado deveria dar uns 42.175 visitantes em cada página. Deu 41.200 contra 43.150. Parece pouco, mas com esse volume a chance de ser acaso é menor que 1 em 10 mil. Quase sempre é um problema técnico que muda quem entra em cada grupo, e aí a diferença de conversão pode ser toda do público, não da página.

✗ O que todo mundo olha"97% de chance de ser melhor"Parece aprovação. Não diz nada sobre se os grupos são comparáveis.
✓ O que o método confere primeiro41.200 x 43.150 num teste 50/50Divisão quebrada. O teste não vale, qualquer que seja a chance.

A auditoria pega isso na primeira mensagem, antes de alguém subir a página.

Quero auditar meus testes →

Caso fictício, montado para mostrar a checagem.

Você leva o método para o seu próximo teste

Skill · comece por aqui

Auditar

Cole o resultado e saiba se ele merece confiança, com a mensagem pronta para a reunião

Skill · antes de rodar

Planejar

Hipótese, métrica, quantas pessoas, quantos dias e o pré-registro de uma página

Skill · entre um teste e outro

Treinar

Casos com as pegadinhas que derrubaram as turmas do curso, corrigidos na hora

Bônus

Kit de Experimentação

Hipótese, boa métrica e checklist de validade, em PDF

Bônus

Exemplos prontos

Um pré-registro e um laudo preenchidos, para ver o que você recebe

E funciona dentro do Claude

Você manda os números. A skill faz a conta e o laudo.

Claudeauditor-de-experimento
Rodamos uma semana, metade pra cada lado: 41.200 x 43.150 visitantes. A ferramenta diz 97% de chance. Posso aprovar?
Não aprove ainda. A divisão não bate com 50/50 (p < 0,0001): com esse volume, não é acaso. Antes de qualquer número, ache o que mudou quem entra em cada grupo.
Laudolaudo-pagina-nova.md
Quero as skills →

Por que não só uma calculadora?

O que você usa hoje

  • A calculadora online dá o tamanho da amostra, mas não diz se o resultado que saiu vale
  • O painel da ferramenta mostra "chance de ganhar" e não confere se os grupos são comparáveis
  • O Claude sozinho acerta muita coisa, mas cada conversa vai por um caminho: às vezes esquece a correção para várias versões ou promete um prazo que a conta não fecha

Com as skills:

  • As mesmas checagens toda vez, na ordem do método do Caio
  • As contas feitas por um script, conferido contra os números da calculadora de power da Booking mostrados no curso
  • Documentos prontos: pré-registro, laudo e a mensagem para o seu diretor
Para quem é

Analistascientistas de dadosPMsgrowth e CROquem precisa aprovar ou defender um resultado

Se você já roda ou lê testes A/B, alguém vai te perguntar se dá para confiar no número. Melhor responder com método.

Não é para quem quer aprender estatística do zero, procura tutorial de ferramenta ou não usa o Claude (as skills funcionam só no Claude, plano pago, com execução de código ligada).

Quer entender o porquê de cada regra, com o Caio ao vivo? Isso é o Curso de Testes A/B, em turmas ao vivo. As skills são a ferramenta para aplicar o método; o curso é onde se aprende ele. Lista de interesse da próxima turma →
Caio Gomes falando no palco, com um microfone na mão

Quem está por trás do método?

Caio Gomes é físico formado pela USP e pela École Polytechnique de Paris, hoje Chief AI Officer e CDO do Magalu. Antes, foi PM na Booking, onde rodou e gerenciou dezenas de milhares de experimentos.

Está entre os 88 coautores de "Justify Your Alpha", publicado na Nature Human Behaviour em 2018, sobre como escolher o nível de significância de um teste. E dá o Curso de Testes A/B ao vivo há 8 turmas, com nota média de 4,8 de 5 em 78 avaliações. As skills levam as regras, as pegadinhas e os exercícios dessas turmas para o seu dia a dia.

Física · USP e École PolytechniqueEx-PM · BookingCoautor · Nature Human Behaviour, 2018
Quero as skills →
Com as skills

Você não vai mais precisar:

Você chega com o teste planejado antes de rodar e o resultado auditado antes de decidir. Tudo escrito, com as contas.

Tudo isso por R$ 97

Skill Auditarincluso
Skill Planejarincluso
Skill Treinarincluso
Guia de instalação e usoincluso
Kit de Experimentação em PDFincluso
Exemplos prontosincluso
Pagamento único
R$97
à vista, ou parcelado em até 12x no cartão
Quero comprar agora →
✓ Acesso imediato✓ Compra segura Hotmart
7dias

Garantia de 7 dias. Se não fizer sentido para você, é só pedir o reembolso pela Hotmart dentro desse prazo.

Dúvidas rápidas

Preciso saber estatística?

Precisa conhecer o básico de um teste A/B: grupo de controle, conversão, p-valor. As skills explicam cada termo na primeira vez que aparece e fazem as contas por você. Para aprender a estatística por trás, existe o curso ao vivo.

Preciso pagar o Claude?

Sim. As skills funcionam no Claude com plano pago e execução de código ligada, porque as contas rodam num script. Não funcionam no ChatGPT.

Funciona com a ferramenta que eu uso?

Funciona com os números de qualquer ferramenta (Optimizely, VWO, GA4, Firebase, plataforma interna). Você manda os números por grupo, um print ou um CSV.

Qual a diferença para o curso ao vivo?

O curso ensina o porquê de cada regra, com o Caio ao vivo, caso real e dúvidas na hora. As skills são a ferramenta para aplicar o método num teste de verdade, sem ensinar a teoria.

E os dados da minha empresa?

As skills rodam dentro da sua conta do Claude e só precisam dos números agregados por grupo. Use dados reais só em ferramentas que a sua empresa aprovou.

Como recebo o acesso?

Na hora. Assim que a compra é aprovada, o acesso chega no seu e-mail, com o guia que mostra como instalar as skills.

Quero as skills →
R$ 97 à vistaacesso imediato · 7 dias de garantia
Quero as skills