Tem uma conta que quase ninguém faz. Quando uma análise sai errada, o prejuízo não é o tempo que se gastou fazendo a análise. Esse é o pedaço barato. O caro é a decisão que veio em cima dela, e tudo que aquela decisão colocou em movimento.

A análise custou alguns dias. A decisão errada custou um trimestre.

O erro não fica parado

Gosto de pensar num insight errado como um vírus. Ele não fica contido no slide onde nasceu. Alguém olha o número, acredita, e age. Aloca orçamento. Contrata. Descontinua um produto. Muda o discurso pro mercado. Cada uma dessas ações vira premissa pra próxima pessoa, que nem viu a análise original e nem sabe que ela existiu. Em poucas semanas a organização inteira está se movendo na direção de uma conclusão que ninguém mais consegue rastrear até a fonte.

É por isso que a pergunta certa nunca é “essa análise está correta?”. A pergunta é “se essa análise estiver errada, o que vai acontecer com quem confiar nela?”. São perguntas diferentes, e a segunda é a que define o tamanho do estrago.

Nem todo erro custa igual

Aqui mora a parte que mais me interessa. Dois modelos podem ter a mesma taxa de acerto e custar coisas radicalmente diferentes, porque o que importa não é quanto eles erram, é como eles erram.

Já escrevi sobre isso em outro contexto, quando falei de dados desbalanceados e da armadilha da acurácia. A lógica é a mesma aqui. Imagine um modelo que decide a quem oferecer crédito. Um falso positivo, dar crédito pra quem não vai pagar, custa o valor da inadimplência. Um falso negativo, negar crédito pra quem pagaria, custa o lucro de um bom cliente que foi embora calado. Esses dois custos quase nunca são iguais, e tratá-los como se fossem é onde a maior parte das decisões ruins começa.

A acurácia mistura os dois numa média. E média é exatamente o lugar onde os custos assimétricos se escondem.

O erro mais caro é o invisível

Tem uma hierarquia silenciosa nos erros de análise. O erro que aparece é o de menos. Alguém percebe, corrige, segue a vida. O perigoso é o erro que confirma o que todo mundo já queria acreditar.

Esse passa direto. Ninguém audita uma análise que deu o resultado esperado. O número que bate com a intuição do chefe não é questionado, é celebrado. E é justamente aí que o viés faz a festa, porque a checagem só é acionada quando o resultado incomoda. Resultado confortável e errado tem vida longa.

Eu aprendi a desconfiar mais dos meus acertos aparentes do que dos meus erros. O erro pelo menos grita. O acerto falso sussurra que está tudo bem.

O que dá pra fazer

Não existe blindagem contra estar errado. Existe diminuir o custo de estar errado, que é uma meta bem mais honesta.

A primeira coisa é separar a confiança da conclusão. “O churn vai cair 8%” e “o churn provavelmente cai entre 3% e 12%, e essa estimativa depende de uma premissa que pode não valer no ano que vem” são frases diferentes, e a segunda protege quem vai decidir. Engolir a incerteza pra parecer mais convincente é o oposto de ser útil. É transferir o risco pra quem confiou em você.

A segunda é desenhar a decisão pra ser reversível sempre que der. Decisão que dá pra desfazer transforma um erro caro num erro barato. Um piloto pequeno antes do rollout completo não é burocracia, é seguro contra o seu próprio modelo.

E a terceira, a mais difícil, é cultivar o hábito de tentar provar que a própria análise está errada antes de apresentá-la. Não procurar a confirmação, procurar a falha. Se eu não consigo derrubar o meu próprio resultado depois de tentar de verdade, aí eu começo a confiar nele. Antes disso, é só uma hipótese bem vestida.

No fim

O valor de quem trabalha com dados não está em estar certo. Todo mundo erra, e quem diz que não erra erra mais, só não fica sabendo. O valor está em saber o tamanho do que está em jogo quando se está errado, e em organizar o trabalho pra que o erro, quando vier, saia barato.

Insight errado todo mundo tem. Insight errado e caro é uma escolha de método.