11.4 Lead scoring preditivo: o que o modelo precisa para valer alguma coisa
Este é o capítulo mais difícil do módulo, e é o que você vai usar mais vezes na vida real, porque é aqui que um fornecedor coloca uma tabela na sua frente e espera que você não saiba ler. O objetivo não é te transformar em cientista de dados. É te dar cinco checagens que cabem em vinte minutos e que reprovam a maioria dos modelos vendidos, sem que você precise abrir uma linha de código.
As cinco são: taxa base, lift acumulado, vazamento de alvo, separação temporal e calibração. Uma sexta checagem, que não é estatística, reprova mais modelos que as cinco juntas, e ela fecha o capítulo.
Pergunta antes de ler
Um fornecedor apresenta um modelo de previsão de conversão com 98,39% de acurácia e área sob a curva de 0,9891, validado sobre 16.600 registros de CRM de uma empresa de software B2B.
A taxa base do outbound da Órbita é de 1,62%. Com esses dois números na mesa, o modelo é bom? Responda sim ou não, e escreva o motivo em uma linha.
Boa parte dos leitores responde não, e chega lá pelo caminho errado. O caminho errado é este: com taxa base de 1,62%, um modelo que simplesmente responde “não converte” para todo mundo acerta 98,38% dos casos, logo acurácia alta não prova nada. O raciocínio está correto e é insuficiente, porque ele explica por que 98,39% pode ser inútil. Ele não explica por que 98,39% é quase certamente sintoma de fraude estatística.
Os números da pergunta são reais e a fonte está publicada: González-Flores e colegas, The relevance of lead prioritization: a B2B lead scoring model based on machine learning, na revista Frontiers in Artificial Intelligence, 2025, sobre registros de janeiro de 2020 a abril de 2024. Entre as variáveis mais importantes do modelo estão o motivo do status e a classificação do lead. Guarde esses dois nomes. Eles são campos que só são preenchidos depois do desfecho que o modelo diz prever, e é por isso que o número aparece. O modelo não está prevendo o futuro. Está lendo a resposta no gabarito, com rigor metodológico impecável.
Em previsão de conversão B2B, acurácia acima de noventa por cento é um sintoma, não um mérito.
Taxa base, o denominador de tudo
- Taxa base
Probabilidade média de conversão da população inteira, sem nenhum modelo. Calculada como conversões observadas dividido por população elegível, na mesma janela de tempo que o modelo declara prever.
Por que importa: sem taxa base não existe lift, não existe leitura de precisão e não existe conversa honesta. Um modelo com 70% de precisão é espetacular se a taxa base é 2% e é lixo se a taxa base é 68%. O mesmo número, duas conclusões opostas, e a diferença está inteira no denominador.
A primeira pergunta que você faz ao fornecedor: qual é a taxa base desta população, e apurada em que janela? Se ele responder com a acurácia, ele não entendeu a pergunta ou não quer respondê-la, e as duas hipóteses levam à mesma decisão.
Apure a sua antes de olhar a dele. Na Órbita: o outbound registrou 131 oportunidades em 2025. A capacidade anual do time de pré-venda, com 4 pessoas abrindo 8 contas novas por dia útil, que é a premissa declarada deste capítulo, é de 4 × 8 × 21 × 12 = 8.064 contas por ano. Taxa base: 131 ÷ 8.064 = 1,62%. O universo elegível é o mercado endereçável menos a base atual: 13.900 menos 544 = 13.356 empresas.
| Decil | Contas | Conversão observada | Lift | Lift acumulado | Leitura operacional |
|---|---|---|---|---|---|
| D1 | 1.336 | 5,60% | 3,5× | 34,6% | O topo converte mais que o triplo da média. É o que justifica o investimento. |
| D2 | 1.336 | 3,30% | 2,0× | 54,9% | Queda contínua, sem inversão. É a condição de monotonicidade. |
| D3 | 1.336 | 2,20% | 1,4× | 68,5% | Queda contínua, sem inversão. É a condição de monotonicidade. |
| D4 | 1.336 | 1,55% | 1,0× | 78,1% | Queda contínua, sem inversão. É a condição de monotonicidade. |
| D5 | 1.336 | 1,15% | 0,7× | 85,2% | Queda contínua, sem inversão. É a condição de monotonicidade. |
| D6 | 1.336 | 0,90% | 0,6× | 90,7% | Aqui cai a linha de capacidade anual da Órbita. Tudo abaixo desta linha não será trabalhado. |
| D7 | 1.336 | 0,65% | 0,4× | 94,8% | Queda contínua, sem inversão. É a condição de monotonicidade. |
| D8 | 1.336 | 0,45% | 0,3× | 97,5% | Queda contínua, sem inversão. É a condição de monotonicidade. |
| D9 | 1.336 | 0,25% | 0,2× | 99,1% | Queda contínua, sem inversão. É a condição de monotonicidade. |
| D10 | 1.336 | 0,15% | 0,1× | 100,0% | O fundo converte perto de um décimo do topo, sem nenhuma inversão no caminho. |
Tabela de decis da validação fora do tempo de treino, entregue pelo fornecedor. Lift de cada decil é a conversão dele dividida pela taxa base. Lift acumulado é a fração de todas as conversões capturada trabalhando os decis de cima para baixo. A checagem de sanidade: a média simples da coluna de conversão é 1,62%, contra a taxa base apurada de 1,62%. Se essas duas não batessem, a tabela estaria descrevendo outra população.
Arraste o desenho para o lado para ver inteiro
Leia a figura de novo antes de continuar, porque ela contém o argumento econômico inteiro do scoring. A curva verde sobe rápido e depois achata. A diagonal cinza é o que você consegue sorteando. A distância vertical entre as duas, no ponto em que a capacidade do seu time corta o eixo horizontal, é o valor do modelo. Tudo à direita da linha vermelha é matemática bonita que a sua operação nunca vai executar, porque ela não tem gente para trabalhar aquelas contas.
Vazamento de alvo, e o teste do carimbo de tempo
- Vazamento de alvo
Presença, entre as variáveis do modelo, de campos que só são preenchidos depois do desfecho que se quer prever, ou por causa dele. Motivo do status, data de qualificação, nome do vendedor responsável, campo de motivo de perda.
Por que importa: é a causa número um de modelos que brilham no relatório e fracassam em produção. Em produção esses campos estão vazios no instante em que você precisa pontuar, e o modelo, privado da variável que carregava quase toda a sua força, colapsa para pouco acima do acaso.
O teste do carimbo de tempo: para cada variável, pergunte se aquele campo já estava preenchido, com aquele valor, no instante T em que você quer pontuar. Se a resposta for não, ou for “depende”, o campo sai. É um procedimento mecânico, não exige estatística e você pode fazê-lo sozinho, com o dicionário de campos na mão, em vinte minutos.
Arraste o desenho para o lado para ver inteiro
| Campo | Quando passa a existir | Entra? | Parecer pelo teste do carimbo de tempo |
|---|---|---|---|
| CNAE e porte da empresa | D+0, base pública de CNPJ | sim | Entra. Existe antes da pontuação e não depende do desfecho. |
| Tamanho de frota declarado | D+0, enriquecimento ou telemetria | sim | Entra. É o campo de maior poder e o mais barato de manter. |
| Origem do registro | D+0, no ato da criação | sim | Entra, com uma ressalva: se a origem for reclassificada depois, vira vazamento. |
| Dono atribuído | D+2, por roteamento | não | Sai. O dono é consequência de um processo interno e carrega o viés de quem a empresa decidiu priorizar. |
| Páginas visitadas nos 7 primeiros dias | completo em D+7 | não | Sai, porque a Órbita pontua em D+0 e o campo só tem o valor que o modelo usa em D+7. Entraria se a pontuação fosse movida para D+7, e aí a janela precisa estar escrita no dicionário. |
| Motivo do status | D+14, preenchido pelo SDR | não | Sai. É preenchido por causa do desfecho. Vazamento clássico. |
| Data de qualificação | D+21, só existe se qualificou | não | Sai. A presença do campo já é a resposta. |
| Oportunidade criada | D+30, é o próprio desfecho | não | Sai. Prever com isso é ler o gabarito. |
O teste do carimbo de tempo aplicado ao dicionário de campos. A coluna de leitura é o parecer, campo a campo. Repare que um campo pode sair por dois motivos diferentes: ou porque nasce depois do desfecho, ou porque é consequência de uma decisão interna da empresa, o que faz o modelo aprender a política de priorização que já existe em vez de aprender o mercado.
Separação temporal, e a pergunta única
- Separação temporal treino e teste
Treinar o modelo com dados até uma data de corte e testá-lo exclusivamente em registros posteriores a essa data, em vez de sortear linhas aleatoriamente dentro da mesma base. Também chamada de validação fora do tempo.
Por que importa: o sorteio aleatório mistura períodos e esconde mudança de mercado, mudança de perfil de cliente, mudança de time e vazamento sutil. A validação temporal é a única que imita o uso real, que é prever amanhã com o que se sabia ontem.
Padrão mínimo: treino até o trimestre fechado anterior, teste no trimestre seguinte completo, e janela de desfecho declarada, por exemplo conversão em até 90 dias.
A pergunta única que você decora: qual foi a data de corte entre treino e teste? Se o fornecedor não responde em segundos, o corte não existe. Não é uma pergunta difícil para quem fez a validação corretamente, porque essa data é uma das três coisas que ele escreveu no relatório.
Arraste o desenho para o lado para ver inteiro
Calibração, que é uma propriedade diferente de ordenar
- Calibração
Grau de concordância entre a probabilidade que o modelo afirma e a frequência efetivamente observada. Se o modelo diz 11% para um grupo, cerca de 11% daquele grupo deveria converter.
Por que importa: ordenar bem e acertar o número são propriedades diferentes, e um modelo pode ter a primeira sem ter a segunda. Para priorizar uma fila de trabalho basta ordenar. Para multiplicar score por valor e alimentar previsão de receita, é obrigatório estar calibrado, senão você injeta otimismo sistemático no forecast.
Por que o erro não se cancela: se a superestimativa fosse aleatória, somar muitas oportunidades faria os desvios se anularem. Ela não é aleatória: é sistemática e tem o mesmo sinal em todas as faixas. Somando, ela cresce. Um pipeline ponderado construído sobre score não calibrado é uma previsão inflada com aparência de rigor, que é a pior combinação possível numa reunião de conselho.
Arraste o desenho para o lado para ver inteiro
A sexta checagem, que não é estatística
Chegamos ao ponto que reprova mais modelos que as cinco checagens anteriores somadas, e que quase ninguém verifica antes de assinar. Um score não cria conversão. Ele realoca esforço. Se o time já toca cem por cento do volume, realocar esforço não produz um único cliente a mais, e o investimento inteiro se converte em relatório.
Pré-requisito operacional = universo elegível ÷ capacidade de trabalho, no mesmo período
Universo é o número de registros elegíveis no período. Capacidade é quantos deles o time consegue efetivamente trabalhar no mesmo período. Quando a razão se aproxima de 1, o valor do score se aproxima de zero, por melhor que ele seja.
Na práticaÓrbita Software · o parecer sobre o modelo do fornecedor
Checagem 1, taxa base. Apurada por você, não pelo fornecedor: 131 oportunidades de outbound em 2025 sobre 8.064 contas trabalhadas = 1,62%. A média simples da coluna de conversão da tabela de decis dá 1,62%. As duas batem, o que confirma que a tabela descreve a mesma população que a sua operação. Passa
Checagem 2, lift e monotonicidade. Lift do primeiro decil: 5,60% ÷ 1,62% = 3,5×. Lift acumulado nos três primeiros decis: 68,5% de todas as conversões trabalhando 30% do universo. A conversão cai de forma contínua do primeiro ao décimo decil, sem nenhuma inversão. Passa Repare no que não se deve fazer aqui: olhar só o primeiro decil. Um modelo pode ter topo excelente e ser inútil se os decis 2 a 5 forem indistinguíveis entre si, porque o time não trabalha só o topo.
Checagem 3, vazamento de alvo. Das oito variáveis do dicionário, quatro nascem depois do instante da pontuação e uma quinta é o próprio desfecho. Motivo do status, data de qualificação e oportunidade criada saem sem discussão. Páginas visitadas nos sete primeiros dias sai porque a Órbita pontua em D+0 e o campo só fica completo em D+7: no instante em que o modelo roda, ele vale zero para todo mundo. Dono atribuído sai por um motivo diferente e mais sutil: ele é consequência de uma decisão interna, e um modelo que o usa aprende a política de priorização que a Órbita já pratica, em vez de aprender o mercado. Reprova com correção obrigatória Peça o retreino sem os cinco campos e exija a nova tabela de decis. Espere que o lift do primeiro decil caia, e considere isso boa notícia: ele estava inflado.
Checagem 4, separação temporal. A pergunta única, feita na reunião: qual foi a data de corte entre treino e teste? Resposta aceitável é uma data, dita em segundos, mais a janela de desfecho declarada. Resposta inaceitável é qualquer versão de “usamos validação cruzada padrão”, que quase sempre significa sorteio aleatório de linhas. Condicional
Checagem 5, calibração. O modelo prevê 7,3% para o primeiro decil e a operação observa 5,6%. Erro médio de 0,8 pontos percentuais, superestimativa média de 29%, com o mesmo sinal nas cinco faixas. Aprovado para ordenar, proibido de somar Esta frase precisa entrar na ata, porque daqui a seis meses alguém vai ter a ideia de multiplicar score por valor para montar pipeline ponderado, e a proibição precisa estar escrita antes.
Checagem 6, o pré-requisito operacional. No outbound: 13.356 contas elegíveis divididas por 8.064 de capacidade anual = 1,7×. Existe escassez real e ela é estrutural, porque o universo é o mercado e a capacidade são quatro pessoas. No inbound: 3.050 MQL divididos pelos 2.438 que receberam ao menos uma tentativa = 1,3×. E essa escassez é falsa: os 612 que sobraram não foram escolhidos por critério nenhum, foram escolhidos pelo dia da semana. Conserte o roteamento do capítulo 11.3 e a escassez do inbound desaparece, junto com qualquer valor que um score pudesse ter ali. A mesma curva de lift aplicada aos dois processos mostra a diferença em uma linha: no outbound a ordenação captura 30,4 pp a mais que o acaso, no inbound captura 17,6 pp, e essa segunda vantagem evapora assim que a cobertura chega perto de cem por cento.
O benefício, com o deságio aplicado. Trabalhando 60,4% do universo pelo score, o modelo captura 90,7% das conversões, contra 60,4% do acaso. Em números absolutos: 13.356 × 1,62% = 217,0 conversões no universo inteiro; 217,0 × 90,7% = 196,9 oportunidades com o modelo, contra as 131 observadas. Delta bruto: 65,9 oportunidades por ano. Aplicando deságio de 40% sobre o lift medido em teste histórico, que é disciplina e não pessimismo: 39,5 oportunidades. Win rate do outbound: 34 ÷ 131 = 26,0%. Clientes adicionais: 10,3 por ano. ACV do outbound: R$ 1,64 milhão de ARR novo ÷ 34 clientes ganhos = R$ 48,2 mil por cliente, por ano. ARR novo da empresa: R$ 494,8 mil por ano.
A checagem incômoda que fecha o parecer. Todo fornecedor de scoring preditivo tem um volume mínimo de dados para treinar, e o volume que importa não é o de registros: é o de eventos positivos, ou seja, quantos daqueles registros de fato converteram dentro da janela de treino. Não aceite esse piso da boca de ninguém na reunião. Peça a página da documentação do produto em que ele está publicado, com o número de registros, o número de conversões e o tamanho da janela, e leve esse número para a conta que você já tem. A conta da Órbita, você já fez: 131 oportunidades de outbound por ano dão 72 eventos positivos em 200 dias. Some ao pedido a pergunta que fecha o assunto: quantas variáveis o modelo usa? Com 72 desfechos, cada variável candidata está aprendendo um punhado de casos, e o modelo não está estimando nada: está decorando.
A leitura. O modelo que tem business case não tem volume de eventos, e o processo que tem volume de eventos não tem escassez de capacidade. É o cruzamento mais comum em empresa brasileira do porte da Órbita, e ele não aparece em nenhuma apresentação de fornecedor.
O veredito. Aprovar com restrição, e a restrição é de sequência, não de preço. Primeiro o roteamento de 11.3, que entrega R$ 552 mil de ARR por ano da empresa com regra determinística e auditável. Depois, com doze meses de outbound roteado e registrado, refazer a validação com janela de desfecho alargada e decidir sobre o score, que projeta R$ 494,8 mil de ARR por ano da empresa. O menor dos dois números custa mais, demora mais e degrada sozinho.
Exercício 11.475 minutos, tabela de decis e dicionário de campos do seu fornecedor
Emita o parecer de validação de um modelo de scoring.
- Apure a taxa base da sua população a partir dos dados brutos. Depois calcule o lift do primeiro decil e o lift acumulado dos três primeiros.
- Verifique a monotonicidade da tabela de decis e diga se as inversões que você encontrou são ruído ou defeito.
- Pegue o dicionário de campos e aplique o teste do carimbo de tempo a cada um. Liste os que saem e diga quantos pontos de lift você espera perder no retreino.
- Adversarial. Calcule a razão entre universo e capacidade do processo onde o score entraria. Abaixo de 1,5 escreva o parecer de reprovação, mesmo que o modelo esteja estatisticamente impecável. Entre 1,5 e 2,0 a razão é faixa de atenção, não aprovação, e a Órbita mora nessa faixa: 1,7× no outbound. Um único SDR a mais leva a capacidade de 8.064 para 10.080 contas por ano e a razão para 1,3×, abaixo do corte, sem que o modelo tenha piorado em nada. Escreva na sua resposta qual contratação já prevista no plano mata o caso do score.
Conferir respostasEsconder respostas
- Taxa base e lift. Uma resposta adequada calcula a taxa base a partir dos dados do fornecedor, não aceita a que ele publicou. Uma resposta de nível MBA confere se a média dos decis reproduz a taxa base declarada. Quando não reproduz, a explicação quase sempre é que a tabela foi calculada sobre uma população diferente da que você vai pontuar, e isso invalida tudo o que vem depois.
- Monotonicidade. Inversão pequena entre dois decis vizinhos no meio da tabela é ruído e não reprova. Inversão grande, ou qualquer inversão entre os três primeiros decis, reprova, porque é ali que a operação vai agir. Diga qual dos dois casos você encontrou.
- Vazamento. Espere encontrar pelo menos dois campos suspeitos em um dicionário de dezenove. Os suspeitos habituais têm nomes que denunciam: qualquer campo com a palavra motivo, status, resultado ou responsável. Justifique pelo carimbo de tempo, com a data típica de preenchimento ao lado, e não por intuição.
- Adversarial. Suponha que o modelo passe nas cinco checagens estatísticas com folga. Escreva a pergunta que ainda assim pode reprová-lo, e calcule a razão para o seu caso. Se ela estiver perto de 1, você tem um modelo bom e um investimento ruim, e precisa dizer isso em voz alta na reunião. É a frase mais difícil de dizer neste módulo, porque ela contraria todo mundo na sala, inclusive quem trouxe o fornecedor.
Armadilha: comemorar acurácia alta na reunião de diretoria
O slide tem um número grande no meio e a sala relaxa, porque noventa e oito é um número que qualquer pessoa entende. A pergunta que ninguém faz é qual é a taxa base, e a razão de ninguém fazer é que perguntar parece confessar que não se entendeu a apresentação. Então o investimento é aprovado, o modelo é implantado, e nove meses depois alguém nota que a fila do time não mudou de comportamento.
O diagnóstico, quando finalmente é feito, é sempre o mesmo. O modelo foi treinado com campos preenchidos depois do desfecho. Em produção esses campos chegam vazios, o modelo perde a variável que carregava quase todo o seu poder, e o que sobra é um número um pouco melhor que sortear. O fornecedor não mentiu: ele mediu o que mediu, e mediu bem. A empresa é que aceitou uma medida que não correspondia ao uso.
A sanção. Não é o desperdício da licença, que costuma ser pequeno. É que o time passou nove meses seguindo uma ordem de fila que não significava nada, e nesse período abandonou o critério anterior, que era ruim mas era conhecido. Quando o modelo é desligado, não há para onde voltar. E, na próxima due diligence, a pergunta do fundo sobre como a empresa prioriza contas vai ter uma resposta que começa com “a gente tinha um modelo”.
Recuperação
Responda antes de abrir. Tentar e errar consolida mais que reler.
1Diga as cinco checagens estatísticas de um modelo de scoring e a sexta, que não é estatística.
Taxa base, lift e lift acumulado com monotonicidade, vazamento de alvo pelo teste do carimbo de tempo, separação temporal entre treino e teste, e calibração. A sexta é o pré-requisito operacional: universo elegível dividido por capacidade de trabalho no mesmo período. Ela é a última na ordem de apresentação e a primeira na ordem de importância, porque um resultado ruim nela reprova o investimento mesmo com as cinco anteriores impecáveis.2Um modelo tem taxa base de 4,0% e o primeiro decil converte a 15,2%. Os decis 2 a 5 convertem, respectivamente, 5,1%, 4,9%, 4,8% e 4,7%. Aprova?
Lift do primeiro decil: 15,2 ÷ 4,0 = 3,8×, que é ótimo. E é quase irrelevante, porque os decis 2 a 5 são indistinguíveis entre si e da taxa base. O modelo separa os dez por cento do topo e depois não sabe mais nada. Isso só tem valor se a capacidade do time for de exatamente dez por cento do universo. Para qualquer cobertura maior, o time está trabalhando uma fila ordenada ao acaso a partir do segundo decil, e pagando licença por isso. Olhar só o primeiro decil é a forma mais elegante de aprovar um modelo inútil.3O forecast da Órbita é construído pelo CRO descontando uma gordura por sensação, no fim da reunião mensal. Por que injetar um score não calibrado nesse processo piora a situação em vez de melhorar?Módulo 9
Porque troca um viés conhecido por um viés invisível. O desconto por sensação do CRO é grosseiro, mas todo mundo na sala sabe que ele existe e sabe quem o aplicou, o que permite discutir e corrigir. Um score com superestimativa sistemática de 29% produz um número com aparência de método, que ninguém questiona, e cujo erro cresce com a soma em vez de se cancelar. A sequência correta é a inversa: primeiro conserte a definição de estágio e a disciplina de atualização, depois discuta matemática. O capítulo 11.6 volta a isso.4Escreva de memória o teste do carimbo de tempo e a pergunta única da validação temporal.
Carimbo de tempo: para cada variável, este campo já estava preenchido, com este valor, no instante T em que eu preciso pontuar? Se não, ou se depende, o campo sai. Pergunta única da validação: qual foi a data de corte entre treino e teste? Se você escreveu alguma variação de “o dado é confiável?”, você escreveu o degrau 2 da escada de 11.1, que é outra pergunta. Estas duas são específicas, têm resposta objetiva e cabem numa reunião de vinte minutos com um fornecedor.