9.8 Forecast com IA: o que a máquina realmente entrega
Este capítulo fecha o módulo, e ele fecha no lugar certo por um motivo que precisa ser dito antes de qualquer coisa sobre tecnologia. Colocado no começo, ele viraria a resposta fácil que dispensa os sete capítulos anteriores. Colocado aqui, ele é a única posição em que o leitor tem critério para avaliar, porque agora existe uma barra contra a qual medir qualquer promessa.
Modelos de pontuação de negócios funcionam. Eles leem sinais de engajamento por e-mail, calendário e transcrição de chamada, comparam com padrões históricos de negócios ganhos e perdidos, e devolvem uma probabilidade por negócio. Isso é genuinamente útil e o mercado brasileiro vai encontrar esses produtos com frequência crescente nos próximos anos. O que este capítulo ensina não é ceticismo genérico. É o protocolo de compra que separa o que o produto faz do que o material de venda promete.
Pergunta antes de ler
Um fornecedor apresenta 98% de acurácia de forecast a partir da segunda semana do trimestre, número que a Clari publica no próprio material de venda de 2025 e 2026 sem teste controlado por trás, e propõe implantar na Órbita por R$ 300 mil por ano. Esse valor é premissa deste exercício, escolhida para a aritmética ficar reproduzível, e não um preço de mercado medido: troque pelo número da sua proposta quando ela existir. A Órbita tem ARR de R$ 24,8 milhões e gasta R$ 470 mil por ano com todas as ferramentas de GTM somadas. Qual é a primeira pergunta que você faz ao fornecedor?
Escreva a pergunta exata. Não escreva um tema, escreva a frase que você diria na reunião.
A pergunta que vem primeiro à cabeça é alguma variação de “98% medido como, e contra o quê?”. É uma boa pergunta e é a segunda. Ela é plausível e cai numa armadilha de sequência, porque começa a discussão dentro da metodologia do fornecedor. A primeira pergunta é outra, e ela é sobre a Órbita, não sobre o produto: o que exatamente esse modelo vai aprender com os últimos oito trimestres desta empresa. Um modelo treinado em categorias que não têm definição escrita aprende a inconsistência e a devolve com aparência de ciência. Antes de avaliar a promessa, você precisa saber o que vai entrar como verdade de treino.
A fronteira: o que a máquina entrega e o que ela não entrega
- Pontuação de negócio e forecast com modelo
Pontuação de negócio (deal scoring) atribui probabilidade de fechamento a cada negócio aberto a partir de sinais observáveis de engajamento e de padrões históricos. Forecast com modelo agrega essas probabilidades num número do período.
O que entrega bem: detecção de risco negócio a negócio. Negócio parado, comprador econômico ausente da conversa, data empurrada várias vezes, queda brusca de volume de interação. Também entrega uma segunda opinião sem política interna, que é um valor real numa empresa onde o número é negociado.
O que não entrega: definição. O modelo aprende a relação entre sinal e resultado dentro dos seus dados; ele não decide o que é commit, não prevê choque externo e não funciona com histórico curto ou com categorias inconsistentes. A regra prática é a mesma da regressão: no mínimo dez observações por variável explicativa.
Arraste o desenho para o lado para ver inteiro
O buraco que desliga metade do produto antes de ligar
Esta é a diferença metodológica mais importante e mais subestimada do mercado brasileiro, e ela não aparece em nenhum material de fornecedor. Boa parte do avanço comercial B2B no Brasil acontece em aplicativo de mensagem, e essa interação não entra no CRM por padrão. Todo indicador baseado em atividade registrada gera falso positivo em massa quando a cobertura de registro é baixa: negócio sem atividade há sete dias, ausência de engajamento do comprador econômico, queda de volume de interação, todos eles.
Cobertura de registro = interações registradas no CRM ÷ interações reais com o cliente
Meça isto antes de qualquer conversa de compra. Tome uma amostra de vinte negócios fechados, pergunte aos vendedores quantas interações reais houve com o cliente e compare com o que está registrado. Abaixo de 60% de cobertura, o alerta de engajamento está desligado na prática, e a inspeção de negócio tem de ser inteiramente conversacional. Isso não é opinião sobre ferramenta: é a condição de funcionamento dela.
Arraste o desenho para o lado para ver inteiro
O backtest cego, e qual é a barra de verdade
Agora a parte que muda a relação de força numa negociação de compra. Todo fornecedor de forecast com modelo publica um número de acurácia. Nenhum desses números vem de teste controlado publicado, e todos foram medidos em bases que não são a sua. O instrumento que resolve isso é antigo e barato: rodar o modelo contra os seus próprios instantâneos históricos, sem que ele veja o resultado, e comparar com o que a sua empresa disse no mesmo momento.
Arraste o desenho para o lado para ver inteiro
Na práticaÓrbita Software · a conta da compra
O corte que decide antes da aritmética. Plataformas de forecast com modelo, do tipo Clari, BoostUp e Gong, são vendidas em dólar e cobradas por usuário, contra uma base de receita em reais. Circula entre operadores brasileiros a leitura de que a conta dessas plataformas só começa a fechar acima de R$ 40 a 50 milhões de ARR. Este livro não conseguiu verificar essa faixa contra nenhuma amostra publicada com fonte, ano e recorte, então ela não é benchmark: é hipótese a testar, e testá-la custa uma pergunta. Pergunte ao fornecedor qual é o menor cliente brasileiro dele por ARR, há quanto tempo esse cliente renova e quem lá dentro opera o produto. A Órbita tem R$ 24,8 milhões. Se a resposta vier bem acima disso, a conversa terminou antes de qualquer discussão de acurácia, e terminou com um dado que o fornecedor forneceu.
O que o fornecedor pede. A premissa deste exercício é R$ 300 mil por ano. A Órbita gasta hoje R$ 470 mil com todas as ferramentas de GTM somadas, o que faria da proposta 64% do orçamento inteiro de ferramental comercial, para um único produto. Sobre o ARR de R$ 24,8 milhões, seriam 1,2% da receita recorrente. Refaça as duas divisões com o número da sua proposta: a conclusão do capítulo não depende do valor exato, depende da ordem em que as perguntas são feitas.
O que o modelo teria para aprender. Seis trimestres, não oito. Categorias sem definição escrita, escolhidas num campo de lista com três palavras que nunca foram definidas. Estágios cujo critério de saída descreve ação do vendedor, com kappa de 0,4 em teste de dupla classificação. Data de fechamento sobrescrita, o que elimina a variável mais preditiva e mais barata do conjunto, que é a contagem de empurrões. Um modelo treinado nisso aprende a reproduzir um viés de −12,5%, e vai reproduzi-lo com explicabilidade por negócio e uma interface muito boa.
A barra que ele precisa superar. Não são os 13,8% de erro absoluto do processo humano. São os 7,2% da multiplicação por 88,6%, que já está disponível, não custa nada e não depende de implantação. Para justificar R$ 300 mil por ano, o fornecedor precisa mostrar, no backtest cego contra os instantâneos da própria Órbita, uma vantagem sobre 7,2%, não sobre 13,8%.
A sequência correta de gasto. Primeiro a tabela de instantâneo, que custa uma tarde. Depois o histórico de datas de fechamento, que custa uma configuração. Depois o dicionário de categorias com teste de dupla classificação, que custa duas reuniões. Depois a medição de cobertura de registro, que custa uma tarde. Só então a conversa de compra, e agora com oito trimestres de instantâneo gravado para rodar o backtest. Nessa ordem, a ferramenta pode valer o preço. Na ordem inversa, ela vira um modelo caro treinado num dicionário que não existe.
O veredito. Some o que a Órbita leva para a mesa de compra: seis trimestres de erro na mesma direção, três dos sete rituais de receita, nenhum instantâneo gravado e uma razão de cobertura que explica quase todo o viés. Nada nessa lista é um problema que software resolva. Comprar o modelo agora é pagar R$ 300 mil por ano para automatizar a produção de um número errado.
Exercício 9.845 minutos, uma folha de perguntas
Você foi designado para conduzir a avaliação técnica da compra.
- Escreva as sete perguntas que você faz ao fornecedor, na ordem em que faria. Cada uma precisa ser respondível com um fato, e não com uma narrativa.
- Verifique se a Órbita tem volume de dado suficiente, usando o histórico de trimestres e o número de oportunidades por período. Diga também se um modelo por segmento seria defensável.
- Nomeie o item da lista de não entrega que mais pesa no caso da Órbita e explique por que nenhuma versão do produto resolve.
- Defina a barra do backtest. Diga contra qual número a vantagem do fornecedor precisa ser medida, e mostre com um exemplo numérico como a barra errada faz um resultado ruim parecer bom.
- Metacognitivo. O CRO argumenta que esperar arrumar as definições vai atrasar a compra em um ano e que a concorrência já usa a ferramenta. Responda em seis linhas, dizendo o que o modelo usaria hoje como rótulo de treino.
Conferir respostasEsconder respostas
- Sete perguntas defensáveis: (a) contra que base o número de acurácia foi medido, com tamanho de amostra, setor e ticket médio por cliente, por ano; (b) o modelo aceita rodar cego contra os meus oito trimestres de instantâneo antes da assinatura; (c) qual é o volume mínimo de negócios fechados por trimestre abaixo do qual vocês não recomendam o produto; (d) o modelo explica cada pontuação por negócio, nomeando os sinais que a produziram; (e) o que acontece com a pontuação quando a cobertura de registro de atividade é baixa; (f) qual é a base legal, o prazo de retenção e o controle de acesso da gravação de chamada; (g) o resultado da pontuação pode ser usado em avaliação de desempenho do vendedor e, se sim, quem autorizou isso.
- Com 6 trimestres a Órbita está abaixo do mínimo de oito recomendado, e com 640 oportunidades no ano, ou 160 por trimestre, o volume só é suficiente no consolidado. No enterprise, com 36 oportunidades no ano inteiro, qualquer modelo por segmento está sobreajustado por construção. A regra de dez observações por variável explicativa já reprova a tentativa.
- O item que nenhum modelo resolve é a definição de commit, porque ela é uma decisão institucional e não um padrão nos dados. O modelo pode medir que a categoria commit da Órbita converte a uma taxa qualquer, mas ele vai aprender exatamente a inconsistência que existe hoje. O teste é simples: se dois gerentes classificam os mesmos negócios de forma diferente, o rótulo de treino é ruído, e nenhum ganho de arquitetura compensa rótulo ruidoso.
- A vantagem precisa ser medida contra 7,2% de erro absoluto e −1,2% de viés. Um modelo que entregue 11,8% parece uma melhora enorme contra o processo humano e é pior que a aritmética. O erro de comparar contra a barra errada é o mais caro do processo de compra, porque ele é invisível: os dois números apresentados na reunião são verdadeiros.
- Metacognitivo e adversarial. A resposta esperada não é que a IA seja inútil. É que ela é amplificador: ela melhora um sistema que já tem definição, medição e ritual, e amplifica a inconsistência de um sistema que não tem. A ordem de compra correta é instrumentação primeiro, definição depois, ritual depois, modelo por último. Quem responde que a Órbita deve comprar agora para acelerar precisa explicar o que o modelo vai usar como rótulo de treino.
Armadilha: comprar a ferramenta antes de arrumar as definições
A armadilha é sedutora porque a compra é visível e a definição não é. Comprar resolve uma reunião de conselho: existe uma iniciativa, um fornecedor, uma data de implantação e um número de acurácia prometido. Escrever um dicionário de categorias e medir concordância entre dois gerentes não cabe em slide e parece burocracia interna.
O mecanismo do prejuízo é o seguinte, e ele é aritmético. O modelo aprende a relação entre sinais e o rótulo que você dá. O rótulo é a categoria. Se a categoria é atribuída com concordância de 61% e kappa de 0,4, boa parte do rótulo é ruído. Modelo treinado com rótulo ruidoso aprende o ruído e devolve previsões com a mesma inconsistência, agora acompanhadas de uma justificativa por negócio que soa convincente. A empresa passa a ter o mesmo erro com mais confiança, que é estritamente pior que o mesmo erro com desconfiança.
A sanção é financeira e institucional ao mesmo tempo. Financeira: no pedido suposto aqui, R$ 300 mil por ano, ou 64% do orçamento de ferramental, contra uma alternativa que custa uma tarde e já entrega 7,2% de erro absoluto. Institucional: quando o CFO descobrir que a empresa automatizou um processo de forecast cujo dicionário nunca foi escrito, a próxima decisão de investimento em ferramenta comercial vai passar por ele, e não por você. autoridade perdida A regra de uma linha: software não decide o que é commit, e nunca vai decidir.
Recuperação
Responda antes de abrir. Tentar e errar consolida mais que reler.
1Qual é a primeira pergunta a fazer numa avaliação de ferramenta de forecast com modelo, e por que ela não é sobre o produto?
A pergunta é: o que este modelo vai aprender com os meus últimos oito trimestres. Ela não é sobre o produto porque o modelo aprende a relação entre sinais e o rótulo que a empresa fornece, e o rótulo é a categoria de forecast. Categoria atribuída sem definição escrita é ruído, e modelo treinado em rótulo ruidoso reproduz a inconsistência com aparência de ciência. Começar pela metodologia do fornecedor é aceitar discutir dentro do terreno dele.2Uma operação tem processo humano com erro absoluto médio de 19% e uma correção estrutural simples que entrega 11%. O fornecedor promete 9%. A compra se justifica? Nenhum desses números apareceu no capítulo.
A vantagem real é de 2 pontos percentuais sobre a correção gratuita, não de 10 pontos sobre o processo humano. A conversa de preço passa a ser sobre quanto valem esses 2 pontos em reais de erro de planejamento por ano, e a conta é direta: 2% do valor previsto do período, multiplicado por quatro períodos. Se isso for menor que o custo anual da ferramenta, a compra não se justifica pelo forecast, e o fornecedor precisa sustentar o preço pela detecção de risco negócio a negócio, que é outra discussão e outro protocolo de teste.3O Módulo 5 tratou governança de dado e LGPD. Quais quatro exigências você impõe a uma ferramenta que grava e transcreve chamadas, e qual delas é específica de decisão sobre o próprio empregado?Módulo 5 · 5.7
Aviso no início da chamada; base legal declarada, com legítimo interesse documentado por teste de balanceamento; prazo de retenção definido em política escrita, com capacidade de atender pedido de eliminação; e controle de acesso à transcrição. A quarta exigência específica é a separação entre uso para coaching e uso para avaliação de desempenho: quando a análise automatizada alimenta promoção, plano de melhoria ou remuneração, o tratamento recai sobre dado pessoal do empregado, com implicações trabalhistas além das de proteção de dados.4Escreva de memória a ordem correta de gasto, do mais barato ao mais caro, e diga o que acontece se ela for invertida.
Tabela de instantâneo, histórico de datas de fechamento, dicionário de categorias com teste de dupla classificação, medição de cobertura de registro de atividade, e só então a ferramenta. Invertida, a empresa compra um modelo treinado num dicionário que não existe, sem histórico de datas para a variável mais preditiva e sem saber se os alertas de engajamento funcionam na própria base. O resultado é o mesmo erro de antes, agora com mais confiança e com uma fatura anual.
O que fica deste módulo, e para onde ele aponta
Vale recolher o que sobrou de pé. Forecast não é previsão: é um compromisso público sobre um número que outras pessoas vão gastar. A sequência correta é inversa à intuição, porque primeiro vem definição, depois medição de conversão por categoria, depois método, depois medição de erro e só então a atribuição do erro a quem o produziu. A acurácia consolidada de uma empresa pode ser boa e mentirosa ao mesmo tempo. E o viés da Órbita, que parecia um problema de comportamento de vendedor, era uma razão entre dois números publicados desde o Módulo 1.
Fica também uma lacuna, e ela está declarada no próprio dataset. A lista de como o forecast é produzido hoje na Órbita termina com uma frase que este módulo não resolveu: não existe forecast de renovação, e o lado direito do nó não é previsto por ninguém. Tudo o que você aprendeu aqui trata de venda nova, que em 2025 foram R$ 6,9 milhões. No mesmo ano a expansão foi R$ 3,1 milhões e as perdas entre contração e churn foram R$ 3,6 milhões, ou seja, 52% de toda a venda nova do ano foi gasta repondo o que vazou. Prever com precisão a metade menor do problema é um progresso parcial.
É para lá que o próximo módulo vai. Retenção, expansão e monetização, o lado do nó onde a Órbita tem 28 contas de enterprise sem nenhum gerente de contas dedicado e 60% da expansão acontecendo sem ninguém vender nada. Leve deste módulo a disciplina do instantâneo e a exigência de critério verificável, porque as duas se aplicam inteiras do outro lado. Monte a tabela de instantâneo antes de virar a página.