9.5Capítulo 5 de 8

Medir o erro antes de tentar reduzi-lo

9.5 Medir o erro antes de tentar reduzi-lo

Nos quatro capítulos anteriores você construiu a máquina: separou os quatro números, separou estágio de categoria, escreveu as portas de evidência do commit e comparou os cinco métodos de chegar a um valor. Agora vem a pergunta que a Órbita nunca fez em seis trimestres seguidos, e que é a única capaz de dizer se alguma coisa daquilo funcionou. Quanto a gente erra, em que direção, e desde quando.

A Órbita tem a resposta guardada e nunca a olhou. O commit vai ao CEO e ao conselho no dia 15 do primeiro mês de cada trimestre. Seis trimestres de commit e de realizado estão registrados. Ninguém jamais colocou as duas colunas lado a lado numa mesma folha, porque não existe reunião cuja pauta seja essa. A Órbita não tem 4 dos sete rituais que uma operação de receita precisa ter, e a revisão trimestral de padrão é um deles. O resultado aparece na primeira coluna que você vai ver neste capítulo, e ele não é aleatório.

Pergunta antes de ler

A Órbita chamou R$ 2,4 milhões para o quarto trimestre de 2025 e fechou R$ 2,14 milhões. Errou por R$ 260 mil, ou seja, 10,8% do número chamado. Isso é bom ou ruim?

Responda com um número, não com um adjetivo. E diga contra o que você comparou para chegar nele.

A resposta que quase todo mundo escreve é alguma variação de “é ruim, porque acurácia boa é erro abaixo de 5%”. É plausível e é inútil. Os 5% vieram de um blog, de uma apresentação de fornecedor ou da última empresa em que a pessoa trabalhou, e nenhuma dessas três fontes conhece a distribuição de erro da Órbita. Pior: a pergunta como está formulada é uma armadilha, porque ela isola um trimestre. Um trimestre não diz nada. Erro de um período é indistinguível de sorte. O que diz alguma coisa é a coluna inteira, e a coluna inteira da Órbita tem a mesma direção em cinco dos seis trimestres. Guarde esse fato antes de qualquer fórmula.

Três números, e só um deles fala de gente

Erro absoluto percentual, viés com sinal e hit rate

Erro percentual absoluto médio é a média do tamanho do erro, jogando fora o sinal. Ele responde a uma pergunta de confiança: de quanto a diretoria precisa duvidar do que a gente diz.

Viés com sinal é a média dos erros preservando o sinal. Ele responde a uma pergunta de caráter do processo: a gente erra para cima ou para baixo, sempre. Positivo é subestimar; negativo, na convenção deste livro, é chamar mais do que se entrega.

Hit rate é o percentual de períodos em que o número caiu dentro de uma banda declarada antes do período começar. Ele converte acurácia em compromisso binário, que é exatamente como o CFO pensa: posso ou não posso gastar em cima disso.

Por que importa: os três medem coisas diferentes e só um deles se publica com nome de pessoa em cima. O erro absoluto no nível do vendedor é dominado pelo tamanho dos negócios que ele carrega, não pelo julgamento dele. O viés não tem esse defeito, porque o tamanho do negócio afeta as duas pontas da conta e se cancela.

Errot = (Realizadot − Previstot) ÷ Previstot  ·  Viés = média(Errot)  ·  MAPE = média(|Errot|)

Convenção deste módulo, e é a mesma do dataset da Órbita: erro é o realizado contra o previsto, dividido pelo previsto. Sinal negativo quer dizer que a empresa chamou mais do que entregou. Se a sua ferramenta usa a convenção contrária, o sinal inverte e o diagnóstico inverte junto. Escreva a convenção na primeira linha de qualquer relatório de acurácia, porque metade das discussões sobre viés é discussão sobre denominador.

Com a convenção escrita, a coluna da Órbita deixa de ser um monte de números e vira um diagnóstico. Viés de −12,5% e erro absoluto médio de 13,8% em seis trimestres. A razão entre os dois é 1,1, e é essa razão que carrega a informação. Quando o erro absoluto é quase igual ao módulo do viés, quase todo o erro tem direção. Não sobrou ruído para explicar. Isso elimina de saída a frase que a Órbita vem repetindo em toda reunião de fechamento, que é “o trimestre foi atípico”. Seis trimestres atípicos na mesma direção são um processo, não uma sequência de acasos.

TrimestreCommit chamadoRealizadoErro do gerenteLinha de aritméticaErro da aritméticaO que o período revela
Q3/2024R$ 1,5 milhãoR$ 1,14 milhão−24,0%R$ 1,33 milhão−14,2%Otimismo grande, e ninguém revisou o número dentro do trimestre.
Q4/2024R$ 1,7 milhãoR$ 1,45 milhão−14,7%R$ 1,51 milhão−3,7%Otimismo grande, e ninguém revisou o número dentro do trimestre.
Q1/2025R$ 1,55 milhãoR$ 1,3 milhão−16,1%R$ 1,37 milhão−5,3%Otimismo grande, e ninguém revisou o número dentro do trimestre.
Q2/2025R$ 1,62 milhãoR$ 1,68 milhão+3,7%R$ 1,43 milhão+17,1%O único período superado. A aritmética erra aqui, e erra na direção segura.
Q3/2025R$ 2,05 milhõesR$ 1,78 milhão−13,2%R$ 1,82 milhão−2,0%Otimismo moderado, do mesmo tamanho do buraco de cobertura.
Q4/2025R$ 2,4 milhõesR$ 2,14 milhões−10,8%R$ 2,13 milhões+0,7%Otimismo moderado, do mesmo tamanho do buraco de cobertura.
Seis trimestresR$ 10,8 milhõesR$ 9,49 milhões−12,5% de viésR$ 9,58 milhões−1,2% de viésO viés cai de −12,5% para −1,2% sem ninguém falar com vendedor nenhum.

Bloco de forecast da Órbita, seis trimestres. A quarta coluna aplica uma única linha de aritmética ao número chamado, explicada logo abaixo. A última coluna é o que importa: em cinco dos seis períodos o commit ficou acima do realizado, e o único período em que a empresa superou o número é também onde a linha de aritmética comete o seu maior erro. Ela também erra dois dígitos no Q3/2024, que é o trimestre com menos histórico gravado. Um modelo de um parâmetro corrige direção média, não explica trimestre fora da curva, e isso é limitação declarada, não defeito escondido.

A linha de aritmética que humilha a cadeia inteira

A quarta coluna da tabela precisa de explicação, porque ela é o argumento central deste capítulo e ela cabe numa multiplicação. A Órbita opera com 3,1× de cobertura de pipeline e precisa de 3,5×, porque a cobertura necessária é o inverso do win rate e o win rate consolidado da Órbita é 28,9%. Quem entra no trimestre com 88,6% do pipeline que precisaria ter, e converte esse pipeline na taxa histórica, entrega 88,6% do que chamou. O erro estrutural esperado é −11,4%. O erro observado em seis trimestres é −12,5%. A distância entre os dois é de menos de um ponto e meio percentual.

Previstoaritmética = Commit × (cobertura praticada ÷ cobertura necessária) = Commit × (3,1 ÷ 3,5) = Commit × 88,6%

O modelo inteiro tem um parâmetro, e o parâmetro já estava publicado no bloco de funil da empresa desde o Módulo 1. Ele não olha negócio nenhum, não conversa com vendedor nenhum e não sabe o que é uma categoria de forecast. Ele só corrige o número chamado pela razão entre o pipeline que existe e o pipeline que a taxa de conversão exige.

Aplicada aos seis trimestres, essa multiplicação reduz o viés de −12,5% para −1,2% e o erro absoluto médio de 13,8% para 7,2%. Leia de novo: uma multiplicação por um número fixo, feita no primeiro dia do trimestre, sem informação nenhuma sobre os negócios, corta o erro do processo pela metade e praticamente elimina a direção do erro. Isso não é elogio à aritmética. É acusação. Significa que a cadeia inteira de julgamento humano da Órbita, do AE ao gerente ao CRO que desconta 15% de gordura por sensação, está adicionando erro sobre um número que uma multiplicação já resolvia.

Q4/2025: onze semanas operando sobre um número que já se sabia erradoPremissa: a Órbita revisa o forecast uma vez por mês e o conselho recebe o número na semana 3.banda de ±5% do realizadoRealizado R$ 2,14 milhõesCommit ao conselho: R$ 2,4 milhões, semana 3revisado na forecast call do mês 2 e do mês 3, sem mudar de patamarAritmética: R$ 2,4 milhões × 3,1 ÷ 3,5 = R$ 2,13 milhões, disponível na semana 1R$ mil2.4002.2472.1402.033s1s3s5s7s9s11s13semanas do trimestreO erro do gerente não é falta de informação. É falta de revisão: o número entra na semana 3 e só se mexe quando o trimestre já acabou.

Arraste o desenho para o lado para ver inteiro

Figura 9.5 A curva do gerente nunca entra na banda. A da aritmética entra na semana 1 e não sai. Quarto trimestre de 2025, treze semanas no eixo horizontal e ACV novo da empresa no vertical. A escala vertical está em R$ mil, então 2.400 quer dizer R$ 2,4 milhões. A faixa cinza é a banda de mais ou menos 5% em torno do realizado, ou seja, a zona em que o CFO poderia ter autorizado gasto sem risco. A linha escura é o que a Órbita disse: R$ 2,4 milhões entregues ao conselho na semana 3 e nunca mais revisados, porque a forecast call é mensal e o número só cai quando o trimestre fecha. A linha verde é a multiplicação da fórmula acima. O que o desenho prova é que a informação que faltava não estava no campo, não estava no CRM e não estava na cabeça de ninguém: ela já estava numa razão publicada no Módulo 1.

Sem instantâneo não existe acurácia, existe anedota

Repare no que a figura anterior escondeu para poder ser desenhada. Ela mostra a linha do gerente plana entre a semana 3 e a semana 13 porque a Órbita revisa o número uma vez por mês, e porque o valor de cada revisão não está gravado em lugar nenhum. O que existe é a memória da reunião. Se você pedir hoje ao CRO qual era o forecast no fim do segundo mês do quarto trimestre, ele vai responder de cabeça, e a resposta vai ser plausível e irrecuperável. O campo do CRM já foi sobrescrito.

Instantâneo e janela de medição

Instantâneo (snapshot) é uma fotografia congelada do pipeline e do forecast num momento definido, gravada numa tabela própria, fora do objeto de oportunidade. Janela de medição é o conjunto de momentos em que essa fotografia é tirada.

Regra operacional: quatro instantâneos por trimestre. Dia seguinte à virada, fim do mês 1, fim do mês 2, sexta anterior ao fechamento. Grave categoria, valor, estágio, data de fechamento e dono em cada um.

Por que importa: acurácia só existe contra um momento. “Acertamos o forecast” dito na última sexta-feira do trimestre é informação de valor zero, porque naquele ponto o trimestre já aconteceu e nenhum gasto pode mais ser revertido. O número que importa é o erro do primeiro instantâneo, porque é o único que ainda dá tempo de mudar alguma coisa.

Quatro fotografias contra uma memória de reuniãoDisciplinaD+1s1fim do mês 1s5fim do mês 2s9sexta anteriors13Órbita hojecommit ao conselhos3duas revisões mensais, nenhuma gravada em tabelaA tabela de instantâneo é a única tarefa técnica deste módulo, custa uma tarde e precisa ser feita antes de qualquer outra coisa.

Arraste o desenho para o lado para ver inteiro

Figura 9.5-b A Órbita tem um ponto de medição. A disciplina pede quatro, e nenhum deles no fim. Em cima, as quatro fotografias que tornam a acurácia calculável, com a semana em que cada uma cai. Embaixo, o que a Órbita registra hoje: um número entregue ao conselho e duas revisões que existem apenas como memória de reunião. A leitura importante é a distância entre a semana 3 e a semana 13: é nela que toda decisão de gasto acontece, e é exatamente nela que a empresa não tem nenhum dado gravado.

Este é o mesmo problema que o Módulo 5 chamou de entidade contra evento, no capítulo 5.6. Categoria de forecast e data de fechamento são campos de entidade: o CRM atualiza e o valor anterior desaparece. Para medir acurácia você precisa de evento, isto é, de uma linha nova com carimbo de hora a cada instantâneo. A Órbita já paga o preço desse defeito em outro lugar do dataset: o registro histórico de datas de fechamento simplesmente não existe, e por isso a empresa sabe que 34% dos negócios mudaram de data ao menos uma vez e não consegue dizer quais, quando nem quantas vezes cada um.

O consolidado que engana sem mentir

Agora a parte que separa RevOps de secretaria de reunião. O viés consolidado da Órbita é −12,5%, e a cobertura consolidada é 3,1× contra 3,5× necessário, o que dá um erro estrutural consolidado de −11,4%. Um consolidado com dois dígitos de viés já é ruim. O problema é que ele é melhor que a realidade de dois dos três segmentos, e é melhor exatamente nos dois que a empresa decidiu crescer.

Erro compensatório e diluição por volume

Erro compensatório é quando vieses de sinal oposto em unidades diferentes se cancelam na soma. Um gerente otimista em mais 11% e outro conservador em menos 9% produzem um consolidado de mais 1%, que qualquer diretoria celebra.

Diluição por volume é o primo mais comum e menos discutido: os vieses têm o mesmo sinal, mas a unidade grande e bem coberta puxa a média para perto de zero e esconde duas unidades pequenas que estão quebradas.

Teste: compare a soma ponderada dos módulos dos vieses contra o módulo do viés consolidado. A razão vale exatamente 1 quando todas as unidades têm o mesmo viés, porque nesse caso numerador e denominador são a mesma média ponderada. Ela sobe por dois caminhos, e só por dois. Dispersão de magnitude afasta o numerador do denominador mesmo com todos os sinais iguais, e é isso que se chama diluição por volume. Inversão de sinal encolhe o denominador enquanto o numerador continua somando, e é isso que se chama compensação. A razão sozinha não distingue os dois: para saber qual produziu o seu número, olhe os sinais. Não há corte universal aqui, e quem publicar um está inventando.

Na Órbita a razão é 2,2 e os sinais são mistos, um positivo e dois negativos, com pesos muito desiguais na venda nova. É o caso misto, parte compensação e parte diluição, e a conclusão operacional não muda com o diagnóstico: nunca publique o consolidado sem a abertura ao lado.

Erro estrutural esperado por segmento: cobertura praticada ÷ cobertura necessáriaCobertura praticada em 2025 contra 1 ÷ win rate do próprio segmento. Todos os insumos vêm do bloco de funil da Órbita.0%SMBcobertura 2,8× contra 2,8×+1,8%33% da venda nova de 2025Mid-marketcobertura 3,4× contra 4,9×−31,2%46% da venda nova de 2025Enterprisecobertura 3,1× contra 6,0×−48,3%20% da venda nova de 2025Consolidadocobertura 3,1× contra 3,5×−11,4%é este o número que vai ao conselhoΣ|viés| ponderado pela venda nova = 24,9% contra |viés consolidado| de 11,4%. Razão 2,2.O SMB, que a empresa quer reduzir, é o único segmento coberto. Ele sustenta sozinho a aparência de saúde do consolidado.

Arraste o desenho para o lado para ver inteiro

Figura 9.5-c O consolidado da Órbita é melhor que dois dos três segmentos, e por acidente aritmético. Barras divergentes com o zero no centro. Cada barra é o erro estrutural esperado do segmento, calculado como cobertura praticada dividida pela cobertura necessária, menos um. A cobertura necessária é o inverso do win rate do próprio segmento, todos publicados no bloco de funil. A barra isolada embaixo é o consolidado. Quanto mais longe do zero para a esquerda, mais o segmento vai entregar menos do que chamar. Atenção ao período, porque ele é diferente do da Figura 9.4-b: aqui a cobertura praticada é a do ano fechado de 2025, que a empresa publica por segmento, e lá era a do pipeline de dez/25 contra a meta do Q1/2026. O enterprise aparece com 3,1× nesta figura e com 3,5× naquela pela mesma razão pela qual duas fotos do mesmo pipeline em meses diferentes não coincidem. O desenho prova que o número que a diretoria olha é o único dos quatro que ninguém pode usar para decidir coisa nenhuma.

A leitura é desconfortável e precisa ser dita com todas as letras. O segmento que a Helena Braga tem orgulho de ter fundado, que é 33% da venda nova e o único com veredito de destruir valor na análise de economia unitária, é também o único que entra no trimestre com pipeline suficiente. Os dois segmentos que sustentam a tese de crescimento entram estruturalmente descobertos: 3,4× de cobertura contra 4,9× no mid-market, e 3,1× contra 6,0× no enterprise. O consolidado de −11,4% é a média de um segmento saudável que a empresa quer encolher com dois segmentos quebrados que a empresa quer expandir.

Acurácia consolidada boa não é prova de que o processo funciona. É prova de que ninguém abriu.

Quem aparece no relatório e quem não aparece

Falta decidir o que se publica. A regra é curta e sofre pressão em toda diretoria: viés se publica com nome, erro absoluto fica com o gerente. Ela parece arbitrária e não é. A justificativa é aritmética e você precisa saber dizê-la em dez segundos quando o CRO pedir o ranking de precisão dos vendedores.

Há uma segunda razão, estatística, para não descer o erro percentual ao nível do vendedor individual, e ela tem fonte. Hyndman e Koehler mostraram em 2006, no International Journal of Forecasting, que o erro percentual absoluto médio é assimétrico e explode quando o realizado se aproxima de zero. No consolidado de um segmento isso nunca acontece. No nível do AE sênior de enterprise da Órbita, que fecha 6 negócios no ano inteiro entre duas pessoas, um trimestre com um único fechamento é rotina e um trimestre com zero é possível. Nesse ponto o indicador vira ruído com aparência de precisão. Meça em reais, não em percentual, quando o denominador for pequeno.

Por que o viés se publica com nome e o erro absoluto fica com o gerenteÓrbita Software. Duas propriedades do indicador, não duas opiniões sobre transparência.1. O mesmo negócio errado, dois percentuais incomparáveisAE sênior enterpriseACV de um negócio típico, por cliente e por ano: R$ 233,3 milquota anual de uma pessoa: R$ 900 mil25,9%de erro percentual por um negócioAE SMB júniorACV de um negócio típico, por cliente e por ano: R$ 18 milquota anual de uma pessoa: R$ 850 mil2,1%de erro percentual por um negócioViés não tem esse defeito: o tamanho do negócio entra no numerador e no denominador e se cancela ao longo dos trimestres.2. Quanto do erro da Órbita é direção e quanto é ruído0%4%8%12%16%|viés| 12,5%erro absoluto 13,8%|viés| abaixo de 3% e erro absoluto acima de 10%: o problema é dado, e a correção é instrumentação.|viés| acima de 8%: o problema é processo ou pessoa, e nenhuma limpeza de CRM resolve.Órbita: razão erro absoluto ÷ |viés| = 1,1. Quase todo o erro tem sinal, e o sinal é o mesmo há seis trimestres.

Arraste o desenho para o lado para ver inteiro

Figura 9.5-d Um negócio errado vale 26% para um vendedor e 2% para outro. O viés não tem esse defeito. Duas provas empilhadas, e as duas decidem o que se publica. Em cima, um único negócio mal classificado medido contra a quota anual de cada função: os quatro valores saem do dataset, o ACV médio dos novos logos de cada segmento e a quota anual da função correspondente. Embaixo, uma régua de 0 a 16% com os dois indicadores da Órbita marcados e a regra de encaminhamento logo abaixo dela. A primeira metade explica por que o ranking por erro percentual mede tamanho de ticket e não julgamento. A segunda explica por que, quando erro absoluto e módulo do viés estão colados, não sobrou ruído para culpar.

Na práticaÓrbita Software · fechamento de 2025

A pergunta do CFO. Cláudia Meirelles autoriza contratação e orçamento de marketing contra o número que o comercial entrega, não contra a meta. Em 2025 o comercial entregou quatro commits somando R$ 7,62 milhões. A empresa vendeu R$ 6,9 milhões de ARR novo, que é exatamente a venda nova consolidada do ano no bloco de cascata, o que confirma que as duas colunas falam da mesma coisa. A diferença é R$ 720 mil.

A conta. Aplique a linha de aritmética aos mesmos quatro commits: R$ 7,62 milhões × 88,6% = R$ 6,75 milhões. Contra o realizado de R$ 6,9 milhões, o erro de planejamento do ano teria sido R$ 151 mil em vez de R$ 720 mil. A diferença entre as duas maneiras de errar é R$ 569 mil.

A leitura. Esses R$ 569 mil não são receita perdida. São autorização de gasto emitida sobre receita que nunca existiu. Para dimensionar contra linhas que a própria Órbita aprova em orçamento: é 58% do orçamento anual de mídia paga, que é R$ 980 mil, e 1,1 vez a linha inteira de eventos e feiras, que é R$ 520 mil. Uma linha de orçamento inteira, decidida em comitê, discutida item a item, e um erro do mesmo tamanho que ninguém discutiu uma vez. O CFO não gastou esse valor porque errou de julgamento. Gastou porque recebeu um número, e o número vinha com a assinatura do comercial.

O veredito. A Órbita não tem um problema de precisão de forecast. Tem um problema de ninguém ter feito a subtração. Seis trimestres, a mesma direção, e nenhuma reunião cuja pauta fosse olhar as duas colunas juntas. O custo de colocar as duas colunas na mesma folha é de uma tarde.

R$ 569 milde erro de planejamento evitável em um único anoDiferença entre errar R$ 720 mil e errar R$ 151 mil nos quatro trimestres de 2025, aplicando uma multiplicação por 88,6%.

O mesmo instrumento serve para o trimestre que ainda não aconteceu, e é assim que você vai usá-lo na segunda-feira. Para o primeiro trimestre de 2026 a Órbita tem meta de R$ 1,56 milhão e pipeline total de R$ 5,18 milhões, ou seja, cobertura de 3,3× contra 3,5× necessária. O CRO vai apresentar R$ 1,48 milhão, que é o commit de R$ 1,18 milhão mais uma fatia do provável escolhida por sensação. Corrigido pela razão de cobertura, esse número vira R$ 1,31 milhão, e o gap contra a meta é de R$ 249 mil. Essa é a frase que precisa ser dita no minuto cinco da primeira forecast call do ano, e ela precisa ser dita antes de qualquer negócio ser mencionado.

Antes de anotar esse número, note que o livro já ofereceu três correções para o mesmo trimestre e elas não são intercambiáveis. Em 9.1 o forecast do CRO corrigido pelo viés observado de −12,5% deu R$ 1,29 milhão. Aqui, corrigido pela razão de cobertura de 2025, dá R$ 1,31 milhão. E existe uma terceira, que é a mais defensável das três e ninguém faz: corrigir pela razão de cobertura do próprio trimestre. A cobertura do Q1/2026 é 3,3× contra 3,5×, ou 96%, o que devolve R$ 1,42 milhão. A diferença entre as três é a pergunta que cada uma responde. A primeira pergunta o que o time historicamente entrega contra o que promete. A segunda, o que a cobertura do ano passado produziria. A terceira, o que o pipeline que existe agora sustenta. Leve a terceira à reunião e as outras duas na planilha: a que usa o trimestre corrente é a única que muda quando alguém cria pipeline, e portanto a única que dá ao time algo a fazer.

Antes de seguir para a inspeção, volte uma vez ao motor de tudo isto. A calculadora abaixo não refaz o erro estrutural histórico de −11,4%, que é o de 2025 e já está fechado. Ela faz a mesma divisão sobre a cobertura corrente, isto é, sobre o pipeline que a Órbita tem agora para o Q1/2026, e por isso devolve outro número. Rode uma vez sem mexer em nada e confira contra a última linha da Figura 9.4-b, a do consolidado, que marca 96% de cobertura entregue contra a necessária. A calculadora tem de devolver a distância para 100% desse mesmo número. Depois troque um campo de cada vez, começando pelo win rate, e observe o que acontece com a cobertura necessária quando ele cai dois pontos.

A cobertura que a meta exige, e o erro que ela já decidiu

Os campos vieram preenchidos com o Q1/2026 da Órbita: meta de R$ 1,56 milhão, pipeline de R$ 5,18 milhões e o win rate medido de 28,9%. Os três campos de dinheiro são digitados em R$ mil, unidade que está escrita à esquerda de cada caixa e por isso não se repete depois do número: a meta aparece como 1.560, que em R$ mil é R$ 1,56 milhão. As saídas já vêm com a unidade escrita por extenso. Rode uma vez sem tocar em nada: a saída principal tem de bater com a última linha da Figura 9.4-b, a do consolidado, que marca 96% de cobertura entregue contra a necessária. A distância dessa linha para 100% é o que a calculadora devolve. Não confunda esse número com o erro estrutural de 11,4% do capítulo 9.5: aquele é o do ano fechado de 2025, sobre a cobertura praticada do ano, e este é o do trimestre que ainda não começou, sobre o pipeline que existe agora. Depois troque um campo de cada vez. Comece pelo win rate: baixe de 28,9% para 20,2%, que é o do mid-market, e veja a cobertura necessária saltar sem que uma linha do pipeline tenha mudado. É esse salto que a média agregada esconde, e é por isso que cobertura comparada entre segmentos de win rate diferente não quer dizer nada.

Erro estrutural do trimestre pela cobertura corrente
−4,0%
Cobertura praticada contra necessária
3,3× contra 3,5×
Forecast implícito pelo pipeline
R$ 1,5 milhão
Distância para a meta
falta R$ 63 mil
Pipeline necessário para a meta
R$ 5,4 milhões
Erro da regra de bolso, em pipeline
manda perseguir de menos R$ 718 mil

A cobertura de 3,3× fica pouco abaixo dos 3,5× que o win rate exige, e o trimestre nasce com 4,0% de erro para baixo. É a faixa que se recupera com execução, e só com execução: R$ 218 mil de pipeline faltando é coisa que um bom mês de geração cobre. Declare esse gap no minuto 5 da forecast call, com dono e data, em vez de esperar que o commit dos gerentes o resolva sozinho. Gap não nomeado no começo do trimestre é gap descoberto na última sexta.

Exercício 9.545 minutos, planilha

Trabalhe sobre os seis trimestres do bloco de forecast da Órbita, reproduzidos na tabela deste capítulo.

  1. Calcule o erro de cada trimestre, o viés e o erro absoluto médio. Declare a convenção de sinal na primeira linha da sua planilha.
  2. Derive uma banda de tolerância a partir do percentil 60 da distribuição de erro absoluto da própria Órbita e calcule o hit rate contra ela. Não use ±5%.
  3. Refaça viés e erro absoluto substituindo o commit pela linha de aritmética. Calcule a razão entre erro absoluto e módulo do viés antes e depois, e diga o que a mudança dessa razão significa para a próxima intervenção.
  4. Identifique qual trimestre domina o resíduo depois da correção e explique por que tentar corrigir também esse trimestre com um modelo seria erro, citando a regra de observações por variável explicativa.
  5. Metacognitivo. Se a multiplicação por 88,6% supera a cadeia inteira de julgamento, a Órbita deveria demitir a cadeia de julgamento? Escreva a resposta em cinco linhas e nomeie explicitamente o que a aritmética não sabe fazer.
Conferir respostas
  1. Erros por trimestre, na convenção realizado contra previsto: Q3/2024 −24,0%; Q4/2024 −14,7%; Q1/2025 −16,1%; Q2/2025 +3,7%; Q3/2025 −13,2%; Q4/2025 −10,8%. Viés −12,5%, erro absoluto médio 13,8%. Cinco dos seis períodos são negativos.
  2. Banda no percentil 60 da distribuição de erro absoluto: os seis módulos ordenados são 3,7%; 10,8%; 13,2%; 14,7%; 16,1%; 24,0%. Declare a convenção de percentil antes de calcular, porque com seis observações convenções diferentes devolvem valores diferentes. Na interpolação linear entre postos, que é a da planilha, o posto do percentil 60 é 1 + 0,6 × (6 − 1) = 4: a banda cai exatamente sobre o quarto valor ordenado, sem interpolar, e vale ±14,7%. Hit rate contra ela nos seis trimestres: 4 dentro e 2 fora, ou seja 67%. Uma banda de ±14,7% é honesta e humilhante, e é exatamente por isso que ela serve: ela declara publicamente o tamanho do problema em vez de importar um ±5% que a empresa nunca cumpriu.
  3. Com a aritmética, viés −1,2% e erro absoluto 7,2%. A razão erro absoluto sobre módulo do viés sai de 1,1 para 5,8. Leitura: o que sobra depois da correção é ruído, não direção. O diagnóstico muda de problema de processo para problema de dado, e a próxima intervenção deixa de ser conversa com gerente e passa a ser instrumentação de instantâneo.
  4. O maior resíduo é o do Q2/2025, o único trimestre em que a Órbita superou o commit, e em que a aritmética erra +17,1%. O segundo é o Q3/2024, com −14,2%, e ele é o trimestre com menos histórico gravado. Isso é esperado e é a limitação honesta do modelo: ele corrige viés médio, não explica trimestre fora da curva. Um modelo que acertasse também o Q2 com seis pontos de dado estaria sobreajustado, e a regra prática de dez observações por variável explicativa já proibiria tentar.
  5. A resposta esperada é que não. Um modelo com um parâmetro fixo publicado não substitui julgamento: ele mostra o tamanho do viés que o julgamento está adicionando. Quem responde que a empresa deveria demitir a cadeia de forecast e usar a multiplicação caiu na armadilha simétrica à do capítulo 9.4, que é confundir contraprova com número submetido. A aritmética é a barra mínima. O papel do julgamento é superá-la, e agora existe um número contra o qual medir se ele supera.

Armadilha: celebrar a acurácia consolidada e nunca abrir por segmento

A cena acontece em toda revisão de fechamento e é sempre de boa-fé. Alguém projeta um slide com a acurácia consolidada, o número parece razoável comparado ao ano anterior, a diretoria comenta que o time amadureceu e a pauta avança. Foi exatamente isso que permitiu à Órbita atravessar seis trimestres com o mesmo sinal de erro sem que ninguém precisasse explicar nada.

O problema não é o slide estar errado. Ele está certo. O problema é que um consolidado é uma média ponderada, e média ponderada é um instrumento de esconder por construção. No caso da Órbita, o segmento com melhor cobertura é também o de maior volume de venda nova e o de pior economia unitária, com LTV sobre CAC por cliente de 1,9×. Ele puxa o consolidado para −11,4% enquanto o enterprise, com LTV sobre CAC de 6,6×, opera com metade do pipeline de que precisa.

A sanção chega na diligência. Um fundo que avalia a Série C não pede a acurácia consolidada: pede a série por segmento, por gerente e por trimestre, porque é assim que ele testa se o plano de crescimento tem lastro. A empresa que só tem o consolidado descobre a abertura pela primeira vez na sala do investidor, com o investidor calculando mais rápido. custo institucional Nunca publique consolidado sem abertura ao lado. A regra de uma linha: todo número de acurácia viaja com a sua própria decomposição, ou não viaja.

Recuperação

Responda antes de abrir. Tentar e errar consolida mais que reler.

  1. 1Por que viés com sinal se publica com nome de gerente em cima e erro absoluto percentual não? Responda com o mecanismo aritmético, não com a norma.
    Porque o erro absoluto percentual no nível individual é dominado pelo tamanho dos negócios. Um único negócio de enterprise mal classificado vale 25,9% da quota anual, e um de SMB vale 2,1%. O ranking premiaria quem carrega ticket menor por cliente. No viés o tamanho entra no numerador e no denominador ao longo dos trimestres e se cancela, então o que sobra é a direção sistemática do julgamento, que é exatamente o que se quer medir.
  2. 2Uma operação fecha o ano com erro absoluto médio de 9% e viés de mais 0,8%. Qual é o diagnóstico e qual é a primeira intervenção? O número 9% não apareceu em nenhum exemplo deste capítulo.
    Módulo do viés abaixo de 3% com erro absoluto acima de 10% seria problema de dado puro; aqui o erro absoluto está em 9%, perto do limite, e o viés é praticamente nulo. A razão entre os dois é 11,3, o que significa que quase todo o erro é ruído sem direção. O diagnóstico é qualidade de dado e de classificação, não julgamento. A primeira intervenção é instrumentação: instantâneos gravados, critério de saída de estágio verificável e regra de envelhecimento. Conversar com gerente sobre otimismo nesse caso seria corrigir um viés que não existe.
  3. 3O Módulo 5 separou entidade de evento e disse que entidade se atualiza e evento se acrescenta. Qual dos dois padrões o campo de categoria de forecast segue hoje na Órbita, e o que isso torna impossível?Módulo 5 · 5.6
    Segue o padrão de entidade: o CRM sobrescreve a categoria e a data de fechamento, e o valor anterior desaparece. Isso torna impossível calcular acurácia, porque acurácia é a comparação entre um estado passado gravado e um realizado. É o mesmo defeito que impede a Órbita de dizer quais negócios mudaram de data, embora ela saiba que 34% mudaram. A correção é a mesma do capítulo 5.6: tabela de instantâneo própria, fora do objeto de oportunidade, com carimbo de hora.
  4. 4Escreva de memória as duas fórmulas de viés e de erro absoluto médio, e a fórmula da linha de aritmética da Órbita com o valor do parâmetro.
    Viés = média de (Realizado menos Previsto) dividido por Previsto, com o sinal preservado. Erro absoluto médio = a mesma média, tomando o módulo de cada termo. Linha de aritmética = Commit multiplicado pela razão entre cobertura praticada e cobertura necessária, que na Órbita é 3,1 dividido por 3,5, ou seja 88,6%.

A Órbita Software é uma empresa fictícia, construída para este curso. Por que um caso fictício.