9.5 Medir o erro antes de tentar reduzi-lo
Nos quatro capítulos anteriores você construiu a máquina: separou os quatro números, separou estágio de categoria, escreveu as portas de evidência do commit e comparou os cinco métodos de chegar a um valor. Agora vem a pergunta que a Órbita nunca fez em seis trimestres seguidos, e que é a única capaz de dizer se alguma coisa daquilo funcionou. Quanto a gente erra, em que direção, e desde quando.
A Órbita tem a resposta guardada e nunca a olhou. O commit vai ao CEO e ao conselho no dia 15 do primeiro mês de cada trimestre. Seis trimestres de commit e de realizado estão registrados. Ninguém jamais colocou as duas colunas lado a lado numa mesma folha, porque não existe reunião cuja pauta seja essa. A Órbita não tem 4 dos sete rituais que uma operação de receita precisa ter, e a revisão trimestral de padrão é um deles. O resultado aparece na primeira coluna que você vai ver neste capítulo, e ele não é aleatório.
Pergunta antes de ler
A Órbita chamou R$ 2,4 milhões para o quarto trimestre de 2025 e fechou R$ 2,14 milhões. Errou por R$ 260 mil, ou seja, 10,8% do número chamado. Isso é bom ou ruim?
Responda com um número, não com um adjetivo. E diga contra o que você comparou para chegar nele.
A resposta que quase todo mundo escreve é alguma variação de “é ruim, porque acurácia boa é erro abaixo de 5%”. É plausível e é inútil. Os 5% vieram de um blog, de uma apresentação de fornecedor ou da última empresa em que a pessoa trabalhou, e nenhuma dessas três fontes conhece a distribuição de erro da Órbita. Pior: a pergunta como está formulada é uma armadilha, porque ela isola um trimestre. Um trimestre não diz nada. Erro de um período é indistinguível de sorte. O que diz alguma coisa é a coluna inteira, e a coluna inteira da Órbita tem a mesma direção em cinco dos seis trimestres. Guarde esse fato antes de qualquer fórmula.
Três números, e só um deles fala de gente
- Erro absoluto percentual, viés com sinal e hit rate
Erro percentual absoluto médio é a média do tamanho do erro, jogando fora o sinal. Ele responde a uma pergunta de confiança: de quanto a diretoria precisa duvidar do que a gente diz.
Viés com sinal é a média dos erros preservando o sinal. Ele responde a uma pergunta de caráter do processo: a gente erra para cima ou para baixo, sempre. Positivo é subestimar; negativo, na convenção deste livro, é chamar mais do que se entrega.
Hit rate é o percentual de períodos em que o número caiu dentro de uma banda declarada antes do período começar. Ele converte acurácia em compromisso binário, que é exatamente como o CFO pensa: posso ou não posso gastar em cima disso.
Por que importa: os três medem coisas diferentes e só um deles se publica com nome de pessoa em cima. O erro absoluto no nível do vendedor é dominado pelo tamanho dos negócios que ele carrega, não pelo julgamento dele. O viés não tem esse defeito, porque o tamanho do negócio afeta as duas pontas da conta e se cancela.
Errot = (Realizadot − Previstot) ÷ Previstot · Viés = média(Errot) · MAPE = média(|Errot|)
Convenção deste módulo, e é a mesma do dataset da Órbita: erro é o realizado contra o previsto, dividido pelo previsto. Sinal negativo quer dizer que a empresa chamou mais do que entregou. Se a sua ferramenta usa a convenção contrária, o sinal inverte e o diagnóstico inverte junto. Escreva a convenção na primeira linha de qualquer relatório de acurácia, porque metade das discussões sobre viés é discussão sobre denominador.
Com a convenção escrita, a coluna da Órbita deixa de ser um monte de números e vira um diagnóstico. Viés de −12,5% e erro absoluto médio de 13,8% em seis trimestres. A razão entre os dois é 1,1, e é essa razão que carrega a informação. Quando o erro absoluto é quase igual ao módulo do viés, quase todo o erro tem direção. Não sobrou ruído para explicar. Isso elimina de saída a frase que a Órbita vem repetindo em toda reunião de fechamento, que é “o trimestre foi atípico”. Seis trimestres atípicos na mesma direção são um processo, não uma sequência de acasos.
| Trimestre | Commit chamado | Realizado | Erro do gerente | Linha de aritmética | Erro da aritmética | O que o período revela |
|---|---|---|---|---|---|---|
| Q3/2024 | R$ 1,5 milhão | R$ 1,14 milhão | −24,0% | R$ 1,33 milhão | −14,2% | Otimismo grande, e ninguém revisou o número dentro do trimestre. |
| Q4/2024 | R$ 1,7 milhão | R$ 1,45 milhão | −14,7% | R$ 1,51 milhão | −3,7% | Otimismo grande, e ninguém revisou o número dentro do trimestre. |
| Q1/2025 | R$ 1,55 milhão | R$ 1,3 milhão | −16,1% | R$ 1,37 milhão | −5,3% | Otimismo grande, e ninguém revisou o número dentro do trimestre. |
| Q2/2025 | R$ 1,62 milhão | R$ 1,68 milhão | +3,7% | R$ 1,43 milhão | +17,1% | O único período superado. A aritmética erra aqui, e erra na direção segura. |
| Q3/2025 | R$ 2,05 milhões | R$ 1,78 milhão | −13,2% | R$ 1,82 milhão | −2,0% | Otimismo moderado, do mesmo tamanho do buraco de cobertura. |
| Q4/2025 | R$ 2,4 milhões | R$ 2,14 milhões | −10,8% | R$ 2,13 milhões | +0,7% | Otimismo moderado, do mesmo tamanho do buraco de cobertura. |
| Seis trimestres | R$ 10,8 milhões | R$ 9,49 milhões | −12,5% de viés | R$ 9,58 milhões | −1,2% de viés | O viés cai de −12,5% para −1,2% sem ninguém falar com vendedor nenhum. |
Bloco de forecast da Órbita, seis trimestres. A quarta coluna aplica uma única linha de aritmética ao número chamado, explicada logo abaixo. A última coluna é o que importa: em cinco dos seis períodos o commit ficou acima do realizado, e o único período em que a empresa superou o número é também onde a linha de aritmética comete o seu maior erro. Ela também erra dois dígitos no Q3/2024, que é o trimestre com menos histórico gravado. Um modelo de um parâmetro corrige direção média, não explica trimestre fora da curva, e isso é limitação declarada, não defeito escondido.
A linha de aritmética que humilha a cadeia inteira
A quarta coluna da tabela precisa de explicação, porque ela é o argumento central deste capítulo e ela cabe numa multiplicação. A Órbita opera com 3,1× de cobertura de pipeline e precisa de 3,5×, porque a cobertura necessária é o inverso do win rate e o win rate consolidado da Órbita é 28,9%. Quem entra no trimestre com 88,6% do pipeline que precisaria ter, e converte esse pipeline na taxa histórica, entrega 88,6% do que chamou. O erro estrutural esperado é −11,4%. O erro observado em seis trimestres é −12,5%. A distância entre os dois é de menos de um ponto e meio percentual.
Previstoaritmética = Commit × (cobertura praticada ÷ cobertura necessária) = Commit × (3,1 ÷ 3,5) = Commit × 88,6%
O modelo inteiro tem um parâmetro, e o parâmetro já estava publicado no bloco de funil da empresa desde o Módulo 1. Ele não olha negócio nenhum, não conversa com vendedor nenhum e não sabe o que é uma categoria de forecast. Ele só corrige o número chamado pela razão entre o pipeline que existe e o pipeline que a taxa de conversão exige.
Aplicada aos seis trimestres, essa multiplicação reduz o viés de −12,5% para −1,2% e o erro absoluto médio de 13,8% para 7,2%. Leia de novo: uma multiplicação por um número fixo, feita no primeiro dia do trimestre, sem informação nenhuma sobre os negócios, corta o erro do processo pela metade e praticamente elimina a direção do erro. Isso não é elogio à aritmética. É acusação. Significa que a cadeia inteira de julgamento humano da Órbita, do AE ao gerente ao CRO que desconta 15% de gordura por sensação, está adicionando erro sobre um número que uma multiplicação já resolvia.
Arraste o desenho para o lado para ver inteiro
Sem instantâneo não existe acurácia, existe anedota
Repare no que a figura anterior escondeu para poder ser desenhada. Ela mostra a linha do gerente plana entre a semana 3 e a semana 13 porque a Órbita revisa o número uma vez por mês, e porque o valor de cada revisão não está gravado em lugar nenhum. O que existe é a memória da reunião. Se você pedir hoje ao CRO qual era o forecast no fim do segundo mês do quarto trimestre, ele vai responder de cabeça, e a resposta vai ser plausível e irrecuperável. O campo do CRM já foi sobrescrito.
- Instantâneo e janela de medição
Instantâneo (snapshot) é uma fotografia congelada do pipeline e do forecast num momento definido, gravada numa tabela própria, fora do objeto de oportunidade. Janela de medição é o conjunto de momentos em que essa fotografia é tirada.
Regra operacional: quatro instantâneos por trimestre. Dia seguinte à virada, fim do mês 1, fim do mês 2, sexta anterior ao fechamento. Grave categoria, valor, estágio, data de fechamento e dono em cada um.
Por que importa: acurácia só existe contra um momento. “Acertamos o forecast” dito na última sexta-feira do trimestre é informação de valor zero, porque naquele ponto o trimestre já aconteceu e nenhum gasto pode mais ser revertido. O número que importa é o erro do primeiro instantâneo, porque é o único que ainda dá tempo de mudar alguma coisa.
Arraste o desenho para o lado para ver inteiro
Este é o mesmo problema que o Módulo 5 chamou de entidade contra evento, no capítulo 5.6. Categoria de forecast e data de fechamento são campos de entidade: o CRM atualiza e o valor anterior desaparece. Para medir acurácia você precisa de evento, isto é, de uma linha nova com carimbo de hora a cada instantâneo. A Órbita já paga o preço desse defeito em outro lugar do dataset: o registro histórico de datas de fechamento simplesmente não existe, e por isso a empresa sabe que 34% dos negócios mudaram de data ao menos uma vez e não consegue dizer quais, quando nem quantas vezes cada um.
O consolidado que engana sem mentir
Agora a parte que separa RevOps de secretaria de reunião. O viés consolidado da Órbita é −12,5%, e a cobertura consolidada é 3,1× contra 3,5× necessário, o que dá um erro estrutural consolidado de −11,4%. Um consolidado com dois dígitos de viés já é ruim. O problema é que ele é melhor que a realidade de dois dos três segmentos, e é melhor exatamente nos dois que a empresa decidiu crescer.
- Erro compensatório e diluição por volume
Erro compensatório é quando vieses de sinal oposto em unidades diferentes se cancelam na soma. Um gerente otimista em mais 11% e outro conservador em menos 9% produzem um consolidado de mais 1%, que qualquer diretoria celebra.
Diluição por volume é o primo mais comum e menos discutido: os vieses têm o mesmo sinal, mas a unidade grande e bem coberta puxa a média para perto de zero e esconde duas unidades pequenas que estão quebradas.
Teste: compare a soma ponderada dos módulos dos vieses contra o módulo do viés consolidado. A razão vale exatamente 1 quando todas as unidades têm o mesmo viés, porque nesse caso numerador e denominador são a mesma média ponderada. Ela sobe por dois caminhos, e só por dois. Dispersão de magnitude afasta o numerador do denominador mesmo com todos os sinais iguais, e é isso que se chama diluição por volume. Inversão de sinal encolhe o denominador enquanto o numerador continua somando, e é isso que se chama compensação. A razão sozinha não distingue os dois: para saber qual produziu o seu número, olhe os sinais. Não há corte universal aqui, e quem publicar um está inventando.
Na Órbita a razão é 2,2 e os sinais são mistos, um positivo e dois negativos, com pesos muito desiguais na venda nova. É o caso misto, parte compensação e parte diluição, e a conclusão operacional não muda com o diagnóstico: nunca publique o consolidado sem a abertura ao lado.
Arraste o desenho para o lado para ver inteiro
A leitura é desconfortável e precisa ser dita com todas as letras. O segmento que a Helena Braga tem orgulho de ter fundado, que é 33% da venda nova e o único com veredito de destruir valor na análise de economia unitária, é também o único que entra no trimestre com pipeline suficiente. Os dois segmentos que sustentam a tese de crescimento entram estruturalmente descobertos: 3,4× de cobertura contra 4,9× no mid-market, e 3,1× contra 6,0× no enterprise. O consolidado de −11,4% é a média de um segmento saudável que a empresa quer encolher com dois segmentos quebrados que a empresa quer expandir.
Acurácia consolidada boa não é prova de que o processo funciona. É prova de que ninguém abriu.
Quem aparece no relatório e quem não aparece
Falta decidir o que se publica. A regra é curta e sofre pressão em toda diretoria: viés se publica com nome, erro absoluto fica com o gerente. Ela parece arbitrária e não é. A justificativa é aritmética e você precisa saber dizê-la em dez segundos quando o CRO pedir o ranking de precisão dos vendedores.
Há uma segunda razão, estatística, para não descer o erro percentual ao nível do vendedor individual, e ela tem fonte. Hyndman e Koehler mostraram em 2006, no International Journal of Forecasting, que o erro percentual absoluto médio é assimétrico e explode quando o realizado se aproxima de zero. No consolidado de um segmento isso nunca acontece. No nível do AE sênior de enterprise da Órbita, que fecha 6 negócios no ano inteiro entre duas pessoas, um trimestre com um único fechamento é rotina e um trimestre com zero é possível. Nesse ponto o indicador vira ruído com aparência de precisão. Meça em reais, não em percentual, quando o denominador for pequeno.
Arraste o desenho para o lado para ver inteiro
Na práticaÓrbita Software · fechamento de 2025
A pergunta do CFO. Cláudia Meirelles autoriza contratação e orçamento de marketing contra o número que o comercial entrega, não contra a meta. Em 2025 o comercial entregou quatro commits somando R$ 7,62 milhões. A empresa vendeu R$ 6,9 milhões de ARR novo, que é exatamente a venda nova consolidada do ano no bloco de cascata, o que confirma que as duas colunas falam da mesma coisa. A diferença é R$ 720 mil.
A conta. Aplique a linha de aritmética aos mesmos quatro commits: R$ 7,62 milhões × 88,6% = R$ 6,75 milhões. Contra o realizado de R$ 6,9 milhões, o erro de planejamento do ano teria sido R$ 151 mil em vez de R$ 720 mil. A diferença entre as duas maneiras de errar é R$ 569 mil.
A leitura. Esses R$ 569 mil não são receita perdida. São autorização de gasto emitida sobre receita que nunca existiu. Para dimensionar contra linhas que a própria Órbita aprova em orçamento: é 58% do orçamento anual de mídia paga, que é R$ 980 mil, e 1,1 vez a linha inteira de eventos e feiras, que é R$ 520 mil. Uma linha de orçamento inteira, decidida em comitê, discutida item a item, e um erro do mesmo tamanho que ninguém discutiu uma vez. O CFO não gastou esse valor porque errou de julgamento. Gastou porque recebeu um número, e o número vinha com a assinatura do comercial.
O veredito. A Órbita não tem um problema de precisão de forecast. Tem um problema de ninguém ter feito a subtração. Seis trimestres, a mesma direção, e nenhuma reunião cuja pauta fosse olhar as duas colunas juntas. O custo de colocar as duas colunas na mesma folha é de uma tarde.
O mesmo instrumento serve para o trimestre que ainda não aconteceu, e é assim que você vai usá-lo na segunda-feira. Para o primeiro trimestre de 2026 a Órbita tem meta de R$ 1,56 milhão e pipeline total de R$ 5,18 milhões, ou seja, cobertura de 3,3× contra 3,5× necessária. O CRO vai apresentar R$ 1,48 milhão, que é o commit de R$ 1,18 milhão mais uma fatia do provável escolhida por sensação. Corrigido pela razão de cobertura, esse número vira R$ 1,31 milhão, e o gap contra a meta é de R$ 249 mil. Essa é a frase que precisa ser dita no minuto cinco da primeira forecast call do ano, e ela precisa ser dita antes de qualquer negócio ser mencionado.
Antes de anotar esse número, note que o livro já ofereceu três correções para o mesmo trimestre e elas não são intercambiáveis. Em 9.1 o forecast do CRO corrigido pelo viés observado de −12,5% deu R$ 1,29 milhão. Aqui, corrigido pela razão de cobertura de 2025, dá R$ 1,31 milhão. E existe uma terceira, que é a mais defensável das três e ninguém faz: corrigir pela razão de cobertura do próprio trimestre. A cobertura do Q1/2026 é 3,3× contra 3,5×, ou 96%, o que devolve R$ 1,42 milhão. A diferença entre as três é a pergunta que cada uma responde. A primeira pergunta o que o time historicamente entrega contra o que promete. A segunda, o que a cobertura do ano passado produziria. A terceira, o que o pipeline que existe agora sustenta. Leve a terceira à reunião e as outras duas na planilha: a que usa o trimestre corrente é a única que muda quando alguém cria pipeline, e portanto a única que dá ao time algo a fazer.
Quer ver esses números na sua operação?
Uma hora de diagnóstico com o time da Arvennue, aplicando o que você acabou de estudar ao seu próprio funil. Sem compromisso.
Antes de seguir para a inspeção, volte uma vez ao motor de tudo isto. A calculadora abaixo não refaz o erro estrutural histórico de −11,4%, que é o de 2025 e já está fechado. Ela faz a mesma divisão sobre a cobertura corrente, isto é, sobre o pipeline que a Órbita tem agora para o Q1/2026, e por isso devolve outro número. Rode uma vez sem mexer em nada e confira contra a última linha da Figura 9.4-b, a do consolidado, que marca 96% de cobertura entregue contra a necessária. A calculadora tem de devolver a distância para 100% desse mesmo número. Depois troque um campo de cada vez, começando pelo win rate, e observe o que acontece com a cobertura necessária quando ele cai dois pontos.
A cobertura que a meta exige, e o erro que ela já decidiu
Os campos vieram preenchidos com o Q1/2026 da Órbita: meta de R$ 1,56 milhão, pipeline de R$ 5,18 milhões e o win rate medido de 28,9%. Os três campos de dinheiro são digitados em R$ mil, unidade que está escrita à esquerda de cada caixa e por isso não se repete depois do número: a meta aparece como 1.560, que em R$ mil é R$ 1,56 milhão. As saídas já vêm com a unidade escrita por extenso. Rode uma vez sem tocar em nada: a saída principal tem de bater com a última linha da Figura 9.4-b, a do consolidado, que marca 96% de cobertura entregue contra a necessária. A distância dessa linha para 100% é o que a calculadora devolve. Não confunda esse número com o erro estrutural de −11,4% do capítulo 9.5: aquele é o do ano fechado de 2025, sobre a cobertura praticada do ano, e este é o do trimestre que ainda não começou, sobre o pipeline que existe agora. Depois troque um campo de cada vez. Comece pelo win rate: baixe de 28,9% para 20,2%, que é o do mid-market, e veja a cobertura necessária saltar sem que uma linha do pipeline tenha mudado. É esse salto que a média agregada esconde, e é por isso que cobertura comparada entre segmentos de win rate diferente não quer dizer nada.
- Erro estrutural do trimestre pela cobertura corrente
- −4,0%
- Cobertura praticada contra necessária
- 3,3× contra 3,5×
- Forecast implícito pelo pipeline
- R$ 1,5 milhão
- Distância para a meta
- falta R$ 63 mil
- Pipeline necessário para a meta
- R$ 5,4 milhões
- Erro da regra de bolso, em pipeline
- manda perseguir de menos R$ 718 mil
A cobertura de 3,3× fica pouco abaixo dos 3,5× que o win rate exige, e o trimestre nasce com 4,0% de erro para baixo. É a faixa que se recupera com execução, e só com execução: R$ 218 mil de pipeline faltando é coisa que um bom mês de geração cobre. Declare esse gap no minuto 5 da forecast call, com dono e data, em vez de esperar que o commit dos gerentes o resolva sozinho. Gap não nomeado no começo do trimestre é gap descoberto na última sexta.
Exercício 9.545 minutos, planilha
Trabalhe sobre os seis trimestres do bloco de forecast da Órbita, reproduzidos na tabela deste capítulo.
- Calcule o erro de cada trimestre, o viés e o erro absoluto médio. Declare a convenção de sinal na primeira linha da sua planilha.
- Derive uma banda de tolerância a partir do percentil 60 da distribuição de erro absoluto da própria Órbita e calcule o hit rate contra ela. Não use ±5%.
- Refaça viés e erro absoluto substituindo o commit pela linha de aritmética. Calcule a razão entre erro absoluto e módulo do viés antes e depois, e diga o que a mudança dessa razão significa para a próxima intervenção.
- Identifique qual trimestre domina o resíduo depois da correção e explique por que tentar corrigir também esse trimestre com um modelo seria erro, citando a regra de observações por variável explicativa.
- Metacognitivo. Se a multiplicação por 88,6% supera a cadeia inteira de julgamento, a Órbita deveria demitir a cadeia de julgamento? Escreva a resposta em cinco linhas e nomeie explicitamente o que a aritmética não sabe fazer.
Conferir respostasEsconder respostas
- Erros por trimestre, na convenção realizado contra previsto: Q3/2024 −24,0%; Q4/2024 −14,7%; Q1/2025 −16,1%; Q2/2025 +3,7%; Q3/2025 −13,2%; Q4/2025 −10,8%. Viés −12,5%, erro absoluto médio 13,8%. Cinco dos seis períodos são negativos.
- Banda no percentil 60 da distribuição de erro absoluto: os seis módulos ordenados são 3,7%; 10,8%; 13,2%; 14,7%; 16,1%; 24,0%. Declare a convenção de percentil antes de calcular, porque com seis observações convenções diferentes devolvem valores diferentes. Na interpolação linear entre postos, que é a da planilha, o posto do percentil 60 é 1 + 0,6 × (6 − 1) = 4: a banda cai exatamente sobre o quarto valor ordenado, sem interpolar, e vale ±14,7%. Hit rate contra ela nos seis trimestres: 4 dentro e 2 fora, ou seja 67%. Uma banda de ±14,7% é honesta e humilhante, e é exatamente por isso que ela serve: ela declara publicamente o tamanho do problema em vez de importar um ±5% que a empresa nunca cumpriu.
- Com a aritmética, viés −1,2% e erro absoluto 7,2%. A razão erro absoluto sobre módulo do viés sai de 1,1 para 5,8. Leitura: o que sobra depois da correção é ruído, não direção. O diagnóstico muda de problema de processo para problema de dado, e a próxima intervenção deixa de ser conversa com gerente e passa a ser instrumentação de instantâneo.
- O maior resíduo é o do Q2/2025, o único trimestre em que a Órbita superou o commit, e em que a aritmética erra +17,1%. O segundo é o Q3/2024, com −14,2%, e ele é o trimestre com menos histórico gravado. Isso é esperado e é a limitação honesta do modelo: ele corrige viés médio, não explica trimestre fora da curva. Um modelo que acertasse também o Q2 com seis pontos de dado estaria sobreajustado, e a regra prática de dez observações por variável explicativa já proibiria tentar.
- A resposta esperada é que não. Um modelo com um parâmetro fixo publicado não substitui julgamento: ele mostra o tamanho do viés que o julgamento está adicionando. Quem responde que a empresa deveria demitir a cadeia de forecast e usar a multiplicação caiu na armadilha simétrica à do capítulo 9.4, que é confundir contraprova com número submetido. A aritmética é a barra mínima. O papel do julgamento é superá-la, e agora existe um número contra o qual medir se ele supera.
Armadilha: celebrar a acurácia consolidada e nunca abrir por segmento
A cena acontece em toda revisão de fechamento e é sempre de boa-fé. Alguém projeta um slide com a acurácia consolidada, o número parece razoável comparado ao ano anterior, a diretoria comenta que o time amadureceu e a pauta avança. Foi exatamente isso que permitiu à Órbita atravessar seis trimestres com o mesmo sinal de erro sem que ninguém precisasse explicar nada.
O problema não é o slide estar errado. Ele está certo. O problema é que um consolidado é uma média ponderada, e média ponderada é um instrumento de esconder por construção. No caso da Órbita, o segmento com melhor cobertura é também o de maior volume de venda nova e o de pior economia unitária, com LTV sobre CAC por cliente de 1,9×. Ele puxa o consolidado para −11,4% enquanto o enterprise, com LTV sobre CAC de 6,6×, opera com metade do pipeline de que precisa.
A sanção chega na diligência. Um fundo que avalia a Série C não pede a acurácia consolidada: pede a série por segmento, por gerente e por trimestre, porque é assim que ele testa se o plano de crescimento tem lastro. A empresa que só tem o consolidado descobre a abertura pela primeira vez na sala do investidor, com o investidor calculando mais rápido. custo institucional Nunca publique consolidado sem abertura ao lado. A regra de uma linha: todo número de acurácia viaja com a sua própria decomposição, ou não viaja.
Recuperação
Responda antes de abrir. Tentar e errar consolida mais que reler.
1Por que viés com sinal se publica com nome de gerente em cima e erro absoluto percentual não? Responda com o mecanismo aritmético, não com a norma.
Porque o erro absoluto percentual no nível individual é dominado pelo tamanho dos negócios. Um único negócio de enterprise mal classificado vale 25,9% da quota anual, e um de SMB vale 2,1%. O ranking premiaria quem carrega ticket menor por cliente. No viés o tamanho entra no numerador e no denominador ao longo dos trimestres e se cancela, então o que sobra é a direção sistemática do julgamento, que é exatamente o que se quer medir.2Uma operação fecha o ano com erro absoluto médio de 9% e viés de mais 0,8%. Qual é o diagnóstico e qual é a primeira intervenção? O número 9% não apareceu em nenhum exemplo deste capítulo.
Módulo do viés abaixo de 3% com erro absoluto acima de 10% seria problema de dado puro; aqui o erro absoluto está em 9%, perto do limite, e o viés é praticamente nulo. A razão entre os dois é 11,3, o que significa que quase todo o erro é ruído sem direção. O diagnóstico é qualidade de dado e de classificação, não julgamento. A primeira intervenção é instrumentação: instantâneos gravados, critério de saída de estágio verificável e regra de envelhecimento. Conversar com gerente sobre otimismo nesse caso seria corrigir um viés que não existe.3O Módulo 5 separou entidade de evento e disse que entidade se atualiza e evento se acrescenta. Qual dos dois padrões o campo de categoria de forecast segue hoje na Órbita, e o que isso torna impossível?Módulo 5 · 5.6
Segue o padrão de entidade: o CRM sobrescreve a categoria e a data de fechamento, e o valor anterior desaparece. Isso torna impossível calcular acurácia, porque acurácia é a comparação entre um estado passado gravado e um realizado. É o mesmo defeito que impede a Órbita de dizer quais negócios mudaram de data, embora ela saiba que 34% mudaram. A correção é a mesma do capítulo 5.6: tabela de instantâneo própria, fora do objeto de oportunidade, com carimbo de hora.4Escreva de memória as duas fórmulas de viés e de erro absoluto médio, e a fórmula da linha de aritmética da Órbita com o valor do parâmetro.
Viés = média de (Realizado menos Previsto) dividido por Previsto, com o sinal preservado. Erro absoluto médio = a mesma média, tomando o módulo de cada termo. Linha de aritmética = Commit multiplicado pela razão entre cobertura praticada e cobertura necessária, que na Órbita é 3,1 dividido por 3,5, ou seja 88,6%.