10.3 O health score que quase ninguém valida
A Órbita não tem health score. O dataset registra isso em uma linha, e a ausência é honesta: ninguém montou um modelo ruim, ninguém montou modelo nenhum. Isso é, na verdade, uma vantagem. A maioria das empresas que chega a este capítulo já tem um score, já o defende em reunião e já tem apego ao artefato. Construir do zero, com a triagem do capítulo anterior na mão, é mais fácil do que consertar.
Mas a Órbita tem uma coisa melhor que um score: tem um desfecho observado. Ela sabe, para os 185 clientes que entraram em 2025, quantos continuavam lá doze meses depois, separados por um único critério operacional. Esse critério estava disponível desde 2023 e nunca foi cruzado com retenção, por um motivo que o dataset registra sem cerimônia: a tabela de ativação está no Mixpanel e a de retenção está na planilha da Priscila.
Pergunta antes de ler
A Órbita define cliente ativado como o cliente emitiu 50 documentos de transporte no sistema em um mês. Entre os 185 clientes que entraram em 2025, 41 chegaram lá em até trinta dias e 33 nunca chegaram.
Aposte dois números antes de continuar: que percentual do primeiro grupo continuava cliente doze meses depois, e que percentual do último? Escreva os dois. A distância entre eles é o assunto do capítulo.
As respostas são 94% e 29%. Quase todo leitor acerta a direção e erra a magnitude, chutando algo como oitenta contra sessenta. A distância real é de 65 pontos percentuais, e ela existe dentro de uma tabela que a empresa produz todo mês. Um sinal com esse poder de separação, disponível de graça, não usado, é o achado mais comum de uma consultoria de RevOps e o mais constrangedor de apresentar.
- Health score
Índice composto, atribuído a cada conta, que estima a probabilidade de a conta renovar. Não é diagnóstico de satisfação, não é placar de relacionamento e não é nota de mérito do gerente da conta. É um estimador de um evento futuro.
Para que serve: alocar um recurso escasso, que é a atenção da equipe de pós-venda. Se o score não ordena as contas melhor que um sorteio, a equipe está trabalhando aleatoriamente e acredita que não está. Essa é a única consequência prática de um score, e é por ela que ele deve ser julgado.
Forma: nota igual à soma dos sinais normalizados multiplicados pelos seus pesos, com os pesos somando cem. A forma é quase irrelevante. O que decide se um score presta não é a fórmula, é o material de que ele foi feito e a validação contra o que aconteceu.
- Taxa-base, lift e curva de captura
Taxa-base é a frequência do evento na população inteira. É a referência contra a qual qualquer grupo de risco tem que ser comparado, e não contra zero.
Lift de um grupo é a taxa de churn observada nesse grupo dividida pela taxa-base. Lift 1,0 significa que o grupo é indistinguível da média, por mais vermelho que seja o rótulo dele no painel.
Curva de captura mostra, para cada percentual da base ordenada por risco, que percentual dos cancelamentos você teria encontrado ali dentro. A diagonal é o acaso. O valor do score é a distância entre a curva e a diagonal, lida no ponto exato em que a capacidade da sua equipe corta o eixo horizontal, e em nenhum outro ponto.
Arraste o desenho para o lado para ver inteiro
Como se constrói, em quatro decisões
Um score é quatro decisões, nessa ordem, e nenhuma delas é a fórmula. A primeira é quais sinais entram, e o capítulo anterior já resolveu isso: entram os antecedentes, e os coincidentes entram com teto de peso ou não entram. A segunda é normalização, que é transformar grandezas incomparáveis numa mesma escala de zero a cem. A terceira é peso. A quarta, que quase todo mundo pula, é segmentar: os sinais que predizem churn numa conta que paga R$ 17 mil por ano e numa que paga R$ 200 mil por ano não são os mesmos, e um score único otimiza para o segmento mais numeroso, que na Órbita é justamente o que menos importa em reais.
Sobre pesos, uma advertência que economiza semanas de reunião: eles importam menos do que parece. A discussão de peso é a parte mais divertida de montar um score e a menos consequente, porque a ordenação final é dominada pelos dois ou três sinais mais fortes. Uma regra de partida que funciona é atribuir peso proporcional ao poder preditivo medido, o que na Órbita produz a distribuição abaixo, e depois ajustar apenas se a validação pedir.
Arraste o desenho para o lado para ver inteiro
Normalizar é mais delicado do que parece e é onde moram os erros silenciosos. Queda de quarenta por cento em usuários ativos significa coisas diferentes numa conta com quatro usuários e numa com quarenta. Em conta pequena, uma pessoa de férias produz quarenta por cento. A correção é normalizar contra a linha de base da própria conta e exigir um mínimo absoluto antes de o sinal disparar. Sem isso, o score acende vermelho em janeiro inteiro, todo ano, e a equipe aprende a ignorá-lo em fevereiro.
Na práticaÓrbita Software · validação do score contra o desfecho de 2025
Passo 1, a taxa-base. Dos 185 clientes que entraram em 2025, o número esperado de cancelamentos em doze meses é a soma dos quatro grupos: 41 × 6% mais 93 × 19% mais 18 × 44% mais 33 × 71% = 51,5. Taxa-base = 51,5 ÷ 185 = 27,8%. Note que o dataset publica 77% de retenção total para essa coorte e a ponderação dos quatro grupos dá 72,2%. A divergência está registrada e não foi corrigida. Em análise real isso acontece o tempo todo, e a conduta correta é declarar qual número você usou, não escolher em silêncio.
Passo 2, o lift de cada grupo. Divida a taxa de churn do grupo pela taxa-base. Nunca ativado: 71 ÷ 27,8 = 2,6. Ativado após noventa dias: 44 ÷ 27,8 = 1,6. Ativado entre trinta e um e noventa: 0,7. Ativado em até trinta dias: 0,2. Só o primeiro grupo passa de 2,5, que é o limiar deste curso para chamar um grupo de grupo de risco. Esse limiar não tem publicação primária e não deve ser citado como se tivesse: é convenção declarada, escolhida porque abaixo dela a diferença entre o grupo e a média não sobrevive ao ruído de uma coorte de duas centenas de contas. Use o que quiser no lugar dele. O que não se pode fazer é escolher o limiar depois de olhar o resultado.
Passo 3, a captura no corte de capacidade. A Órbita tem 5 pessoas de linha de frente em pós-venda. Supondo 8 planos de recuperação simultâneos por pessoa, que é premissa declarada e não dado da empresa, a capacidade é 40 contas, ou 21,6% da coorte. Dentro dessas 40 contas ordenadas por risco estão 26,5 cancelamentos. Sorteando, estariam 40 × 27,8% = 11,1. Múltiplo de alcance: 2,4 vezes.
Passo 4, converter alcance em reais. Alcance não é salvamento. A equipe encontra 15,4 contas em risco a mais por ano, e precisa reverter alguma fração delas. Com a premissa declarada de um plano bem sucedido em cada três, são 5,1 contas. Ao ACV médio dos novos logos de 2025, que é R$ 37,3 mil por cliente por ano, isso é R$ 191 mil de ARR preservado, ou 1,0 p.p. de NRR. Com uma premissa de um em cinco, cai para 0,6 p.p.; com um em dois, sobe para 1,6 p.p.. Declare a faixa. Um plano de retenção que apresenta um número único de eficácia de recuperação está escondendo a premissa mais frágil do modelo.
A leitura. Nada disso exigiu ferramenta. O que exigiu foi cruzar duas tabelas que a empresa já tem, uma no Mixpanel e outra na planilha de Priscila Amaral. O obstáculo não foi analítico. Foi de acesso.
Arraste o desenho para o lado para ver inteiro
| Grupo, ordenado por risco | Contas | Churn do grupo | Lift | Captura acumulada | Ação que o grupo pede |
|---|---|---|---|---|---|
| Nunca ativado | 33 | 71% | 2,6 grupo de risco | 45,5% | Plano de recuperação com dono nomeado. É aqui que cabem as 40 contas da capacidade da equipe. |
| Ativado após 90 dias | 18 | 44% | 1,6 acima da média | 60,9% | Entra na fila quando sobra capacidade. Metade deles é problema de implantação, não de relacionamento. |
| Ativado entre 31 e 90 dias | 93 | 19% | 0,7 abaixo da média | 95,2% | Não recebe plano individual. Recebe mudança de produto e de onboarding, porque é grande demais para atendimento humano. |
| Ativado em até 30 dias | 41 | 6% | 0,2 abaixo da média | 100,0% | Não toque. Esse grupo é o padrão de sucesso, e a pergunta certa é o que fazer para que mais contas cheguem aqui. |
A validação inteira em cinco linhas. A coluna de lift é a que separa grupo de risco de rótulo de risco, contra o limiar de 2,5 que este curso declara como convenção e não como benchmark publicado: abaixo dele o grupo custa mais para manter no painel do que informa. A última coluna diz o que fazer com cada grupo, e note que o grupo mais numeroso, que é o do meio, não recebe plano de recuperação: recebe produto.
Há um detalhe metodológico que separa uma validação honesta de uma que engana quem a fez. O score precisa ser testado em contas cujo desfecho ele não viu. Se você definiu os pesos olhando para as mesmas contas que usou para medir o lift, o resultado é circular e sempre parece excelente. O jeito mais simples de fazer isso sem instrumental estatístico é a separação temporal: defina os pesos com as contas cujo desfecho ocorreu no primeiro semestre e meça o lift no segundo. Se o lift cai pela metade, você não tinha um score, tinha uma descrição.
Exercício 10.390 minutos, planilha com a sua base e os desfechos dos últimos 12 meses
- Refaça a validação da Órbita do zero: taxa-base, lift de cada grupo, captura acumulada e captura no corte de 40 contas. Mostre as contas.
- Suponha que a Órbita dobre a equipe de pós-venda e a capacidade passe a 80 contas. Quantos cancelamentos entram na fatia? Compare o ganho marginal das segundas 40 contas com o das primeiras e diga o que o formato da curva recomenda.
- A Órbita deveria ter um score só ou dois? Justifique empiricamente, não esteticamente, e diga que evidência você produziria para decidir.
- Adversarial. Um colega apresenta um score com lift de 1,4 no decil de pior nota e defende que é melhor que nada. Ele está certo? Escreva a resposta e depois escreva a frase exata com que você encerraria a discussão numa reunião sem desautorizar a pessoa na frente da equipe dela.
Conferir respostasEsconder respostas
- A validação. Taxa-base 27,8%. Lift do pior grupo 2,6. Captura em 17,8% da base = 45,5%. No corte de 40 contas, 26,5 cancelamentos contra 11,1 do sorteio. O sinal serve, e serve porque o lift do primeiro grupo passa do limiar declarado de 2,5. A resposta completa diz que o limiar é convenção deste curso e não benchmark publicado, e declara o seu antes de olhar o resultado.
- A capacidade dobrada. Com 80 contas a captura sobe para 71,6%, ou 36,9 cancelamentos. O ganho marginal das segundas 40 contas é 10,4, contra 26,5 das primeiras. Dobrar a equipe não dobra o resultado, porque a curva achata: as contas realmente arriscadas acabaram. É esse formato que justifica a frase do módulo de que a alavanca não está em contratar.
- A segmentação. A justificativa aceitável é empírica, não estética: calcule o lift de cada sinal separadamente dentro do SMB e dentro de mid e enterprise. Se a ordem dos sinais muda, os scores precisam ser separados. A razão de fundo é econômica: um score único é dominado pelo segmento mais numeroso, e na Órbita o SMB é 58,6% das contas e 25,0% da receita. Otimizar para ele significa ignorar onde o dinheiro está.
- Adversarial. Não. Um lift de 1,4 no corte de capacidade significa que o grupo vermelho cancela 1,4 vezes mais que a média, o que na prática é quase indistinguível do sorteio depois de descontar o ruído de uma base pequena. O que você propõe não é melhorar a fórmula: é trocar os sinais, porque o problema está no material. E a frase que fecha a reunião sem humilhar a equipe é que o score não errou, ele foi construído com o que estava acessível, e o que estava acessível era o passado. Ninguém escolheu mal; ninguém tinha escolha.
Armadilha: defender o score porque ele já está no painel
O score de consenso tem uma propriedade que o torna difícil de matar: ele foi feito por todo mundo. Cada área defendeu o sinal que controla, os pesos saíram de uma negociação, e por isso qualquer crítica ao modelo é lida como crítica a uma área. Seis meses depois existe um painel, existe uma rotina semanal de olhar o painel, e existe um vocabulário interno inteiro construído sobre ele. Ninguém mais lembra que nunca houve validação.
O custo não é o painel. É a alocação. Na Órbita, um ano de atenção de 5 pessoas custa R$ 848 mil em salário carregado, e um score com lift próximo de um distribui essa atenção quase como um sorteio distribuiria. Some a isso o que se perde do outro lado: as contas de fato em risco continuam sem plano, e cada uma delas vale, em média, R$ 26,5 mil de ARR por ano, que é o ACV médio por cliente de quem saiu em 2025.
A sanção: a regra que resolve isso precisa ser institucional, não técnica. Score não validado não entra em painel. O primeiro entregável de qualquer modelo de risco é a curva de captura contra o churn observado, e enquanto ela não existir o modelo é uma planilha de trabalho, não um instrumento de gestão.
| Cap. | Alavanca | Dono nomeado | Subconjunto da base | Efeito no NRR | Entra na soma de 10.8? | Custo de mover |
|---|---|---|---|---|---|---|
| 10.1 | Diagnóstico: separar as quatro alavancas e nomear o dono de cada uma | RevOps | Toda a base de janeiro, R$ 18,4 milhões | Ponto de partida 97,3%. A base tira 2,7 p.p. por ano. | não soma Não é alavanca: é o ponto de partida sobre o qual as outras somam. | Uma semana de análise. Zero em software. |
| 10.2 | Triagem de sinais: separar antecedente de coincidente | RevOps e Sucesso do Cliente | Os 9 sinais catalogados, 7 já disponíveis em sistema | Não move barra sozinha. É a matéria-prima de 10.3, e sem ela o score de 10.3 mede o passado. | não soma Não tem valor próprio: é insumo da linha seguinte. | Zero. Os sinais já existem e ninguém os lê. |
| 10.3 | Health score validado: realocar a atenção da equipe de pós-venda | Sucesso do Cliente | A coorte de 185 novos logos de 2025 | Mais 1,0 p.p. na premissa central, 15,4 cancelamentos a mais alcançados dentro das mesmas 40 contas. | não soma Atua sobre a coorte de 185 logos entrados em 2025, e o NRR não enxerga cliente novo nem no numerador nem no denominador. As contas dela que estão na base de janeiro disputam com a régua de 10.4, e pela regra do próprio 10.4 a conta fica com a alavanca mais barata. | Zero em ferramenta. Uma planilha e a decisão de cruzar duas tabelas. |
| 10.4 | Régua de cobrança: recuperar o churn que ninguém decidiu | a preencher | a preencher | a preencher | a decidir | Ainda sem resposta neste ponto. |
| 10.5 | Playbook de renovação com janelas, papéis e os três campos no CRM | a preencher | a preencher | a preencher | a decidir | Ainda sem resposta neste ponto. |
| 10.6 | Cross-sell qualificado: cobrar a auditoria de frete de quem já usa | a preencher | a preencher | a preencher | a decidir | Ainda sem resposta neste ponto. |
| 10.7 | Empacotamento: cobrar a roteirização por uso em vez de incluí-la no Pro | a preencher | a preencher | a preencher | a decidir | Ainda sem resposta neste ponto. |
| 10.8 | Reajuste na base instalada: exercer o índice e criar a cláusula que falta | a preencher | a preencher | a preencher | a decidir | Ainda sem resposta neste ponto. |
A ponte de NRR da Órbita, 3 de 8 linhas preenchidas. É a mesma tabela em todo o módulo: cada capítulo escreve a sua linha e declara sobre qual subconjunto da base ela atua. Todos os efeitos estão em pontos percentuais sobre a mesma base congelada de janeiro de 2025, R$ 18,4 milhões, que é o denominador do NRR publicado. A penúltima coluna diz se a linha entra na soma do capítulo 10.8, e quando não entra ela diz por quê: linha que sai da soma sem motivo escrito é linha que foi retirada depois de a conta não fechar. As linhas em cinza ainda não têm resposta neste ponto da leitura.
Recuperação
Responda antes de abrir. Tentar e errar consolida mais que reler.
1Por que a curva de captura só deve ser lida no ponto de corte da capacidade da equipe, e não na área inteira sob a curva?
Porque a área inteira responde a pergunta de um cientista de dados, que é se o modelo ordena bem. A pergunta de quem opera é outra: com a equipe que eu tenho, quantos cancelamentos eu alcanço? Dois scores podem ter a mesma área e desempenho muito diferente nos primeiros cinco por cento da base, e são os primeiros cinco por cento que a equipe consegue tocar.2Uma base de 1.200 contas tem 9% de churn anual. O grupo vermelho do score tem 140 contas e 27 cancelamentos. Calcule o lift e diga se o grupo é útil. Esses números não estão no exemplo.
Taxa de churn do grupo = 27 ÷ 140 = 19,3%. Taxa-base = 9%. Lift = 19,3 ÷ 9 = 2,14. Está acima da média com folga, mas abaixo do limiar de 2,5 que este curso declara, por convenção, para chamar um grupo de grupo de risco. Captura: 27 de 108 cancelamentos totais, ou 25%, dentro de 11,7% da base. A leitura honesta é que o score informa, mas não o suficiente para justificar sozinho a rotina que ele criou. O caminho é trocar sinal, não ajustar peso.3O onboarding é o sinal mais forte da Órbita. Qual é a taxa de clientes entregues no prazo e ativados em noventa dias na empresa, e por que a definição de ativado importa tanto aqui?Módulo 3 · ciclo de vida do cliente
A Órbita entrega 61% dos clientes no prazo e ativa 72% em noventa dias. A definição importa porque o sinal inteiro depende dela: se ativado for “fez login”, o sinal perde poder; se for um marco de uso real, como o cliente emitiu 50 documentos de transporte no sistema em um mês, ele separa 94% de 29% de retenção. O dataset registra que essa definição nunca havia sido validada contra retenção, e este capítulo é a validação.4De memória: escreva a fórmula do lift e a do score, e diga qual das duas decide se o score presta.
Lift do grupo = taxa de churn do grupo ÷ taxa de churn da base. Score = soma dos sinais normalizados vezes os pesos, com os pesos somando cem. É o lift que decide. A fórmula do score é convenção; o lift é evidência.