Como medir se o seu agente de IA está funcionando de verdade
Quase todo painel mostra número de mensagens e tempo de resposta, e esses dois quase não dizem nada sobre resultado. Os números que importam são outros cinco, e três deles você consegue medir mesmo que a sua plataforma não os calcule.
Monte o seu agente e veja ele respondendo com as informações do seu negócio.
Criar meu agente de graça Montar é livre, sem cadastro e sem cartão.O que você vai encontrar neste artigo
Em resumo
- Mensagens respondidas e tempo médio são números de vaidade. Eles sobem mesmo quando nada melhora.
- O número que mais importa: quantas conversas o agente terminou sem precisar de você.
- O segundo: quantas vezes ele disse que não sabia. Zero é sinal ruim, não bom.
Os cinco números que importam
| Número | O que ele revela | Sinal ruim |
|---|---|---|
| Conversas resolvidas sozinho | Quanto trabalho saiu da sua mão | Abaixo de metade |
| Vezes que ele disse não saber | Buracos no seu cadastro | Zero, ou muito alto |
| Conversas que viraram agendamento | Se ele leva ao próximo passo | Cai mês a mês |
| Retomadas que trouxeram resposta | Se o follow-up funciona | Ninguém responde |
| Conversas que morreram no meio | Onde ele empurra em vez de resolver | Cresce com o tempo |
O segundo é o mais mal interpretado. Agente que nunca diz "não sei" não é um agente perfeito: é um agente que está inventando, ou que ninguém está lendo.
Os números que enganam
- Total de mensagens respondidas. Sobe quando o agente responde mal e o cliente precisa insistir.
- Tempo médio de resposta. Um agente sempre vai ganhar de qualquer humano nisso, e isso não prova resultado.
- Taxa de satisfação por estrelinhas. Quase ninguém responde, e quem responde é quem ficou muito bravo ou muito feliz.
- Número de conversas atendidas. Cresce com o seu marketing, não com a qualidade da IA.
O problema comum aos quatro é que eles medem atividade, não desfecho. Um agente pode dobrar todos os quatro enquanto perde mais vendas do que perdia antes.
Regra: se o número sobe quando o agente responde pior, ele não serve para avaliar o agente.
A rotina de quinze minutos por semana
- Abra dez conversas ao acaso da semana. Não escolha, sorteie.
- Em cada uma, marque um de três resultados: resolveu, passou para humano, ou morreu.
- Nas que morreram, leia a última mensagem do agente e pergunte se ela resolvia ou empurrava.
- Anote toda informação que faltou, e cadastre no mesmo dia.
- Anote todo preço que apareceu diferente do certo, e apague a versão velha.
Quinze minutos por semana bastam porque erro de agente é sistemático: o que aparece em duas de dez conversas está aparecendo em duzentas de mil. Você não precisa ler tudo, precisa ler o suficiente para achar o padrão.
O passo 5 é o que mais devolve resultado. Preço cadastrado duas vezes com valores diferentes é a causa número um de resposta errada.
O que comparar com o quê
Números soltos não dizem nada. Compare sempre com uma dessas três referências:
- Com você mesmo no mês anterior. É a única comparação totalmente justa.
- Com o período antes do agente, se você tiver alguma anotação de como era.
- Com o custo: quantas vendas recuperadas pagam a mensalidade, e você chegou lá?
A terceira é a que fecha a decisão de manter ou cancelar. Se um cliente vale R$ 500 e o plano custa R$ 199, uma venda recuperada por mês já resolve. A pergunta então vira simples: eu consigo apontar uma?
Marque revisão no dia 30 e no dia 90 no calendário, no dia em que contratar. Sem data marcada, a avaliação nunca acontece e a assinatura vira esquecimento.
Leia também
Perguntas frequentes
- Quais números mostram se a IA de atendimento está funcionando?
- Cinco: conversas resolvidas sem você entrar, vezes em que o agente disse que não sabia, conversas que viraram agendamento, retomadas que trouxeram resposta e conversas que morreram no meio. Total de mensagens e tempo médio de resposta não servem, porque sobem mesmo quando o agente responde pior.
- É ruim o agente dizer que não sabe?
- Não, é saudável. Zero ocorrências costuma significar que ele está inventando para tapar buracos, ou que ninguém está lendo as conversas. O que importa é o que você faz com essas ocorrências: cada uma aponta uma informação que falta no seu cadastro.
- Preciso ler todas as conversas?
- Não. Erro de agente é sistemático, então uma amostra de dez conversas sorteadas por semana já revela o padrão. O que aparece em duas de dez está acontecendo em duzentas de mil, e a correção é a mesma nos dois casos.
- Como saber se vale continuar pagando?
- Compare com o custo: quantas vendas recuperadas pagam a mensalidade, e você consegue apontar pelo menos uma. Se um cliente vale mais que o plano, uma venda por mês já resolve. Marque essa avaliação para o dia 30 e o dia 90, senão ela não acontece.
