Todos Fundamentos Nichos Cases Decisão
FundamentosOperação

Como medir se o seu agente de IA está bom (além de "parece que funciona")

Volume de mensagens respondidas não mede nada. Mede que o agente está ligado.

Por Marcelo, Engenheiro de Software e FundadorPublicado em 7 min de leitura
Painel de métricas para avaliar a qualidade de um agente de IA no atendimento
Foto: Unsplash
Em resumo
  • A métrica mais reveladora é a insistência: quantas vezes o cliente pediu humano antes de conseguir.
  • Taxa de resolução só vale se medida por desfecho, não por conversa encerrada.
  • Transferência alta não é fracasso — transferência sem contexto é.
  • Ler 20 conversas por semana ensina mais que qualquer painel.

A pergunta "o agente está bom?" costuma ser respondida com impressão. E impressão em atendimento é enganosa: quem está dentro se acostuma, e o cliente insatisfeito raramente reclama — só some.

O que não mede nada

  • Mensagens respondidas. Mede que o sistema está ligado.
  • Tempo médio de resposta do agente. Vai ser sempre baixo. Não é indicador de qualidade.
  • Conversas encerradas. Encerrada pode significar resolvida ou abandonada.

As cinco que importam

1. Insistência

Quantas conversas tiveram mais de um pedido explícito de atendimento humano. É a métrica que mais se aproxima do sentimento do cliente.

Se o cliente teve que pedir duas vezes para falar com gente, nenhuma outra métrica importa.Critério de qualidade percebida

2. Resolução por desfecho

Não conte conversa encerrada. Conte resultado observável: agendamento criado, pedido gerado, segunda via enviada, dúvida confirmada como resolvida. Isso exige amarrar a conversa a um evento no sistema — trabalho que vale a pena.

3. Transferência com contexto

Duas medições:

  • Percentual de conversas transferidas.
  • Percentual de transferências em que o cliente precisou repetir informação já dada.

A segunda é a que revela falha de projeto. Detalhes em handoff.

4. Lacunas de conhecimento

Com que frequência o agente responde que não tem a informação, e sobre quais assuntos. Cada ocorrência é um item a acrescentar na base — o ciclo descrito em como montar a base de conhecimento.

5. Conversão no funil

Se o agente participa de vendas, compare o desfecho comercial das conversas que ele atendeu com o histórico. Não é o número absoluto que importa: é a tendência ao longo das semanas de ajuste.

A auditoria que nenhum painel substitui

Escolha vinte conversas por semana, aleatórias, e leia inteiras. Marque:

  • Alguma informação incorreta?
  • O agente prometeu algo que a empresa não cumpre?
  • Ele deveria ter transferido antes?
  • O tom soou como a empresa?

Esse exercício de meia hora revela mais do que qualquer dashboard nas primeiras semanas.

Mude uma coisa por vez

Alterar prompt, base de conhecimento e regra de handoff na mesma semana torna impossível saber o que funcionou. Uma alteração, um período de observação, uma comparação.

Por onde começar

Cinco números numa planilha semanal — insistência, resolução por desfecho, transferência, lacunas, conversão — mais a leitura de vinte conversas. Ferramenta entra depois, quando o volume justificar.

O conjunto maior de indicadores de atendimento está em dashboard de atendimento.

Quer acompanhar isso sem montar do zero?

A Fluxo Inteligente entrega o painel com essas métricas e faz a auditoria de conversas nas primeiras semanas.

Perguntas frequentes

Qual a métrica mais importante?
A taxa de insistência: quantas conversas tiveram mais de um pedido explícito de atendimento humano. Ela captura o que o cliente sente e nenhuma outra métrica mostra. Um agente com ótima taxa de resolução e alta insistência está resolvendo por atrito, não por qualidade.
Como medir resolução de verdade?
Por desfecho, não por encerramento. Conversa que acabou pode ter acabado em desistência. Vale amarrar a um resultado observável: agendamento criado, pedido gerado, boleto emitido, dúvida marcada como respondida pelo próprio cliente. Sem isso, 'resolução' vira contagem de conversas fechadas.
Taxa de transferência alta é problema?
Não necessariamente. Se o escopo é estreito por decisão — o agente qualifica e passa — transferência alta é o desenho funcionando. O problema é transferência sem contexto, que faz o cliente repetir tudo, e transferência para uma fila que demora.
Preciso de ferramenta específica para medir?
Não no começo. Uma planilha com cinco números por semana e a leitura de vinte conversas reais já revela quase tudo. Ferramenta ajuda quando o volume cresce, mas nenhuma substitui ler o que o cliente escreveu.
Como saber se uma mudança melhorou de fato?
Mudando uma coisa por vez e comparando o mesmo período. Alterar prompt, base e handoff na mesma semana torna impossível saber o que causou o quê. Em volume alto, vale rodar comparação em paralelo por alguns dias.

Quer um agente de IA atendendo no seu WhatsApp?

Conte o seu cenário e a gente mostra, com número, o que dá pra automatizar no seu atendimento.

Falar no WhatsApp: (19) 99615-5951

Marcelo

Engenheiro de Software e Fundador

Fundador da Fluxo Inteligente. Constrói agentes de IA, integrações de WhatsApp Business API e automações em Python para empresas que querem atender e vender sem depender de equipe disponível. Escreve aqui sobre o que funciona na prática — com números de projetos reais.

Leia também