Como testar um agente de IA antes de soltar no cliente

Testar um agente perguntando "qual o horário de funcionamento?" não é teste. É demonstração. O que interessa é o comportamento fora do roteiro — porque é ali que o cliente vive.

1. Teste os limites primeiro

Se ele passar nestes, os casos normais funcionam:

• Pergunta cuja resposta não está na base — ele inventa ou admite?
• Pedido de desconto fora da política.
• Pergunta sobre concorrente.
• Assunto polêmico ou pessoal.
• Pedido de orientação profissional regulamentada.
• Solicitação de dado de outro cliente.

Admitir que não sabe é o comportamento mais importante do agente — e o menos testado antes de subir.Prioridade de homologação

Detalhes em quando o agente deve dizer que não sabe.

2. Teste com mensagem real, não com frase limpa

Pegue mensagens do seu histórico — de preferência as ruins:

• Sem pontuação e com erro de digitação.
• Três assuntos na mesma mensagem.
• Muito curtas: "e aí?", "quanto?", "tem?".
• Áudio com ruído de fundo.
• Foto tremida de documento.
• Mudança de assunto no meio da conversa.

Teste escrito por quem fez o prompt é sempre mais limpo que a realidade.

3. Teste as tentativas de burlar

Alguém vai tentar. Por curiosidade ou de propósito:

• Fazer o agente prometer condição que a empresa não dá.
• Convencê-lo a "ignorar as instruções anteriores".
• Extrair informação de outro cliente.
• Fazê-lo falar mal do concorrente.

Recusa educada, sem entrar no jogo e sem explicar as regras internas.

4. Teste as integrações no pior cenário

• Sistema fora do ar — o agente avisa ou trava?
• Consulta lenta — ele espera indefinidamente?
• Produto sem estoque.
• Cliente sem cadastro.
• Agenda cheia.

Comportamento degradado precisa ser previsto. "Não consegui consultar agora, vou chamar alguém" é aceitável; silêncio não.

5. Teste o handoff

• Pedir atendente em vários pontos da conversa.
• Verificar se o resumo chega completo.
• Testar fora do horário.
• Simular reclamação.

6. Piloto com volume real

Dois dias de piloto revelam mais que duas semanas de teste interno. Formas de fazer:

• Uma fatia dos contatos no agente, o resto no fluxo atual.
• Um canal específico.
• Um horário específico — noite, por exemplo, onde o risco é menor e o ganho é imediato.

Com alguém lendo as conversas em tempo real nos primeiros dias.

7. Botão de desligar

Antes de subir, garanta que dá para desligar o agente e voltar ao atendimento humano em minutos, sem depender do fornecedor.

Pode nunca ser usado. Mas quem não tem descobre a necessidade no pior momento possível.

Depois de subir

O teste continua: leitura semanal de conversas reais e acompanhamento das métricas. O ciclo está em como medir a qualidade de um agente de IA.

Quer o roteiro aplicado ao seu caso?

A Fluxo Inteligente monta a bateria de testes com as suas mensagens reais e conduz o piloto acompanhado.