Testando
GenAI

MOTIVAÇÃO

Por que testar IA generativa?

Quando você coloca um sistema de IA generativa em produção sem uma estratégia de testes, as falhas são invisíveis até que um usuário reclame. No software tradicional um bug lança uma exceção e trava o fluxo. No modelo de linguagem a situação é bem diferente, pois ele pode entregar uma resposta completamente errada com plena confiança e o sistema vai registrar aquilo como sucesso, sem nenhum sinal de alerta.

Sistemas conversacionais e geradores de conteúdo também degradam silenciosamente. A troca de versão de modelo, uma mudança no prompt ou uma variação no dado de entrada pode quebrar comportamentos que antes funcionavam sem nenhum aviso. Sem uma suíte de evals automatizados, você descobre esse tipo de regressão tarde demais.

Testar GenAI exige uma disciplina diferente do que o desenvolvedor está acostumado. Não há um output determinístico para comparar. As respostas formam distribuições que precisam ser avaliadas em múltiplas dimensões, entre elas corretude, segurança, coerência e fundamentação factual.

TIPOS DE TESTE

O que você precisa cobrir?

Uma estratégia de testes madura para GenAI deve cobrir quatro categorias.

• Corretude funcional: O teste mais básico verifica se o modelo está respondendo o que foi perguntado e se a resposta é factualmente correta dado o contexto fornecido. Geralmente implementado com um golden dataset de pares pergunta-resposta esperada.
• Segurança e Red Teaming: Verifica se o modelo responde adequadamente a tentativas de manipulação, como prompt injection, jailbreak, perguntas fora do escopo e inputs adversariais projetados para fazer o sistema escapar das guardrails definidas.
• Qualidade de recuperação RAG: Para sistemas que usam recuperação de documentos, esse teste verifica se os chunks retornados são relevantes e se a resposta está de fato ancorada no contexto recuperado, e não sendo inventada pelo modelo mesmo com acesso à fonte correta.
• Regressão e consistência: Após uma mudança de modelo, versão de prompt ou atualização de base de conhecimento, esse teste verifica se os comportamentos anteriores foram preservados. É o equivalente do teste de regressão clássico aplicado ao output linguístico.

MÉTRICAS

O que medir?

As métricas de avaliação de GenAI podem ser calculadas de forma automatizada, geralmente com um segundo modelo atuando como juiz no padrão LLM-as-Judge, ou com avaliação humana nos casos mais críticos.

As métricas de Faithfulness e Answer Relevancy são as mais críticas para sistemas RAG. Já Hallucination Rate e Coherence são indispensáveis em qualquer sistema conversacional ou gerador de conteúdo.

FERRAMENTAS

O que usar na AWS?

As ferramentas abaixo são compatíveis com a AWS e cobrem os principais casos de avaliação.

RAGAS é uma biblioteca Python open-source voltada para avaliação de sistemas RAG. Calcula métricas como Faithfulness, Answer Relevancy e Context Precision automaticamente usando um modelo juiz. Roda em qualquer serviço que execute Python, incluindo EC2, Lambda, SageMaker e ECS.

DeepEval é um framework Python de propósito geral para avaliação de GenAI. Cobre um espectro mais amplo de métricas, incluindo alucinação, toxicidade, coerência e G-Eval, que é uma métrica configurável via critérios em linguagem natural. Tem a mesma compatibilidade de deploy da RAGAS.

Promptfoo é uma ferramenta Node.js para testar e comparar prompts. Ideal para a fase de desenvolvimento, permite rodar um mesmo conjunto de casos de teste contra múltiplos modelos ou versões de prompt em paralelo. Compatível com EC2, ECS e com o AWS CodeBuild como etapa de CI.

Amazon Bedrock Model Evaluation é um serviço nativo AWS que não exige nenhuma infraestrutura adicional. Permite executar avaliações automatizadas com métricas integradas, abrangendo qualidade de resposta, adesão a instruções e segurança, diretamente sobre modelos hospedados no Bedrock. É a opção mais direta para quem já está na AWS e quer evitar gerenciar dependências de terceiros.

NA PRÁTICA

Pipeline mínimo viável

Um pipeline de avaliação não precisa começar complexo. O caminho mais curto para ter testes rodando em produção segue quatro etapas.

• Monte o golden dataset: Colete de 50 a 100 pares de pergunta e resposta esperada que representem o uso real do sistema. Inclua casos fáceis, casos limítrofes e perguntas que o modelo tende a errar. Esse dataset é a base de tudo.
• Implemente os evals: Com RAGAS ou DeepEval, escreva um script que rode o golden dataset contra o sistema e calcule as métricas escolhidas. O resultado deve ser um relatório com o score por métrica e os casos que ficaram abaixo do threshold.
• Interprete os resultados: Defina limites mínimos aceitáveis para cada métrica, como Faithfulness acima de 0,8. Casos abaixo do threshold viram itens de investigação, pois o problema pode estar no prompt, na base de conhecimento, no chunking ou no próprio modelo.
• Integre no CI/CD: Conecte o script de evals ao pipeline de deploy via AWS CodePipeline. A cada mudança de prompt, modelo ou base de conhecimento, os evals rodam automaticamente. Uma queda abaixo do threshold bloqueia o deploy.

CONCLUSÃO

O que fica de lição

Testar IA generativa é uma disciplina que exige uma mudança de mentalidade. O output não é binário, mas probabilístico, multidimensional e sensível ao contexto. A consequência direta disso é que a ausência de erros no log não significa que o sistema está funcionando bem.

A boa notícia é que o ponto de partida é simples. Um golden dataset bem construído e um script de evals automatizados já oferecem uma rede de segurança significativa. A partir daí, a suíte de testes evolui junto com o sistema, incorporando novos casos de uso, novas métricas e testes de segurança mais robustos conforme o produto amadurece.

Para sistemas conversacionais e geradores de conteúdo em produção, evals automatizados integrados ao CI/CD não são opcionais, são parte do processo de entrega.