Documentação completa
Reconhecer os documentos exigidos sem inventar pendências.
Como avaliar uma solução de IA
A IA responde bem.Mas o trabalho melhora?
Compare a solução com a rotina atual. Observe o que ela acerta, o que precisa de correção e quanto esforço custa chegar a um resultado utilizável.
A mesma tarefa.
Duas formas de executar.
Defina a entrada, a saída esperada e quem usará o resultado. Compare em condições equivalentes, incluindo preparação, conferência e correção.
Referência atualPessoa, regra
Pessoa, regra
ou ferramenta.
Solução em avaliaçãoIA com o apoio
IA com o apoio
humano necessário.
Qualidade
Acertos, erros e impacto.
Esforço total
Executar, conferir e corrigir.
Viabilidade
Custo e condições de uso.
Escolha os casos
antes de ver as respostas.
Inclua o que acontece com frequência e o que pode dar errado. Uma boa média pode esconder uma falha importante.
- Casos comuns
A rotina que a solução precisa atender.
- Exceções
Situações que exigem outra decisão.
- Informação insuficiente
Casos em que é preciso pedir ajuda.
Como preparar a amostra e avaliar os erros?
Registre origem, autorização de uso, versões e limites dos casos. Reserve uma parte para a avaliação final, separada dos exemplos usados para ajustar a solução.
Defina antes o que conta como acerto ou erro. Conforme a tarefa, separe omissões, afirmações sem suporte, acesso indevido e encaminhamentos desnecessários. Considere frequência e gravidade.
Exemplo de plano de avaliação
Conferir uma solicitação
e seus anexos.
A solução deve indicar pendências e a regra utilizada. Estes são critérios a verificar na comparação com a conferência atual.
Documento ausente
Apontar o que falta e qual regra exige o documento.
Anexo ilegível
Encaminhar para revisão, sem aprovação automática.
Compare pendências não detectadas, alertas incorretos e esforço de revisão. Combine os limites aceitáveis com o responsável pelo processo.
Combine antes
o que permite avançar.
Não existe um percentual de aprovação que sirva para toda tarefa. A decisão depende do valor observado e do impacto dos erros.
Avançar
Os critérios foram atendidos no escopo avaliado.
Ajustar
Há falhas corrigíveis e uma nova comparação faz sentido.
Encerrar
O ganho não justifica o custo ou os riscos.
Faltou evidência? Registre o que falta antes de concluir.
Quem confere e quanto custa conferir?
Escolha revisores que conheçam a tarefa, dê instruções claras e combine como resolver divergências. Meça o tempo de conferir e corrigir. Se a pessoa precisa refazer o trabalho para confiar na resposta, esse esforço entra na conta.
O que o teste permite afirmar?
Separe custos e resultados observados das estimativas de uso futuro. Registre os limites da amostra e onde o resultado ainda não foi verificado. Avançar na avaliação não significa que a solução está pronta para produção.
Antes de começar
O plano cabe
em cinco perguntas.
- Qual tarefa e qual referência vamos comparar?
- Quais casos e exceções entram na amostra?
- Que erros importam e como serão julgados?
- Quem revisa e como medir o esforço total?
- O que permite avançar, ajustar ou encerrar?
Referências para aprofundar
Google Cloud · Avaliação de IA generativa descreve critérios, métricas e análise conjunta das notas e respostas individuais.
NIST AI RMF 1.0 · Measure 2.5 orienta documentar os limites de generalização.
Converse com a Gaulett
Qual solução você
precisa colocar à prova?
Traga a tarefa, a dúvida e os exemplos disponíveis. Vamos conversar sobre o que comparar para decidir o próximo investimento.