Documentación completa
Reconocer los documentos exigidos sin inventar carencias.
Cómo evaluar una solución de IA
La IA responde bien.Pero ¿mejora el trabajo?
Compare la solución con la rutina actual. Observe qué hace bien, qué necesita corrección y cuánto esfuerzo requiere llegar a un resultado utilizable.
La misma tarea.
Dos formas de realizarla.
Defina la entrada, la salida esperada y quién utilizará el resultado. Compare en condiciones equivalentes, incluyendo la preparación, la revisión y la corrección.
Referencia actualUna persona, una regla
Una persona, una regla
o una herramienta.
Solución en evaluaciónIA con el apoyo
IA con el apoyo
humano necesario.
Calidad
Aciertos, errores e impacto.
Esfuerzo total
Realizar, revisar y corregir.
Viabilidad
Coste y condiciones de uso.
Elija los casos
antes de ver las respuestas.
Incluya lo que ocurre con frecuencia y lo que puede salir mal. Un buen promedio puede ocultar un fallo importante.
- Casos comunes
La rutina que la solución debe atender.
- Excepciones
Situaciones que requieren otra decisión.
- Información insuficiente
Casos en los que es necesario pedir ayuda.
¿Cómo preparar la muestra y evaluar los errores?
Registre el origen, la autorización de uso, las versiones y las limitaciones de los casos. Reserve una parte para la evaluación final, separada de los ejemplos utilizados para ajustar la solución.
Defina de antemano qué se considera un acierto o un error. Según la tarea, distinga omisiones, afirmaciones sin respaldo, accesos indebidos y derivaciones innecesarias. Considere su frecuencia y gravedad.
Ejemplo de plan de evaluación
Revisar una solicitud
y sus anexos.
La solución debe señalar lo que falta por resolver y la regla utilizada. Son criterios que deben verificarse al compararla con la revisión actual.
Documento ausente
Indicar qué falta y qué regla exige el documento.
Anexo ilegible
Derivar a revisión, sin aprobación automática.
Compare carencias no detectadas, alertas incorrectas y esfuerzo de revisión. Acuerde los límites aceptables con la persona responsable del proceso.
Acuerde de antemano
qué permite avanzar.
No hay un porcentaje de aprobación que sirva para todas las tareas. La decisión depende del valor observado y del impacto de los errores.
Avanzar
Los criterios se cumplieron dentro del alcance evaluado.
Ajustar
Hay fallos corregibles y tiene sentido realizar una nueva comparación.
Cerrar
El beneficio no justifica el costo o los riesgos.
¿Faltan pruebas? Registre lo que falta antes de llegar a una conclusión.
¿Quién revisa y cuánto cuesta revisar?
Elija revisores que conozcan la tarea, dé instrucciones claras y acuerde cómo resolver las discrepancias. Mida el tiempo de revisión y corrección. Si la persona necesita rehacer el trabajo para confiar en la respuesta, ese esfuerzo también cuenta.
¿Qué permite afirmar la prueba?
Separe los costos y resultados observados de las estimaciones de uso futuro. Registre las limitaciones de la muestra y dónde aún no se ha verificado el resultado. Avanzar en la evaluación no significa que la solución esté lista para producción.
Antes de empezar
El plan se resume
en cinco preguntas.
- ¿Qué tarea y qué referencia vamos a comparar?
- ¿Qué casos y excepciones se incluyen en la muestra?
- ¿Qué errores importan y cómo se valorarán?
- ¿Quién revisa y cómo se medirá el esfuerzo total?
- ¿Qué permite avanzar, ajustar o cerrar?
Referencias para profundizar
Google Cloud · Evaluación de IA generativa describe criterios, métricas y el análisis conjunto de las puntuaciones y las respuestas individuales.
NIST AI RMF 1.0 · Measure 2.5 indica que deben documentarse los límites de generalización.
Converse con Gaulett
¿Qué solución necesita
poner a prueba?
Traiga la tarea, la duda y los ejemplos disponibles. Conversemos sobre qué comparar para decidir la próxima inversión.