Dossier complet
Reconnaître les documents exigés sans inventer de points à compléter.
Comment évaluer une solution d’IA
L’IA répond bien.Mais le travail s’améliore-t-il ?
Comparez la solution au travail actuel. Observez ce qu’elle réussit, ce qui doit être corrigé et l’effort nécessaire pour obtenir un résultat exploitable.
La même tâche.
Deux façons de la réaliser.
Définissez l’entrée, la sortie attendue et les personnes qui utiliseront le résultat. Comparez dans des conditions équivalentes, en incluant la préparation, la vérification et la correction.
Référence actuellePersonne, règle
Personne, règle
ou outil.
Solution en cours d’évaluationIA avec l’aide
IA avec l’aide
humaine nécessaire.
Qualité
Résultats corrects, erreurs et impact.
Effort total
Exécuter, vérifier et corriger.
Faisabilité
Coût et conditions d’utilisation.
Choisissez les cas
avant de voir les réponses.
Incluez ce qui arrive souvent et ce qui peut mal se passer. Une bonne moyenne peut masquer une défaillance importante.
- Cas courants
Le travail quotidien auquel la solution doit répondre.
- Exceptions
Des situations qui exigent une autre décision.
- Informations insuffisantes
Des cas où il faut demander de l’aide.
Comment préparer l’échantillon et évaluer les erreurs ?
Consignez la provenance, l’autorisation d’utilisation, les versions et les limites des cas. Réservez une partie à l’évaluation finale, séparée des exemples utilisés pour ajuster la solution.
Définissez à l’avance ce qui constitue un résultat correct ou une erreur. Selon la tâche, distinguez les omissions, les affirmations non étayées, les accès non autorisés et les transmissions inutiles. Tenez compte de la fréquence et de la gravité.
Exemple de plan d’évaluation
Vérifier une demande
et ses pièces jointes.
La solution doit signaler les points à compléter et la règle utilisée. Ces critères sont à vérifier par comparaison avec la vérification actuelle.
Document manquant
Indiquer ce qui manque et la règle qui exige le document.
Pièce jointe illisible
Transmettre pour révision, sans approbation automatique.
Comparez les points à compléter non détectés, les alertes incorrectes et l’effort de révision. Convenez des limites acceptables avec la personne responsable du processus.
Convenez à l’avance
de ce qui permet d’avancer.
Il n’existe pas de taux d’acceptation valable pour toutes les tâches. La décision dépend de la valeur observée et de l’impact des erreurs.
Avancer
Les critères ont été respectés dans le périmètre évalué.
Ajuster
Des défaillances peuvent être corrigées et une nouvelle comparaison est pertinente.
Arrêter
Le gain ne justifie pas le coût ou les risques.
Les éléments probants manquent ? Consignez ce qui manque avant de conclure.
Qui vérifie et combien coûte la vérification ?
Choisissez des personnes qui connaissent la tâche pour vérifier, donnez des consignes claires et convenez d’une méthode pour résoudre les désaccords. Mesurez le temps de vérification et de correction. Si la personne doit refaire le travail pour faire confiance à la réponse, cet effort entre dans le calcul.
Que permet d’affirmer le test ?
Distinguez les coûts et les résultats observés des estimations d’utilisation future. Consignez les limites de l’échantillon et les situations dans lesquelles le résultat n’a pas encore été vérifié. Avancer dans l’évaluation ne signifie pas que la solution est prête pour la production.
Avant de commencer
Le plan tient
en cinq questions.
- Quelle tâche et quelle référence allons-nous comparer ?
- Quels cas et quelles exceptions inclure dans l’échantillon ?
- Quelles erreurs sont importantes et comment seront-elles jugées ?
- Qui vérifie et comment mesurer l’effort total ?
- Qu’est-ce qui permet d’avancer, d’ajuster ou d’arrêter ?
Références pour approfondir
Google Cloud · Évaluation de l’IA générative décrit les critères, les métriques et l’analyse conjointe des notes et des réponses individuelles.
NIST AI RMF 1.0 · Measure 2.5 recommande de documenter les limites de généralisation.
Échangez avec Gaulett
Quelle solution devez-vous
mettre à l’épreuve ?
Présentez la tâche, la question et les exemples disponibles. Parlons de ce qu’il faut comparer pour décider du prochain investissement.