Documentazione completa
Riconoscere i documenti richiesti senza inventare mancanze.
Come valutare una soluzione di IA
L’IA risponde bene.Ma il lavoro migliora?
Confronta la soluzione con il lavoro attuale. Osserva cosa fa bene, cosa va corretto e quanto impegno serve per ottenere un risultato utilizzabile.
Lo stesso compito.
Due modi per svolgerlo.
Definisci i dati in ingresso, il risultato atteso e chi lo utilizzerà. Confronta in condizioni equivalenti, includendo preparazione, verifica e correzione.
Riferimento attualeUna persona, una regola
Una persona, una regola
o uno strumento.
Soluzione in esameIA con il supporto
IA con il supporto
umano necessario.
Qualità
Esiti corretti, errori e impatto.
Impegno totale
Eseguire, verificare e correggere.
Fattibilità
Costo e condizioni d’uso.
Scegli i casi
prima di vedere le risposte.
Includi ciò che accade spesso e ciò che può andare storto. Una buona media può nascondere un errore importante.
- Casi comuni
Il lavoro quotidiano che la soluzione deve gestire.
- Eccezioni
Situazioni che richiedono una decisione diversa.
- Informazioni insufficienti
Casi in cui serve chiedere aiuto.
Come preparare il campione e valutare gli errori?
Registra origine, autorizzazione all’uso, versioni e limiti dei casi. Riservane una parte alla valutazione finale, separata dagli esempi usati per mettere a punto la soluzione.
Definisci in anticipo cosa conta come esito corretto o errore. In base al compito, distingui omissioni, affermazioni non supportate, accessi non autorizzati e inoltri non necessari. Considera frequenza e gravità.
Esempio di piano di valutazione
Verificare una richiesta
e i suoi allegati.
La soluzione deve segnalare ciò che manca o resta da risolvere e la regola applicata. Sono criteri da verificare nel confronto con il controllo attuale.
Documento mancante
Indicare cosa manca e quale regola richiede il documento.
Allegato illeggibile
Sottoporre a revisione, senza approvazione automatica.
Confronta mancanze non rilevate, segnalazioni errate e impegno richiesto dalla revisione. Concorda i limiti accettabili con il responsabile del processo.
Concorda in anticipo
quando procedere.
Non esiste una percentuale di approvazione adatta a ogni compito. La decisione dipende dal valore osservato e dall’impatto degli errori.
Procedere
I criteri sono stati soddisfatti nell’ambito valutato.
Correggere
Ci sono problemi risolvibili e un nuovo confronto ha senso.
Fermarsi
Il beneficio non giustifica il costo o i rischi.
Mancano evidenze? Registra ciò che manca prima di trarre una conclusione.
Chi verifica e quanto costa farlo?
Scegli revisori che conoscano il compito, dai istruzioni chiare e concorda come risolvere i disaccordi. Misura il tempo necessario per verificare e correggere. Se una persona deve rifare il lavoro per fidarsi della risposta, anche quell’impegno va conteggiato.
Cosa permette di affermare il test?
Separa i costi e i risultati osservati dalle stime sull’uso futuro. Registra i limiti del campione e dove il risultato non è ancora stato verificato. Procedere con la valutazione non significa che la soluzione sia pronta per la produzione.
Prima di iniziare
Il piano si riassume
in cinque domande.
- Quale compito e quale riferimento confronteremo?
- Quali casi ed eccezioni rientrano nel campione?
- Quali errori contano e come verranno valutati?
- Chi revisiona e come misurare l’impegno totale?
- Cosa permette di procedere, correggere o fermarsi?
Riferimenti per approfondire
Google Cloud · Valutazione dell’IA generativa descrive criteri, metriche e l’analisi congiunta dei punteggi e delle singole risposte.
NIST AI RMF 1.0 · Measure 2.5 indica di documentare i limiti di generalizzazione.
Parla con Gaulett
Quale soluzione devi
mettere alla prova?
Porta il compito, il dubbio e gli esempi disponibili. Parliamo di cosa confrontare per decidere il prossimo investimento.