Vollständige Unterlagen
Die erforderlichen Dokumente erkennen, ohne offene Punkte zu erfinden.
So bewerten Sie eine KI-Lösung
Die KI antwortet gut.Aber wird die Arbeit besser?
Vergleichen Sie die Lösung mit dem aktuellen Arbeitsablauf. Beobachten Sie, was sie richtig macht, was korrigiert werden muss und welcher Aufwand nötig ist, um ein nutzbares Ergebnis zu erreichen.
Dieselbe Aufgabe.
Zwei Arten, sie zu erledigen.
Definieren Sie die Eingabe, die erwartete Ausgabe und wer das Ergebnis nutzen wird. Vergleichen Sie unter gleichwertigen Bedingungen, einschließlich Vorbereitung, Prüfung und Korrektur.
Aktuelle ReferenzMensch, Regel
Mensch, Regel
oder Werkzeug.
Lösung in der BewertungKI mit der nötigen
KI mit der nötigen
menschlichen Unterstützung.
Qualität
Richtige Ergebnisse, Fehler und Auswirkungen.
Gesamtaufwand
Ausführen, prüfen und korrigieren.
Machbarkeit
Kosten und Voraussetzungen für den Einsatz.
Wählen Sie die Fälle,
bevor Sie die Antworten sehen.
Beziehen Sie ein, was häufig vorkommt und was schiefgehen kann. Ein guter Durchschnitt kann einen relevanten Fehler verdecken.
- Häufige Fälle
Der Arbeitsalltag, den die Lösung bewältigen muss.
- Ausnahmen
Situationen, die eine andere Entscheidung erfordern.
- Unzureichende Informationen
Fälle, in denen Hilfe angefordert werden muss.
Wie wird die Stichprobe vorbereitet und wie werden Fehler bewertet?
Dokumentieren Sie Herkunft, Nutzungsberechtigung, Versionen und Grenzen der Fälle. Reservieren Sie einen Teil für die abschließende Bewertung, getrennt von den Beispielen zur Anpassung der Lösung.
Legen Sie vorab fest, was als richtiges Ergebnis oder Fehler gilt. Unterscheiden Sie je nach Aufgabe zwischen Auslassungen, unbelegten Aussagen, unzulässigem Zugriff und unnötigen Weiterleitungen. Berücksichtigen Sie Häufigkeit und Schwere.
Beispiel eines Bewertungsplans
Eine Anfrage und
ihre Anhänge prüfen.
Die Lösung soll offene Punkte und die angewandte Regel angeben. Diese Kriterien sind im Vergleich mit der aktuellen Prüfung zu überprüfen.
Fehlendes Dokument
Aufzeigen, was fehlt und welche Regel das Dokument verlangt.
Unleserlicher Anhang
Zur Prüfung weiterleiten, ohne automatische Freigabe.
Vergleichen Sie übersehene offene Punkte, Fehlalarme und Prüfaufwand. Vereinbaren Sie akzeptable Grenzen mit der für den Prozess verantwortlichen Person.
Vereinbaren Sie vorab,
wann es weitergehen kann.
Es gibt keine für alle Aufgaben gültige Erfolgsquote. Die Entscheidung hängt vom beobachteten Nutzen und den Auswirkungen der Fehler ab.
Fortfahren
Die Kriterien wurden im bewerteten Umfang erfüllt.
Anpassen
Es gibt behebbare Fehler, und ein erneuter Vergleich ist sinnvoll.
Beenden
Der Nutzen rechtfertigt die Kosten oder Risiken nicht.
Fehlen Nachweise? Halten Sie fest, was fehlt, bevor Sie eine Schlussfolgerung ziehen.
Wer prüft, und was kostet die Prüfung?
Wählen Sie prüfende Personen, die die Aufgabe kennen, geben Sie klare Anweisungen und vereinbaren Sie, wie Meinungsverschiedenheiten geklärt werden. Messen Sie die Zeit für Prüfung und Korrektur. Muss eine Person die Arbeit wiederholen, um der Antwort vertrauen zu können, zählt dieser Aufwand mit.
Welche Aussagen lässt der Test zu?
Trennen Sie beobachtete Kosten und Ergebnisse von Schätzungen für die künftige Nutzung. Dokumentieren Sie die Grenzen der Stichprobe und wo das Ergebnis noch nicht überprüft wurde. In der Bewertung weiterzukommen bedeutet nicht, dass die Lösung produktionsreif ist.
Bevor Sie beginnen
Der Plan lässt sich
in fünf Fragen fassen.
- Welche Aufgabe und welche Referenz vergleichen wir?
- Welche Fälle und Ausnahmen gehören in die Stichprobe?
- Welche Fehler sind relevant, und wie werden sie beurteilt?
- Wer prüft, und wie wird der Gesamtaufwand gemessen?
- Was erlaubt es, fortzufahren, anzupassen oder zu beenden?
Weiterführende Quellen
Google Cloud · Bewertung generativer KI beschreibt Kriterien, Metriken und die gemeinsame Analyse von Bewertungen und einzelnen Antworten.
NIST AI RMF 1.0 · Measure 2.5 empfiehlt, die Grenzen der Verallgemeinerbarkeit zu dokumentieren.
Sprechen Sie mit Gaulett
Welche Lösung müssen Sie
auf die Probe stellen?
Bringen Sie die Aufgabe, die offene Frage und die verfügbaren Beispiele mit. Lassen Sie uns besprechen, was verglichen werden sollte, um über die nächste Investition zu entscheiden.