LLM-Antworten bewerten, bevor du einen Prompt automatisierst
Die Bewertung trennt einen improvisierten Prompt von einer verlässlichen Automatisierung. Lerne die 10-Tests-Regel, die vier Kriterien und wie du ein zweites Modell als Prüfer einsetzt.
Die Ausgabe eines LLM zu bewerten ist der Schritt, der einen improvisierten Prompt von einer verlässlichen Automatisierung trennt. Das Ziel ist, nicht mehr jede Ausgabe von Hand zu prüfen. Dafür brauchst du eine klare Methode, um Qualität zu messen, und musst wissen, wann ein zweites Modell als Prüfer auftreten sollte.
Sollte ich diesen Prompt bewerten?
Das hängt davon ab, ob die Aufgabe einmalig oder wiederkehrend ist.
- Einmalige Aufgabe (z. B. ein Gesetz einmal nachschlagen): Eine kurze manuelle Prüfung genügt meist.
- Wiederkehrende Aufgabe (z. B. die Betreffzeile der wöchentlichen Kunden-E-Mail schreiben): Die Bewertung ist vor der Automatisierung Pflicht.
Faustregel zum Testen: Führe den Prompt etwa 10-mal mit verschiedenen Eingaben aus.
| Ergebnis | Was zu tun ist |
|---|---|
| 10/10 decken deinen Anwendungsfall ab | Sicher zu automatisieren |
| 8–9/10 | Prompt weiter verfeinern |
| Weniger als 8 | Der Prompt ist noch nicht so weit |
Die vier Bewertungskriterien
Nutze sie als Filter, bevor du einen Prompt in ein eigenes GPT, einen Agenten oder einen Workflow (z. B. n8n) übernimmst. Nicht jedes Kriterium wiegt bei jeder Aufgabe gleich.
| Kriterium | Welche Frage es beantwortet | Wann es am wichtigsten ist |
|---|---|---|
| Konsistenz | Liefert der Prompt in allen 10 Tests dieselbe Art von Ergebnis? | Jede wiederkehrende Automatisierung. Ohne sie kannst du die Aufgabe nicht aus der Hand geben |
| Genauigkeit | Ist der Inhalt sachlich korrekt und der Quelle treu? | Dateien analysieren, Berichte erstellen, Aufgaben aus Meetings extrahieren. Beim Brainstorming oder bei Fiktion kaum relevant |
| Relevanz | Bleibt die Ausgabe bei dem, was gefragt war, ohne in unpassende Abschnitte abzudriften? | Strukturierte Berichte, Zusammenfassungen, Vorlagen-Ergebnisse |
| Klarheit | Hält die Ausgabe die Vorgaben des Prompts ein (Zeichenlimit, Ton, Stimme)? | Alles mit Format- oder Stilvorgaben, etwa E-Mail-Betreffs, Social Posts, Markenstimme |
Wähle die Kriterien, die für deine Aufgabe zählen: Genauigkeit ist für einen juristischen Assistenten entscheidend und für eine Kurzgeschichte fast irrelevant.
Modellübergreifende Validierung
Dabei bringst du dieselbe Anfrage zu einem zweiten LLM, um die Antwort des ersten zu überprüfen. Das ist nützlich, wenn ein LLM sagt "ich finde diese Information nicht", du aber vermutest, dass sie im Dokument steht: So erkennst du Halluzinationen oder falsche Negative, ohne die ganze Quelle selbst zu lesen.
Praxisfall: Gemini vs. ChatGPT. In Gemini wurde ein Prompt für einen juristischen Assistenten über das Kreditinstitutsgesetz (Ley de Instituciones de Crédito), Anhang 63 und das Amtsblatt eingerichtet, mit drei Regeln: als juristischer Assistent handeln, Antworten nur auf die beigefügten Dokumente stützen und "Ich habe diese Information nicht" antworten, wenn nichts gefunden wird. Auf die Frage nach der Aufbewahrung von Informationen sagte Gemini, das Gesetz erwähne sie nicht.
Validierungsschritte:
- Lade dasselbe Gesetz in ChatGPT hoch.
- Formuliere die Frage um, um Mehrdeutigkeit zu beseitigen (z. B. "Gibt es ein Gesetz zur Aufbewahrung von Informationen?").
- Nutze das Modell im Auto-Modus, damit es selbst wählt, wie viel Reasoning es einsetzt.
- ChatGPT fand Regelungen zur Aufbewahrung und Vorhaltung von Informationen und zitierte die Artikel 124 und 79.
- Kehre zu Gemini zurück und bitte es zu prüfen, ob diese Artikel das wirklich sagen. Gemini bestätigte es.
Warum waren sie uneinig? Gemini suchte nach den wörtlichen Begriffen und verfehlte die Nuance; ChatGPT verstand die Absicht hinter der Frage.
Wenn zwei LLMs nicht übereinstimmen:
- Formuliere die Frage in jedem Modell um.
- Bitte beide, die genaue Passage aus dem Dokument zu zitieren.
- Prüfe jedes Zitat im jeweils anderen Modell gegen.
- Kann keines die wörtliche Quelle liefern, geh von einer wahrscheinlichen Halluzination aus.
Prompts regelmäßig neu bewerten
Modelle ändern sich ohne Ankündigung. Selbst wenn der Name gleich bleibt (GPT-4, GPT-5, Opus 4.1, Sonnet), passen Anbieter Interna an, die das Verhalten über Nacht verändern können. Deine Rolle verschiebt sich vom Erledigen der Aufgabe dazu, zu prüfen, dass die KI sie weiterhin gut erledigt, und den Prompt zu korrigieren, wenn sie deine Kriterien nicht mehr erfüllt.
Vor dem Automatisieren die Grundfrage stellen
Braucht dieses Problem wirklich KI? Einen verlässlichen Prompt zu bauen, zu bewerten und zu pflegen kostet Zeit. Manchmal löst eine Vorlage, ein Makro oder ein klar definierter manueller Prozess es einfacher und günstiger.
Schnelle Checkliste
- Ist die Aufgabe wiederkehrend? (Wenn nicht, ist eine Bewertung vielleicht unnötig.)
- Brauche ich wirklich KI, oder würde eine Vorlage oder ein Makro reichen?
- Welche der 4 Kriterien sind für diese Aufgabe am wichtigsten?
- Habe ich mit ~10 verschiedenen Eingaben getestet?
- Habe ich nach der letzten Änderung alle 10 erneut getestet?
- Habe ich kritische Informationen mit einem zweiten Modell gegengeprüft?
- Haben beide Modelle die genaue Quellenpassage zitiert?
- Habe ich eine wöchentliche Nachprüfung eingeplant?
Kurzes Glossar: Modellübergreifende Validierung heißt, ein zweites LLM zu nutzen, um die Ausgabe des ersten zu prüfen; die wörtliche Suche sucht exakte Wörter, die semantische versteht die Absicht (eine häufige Ursache falscher "nicht gefunden"-Antworten); und eine Prompt-Regression ist ein Prompt, der früher funktionierte, nach einer Änderung oder einem stillen Modell-Update aber versagt.
Wichtigste Erkenntnisse
- Bewerte vor dem Automatisieren: etwa 10 Tests mit verschiedenen Eingaben, nach jeder Änderung wiederholt.
- Wähle die Kriterien, die zählen: Konsistenz, Genauigkeit, Relevanz und Klarheit.
- Validiere kritische Informationen mit einem zweiten Modell und verlange das genaue Zitat.
- Bewerte wöchentlich neu: Modelle ändern sich ohne Ankündigung.
- Frag dich, ob das Problem wirklich KI braucht.