Grounding: Die KI nur mit deinen Dokumenten antworten lassen
LLMs neigen dazu, immer zu antworten, auch wenn sie sich etwas ausdenken müssen. Grounding zwingt sie, bei deinen Quellen zu bleiben. Lerne die zwei Schlüsselanweisungen und wie du Antworten überprüfst.
Stell dir vor, du bist Product Manager bei einem Finanzinstitut und erstellst den Business Case für eine mobile App. Du musst die geltende Regulierung verstehen. Das Ziel ist nicht, das Rechtsteam zu ersetzen, sondern mit reiferen Vorschlägen zu kommen, damit die Juristen ihre Zeit darauf verwenden, wie deine Idee machbar wird, statt dir das Gesetz von Grund auf zu erklären. LLMs helfen dabei, aber nur, wenn du ihre Antworten kontrollierst.
Was ist Grounding?
Es ist eine Technik, die das Modell zwingt, ausschließlich mit den von dir bereitgestellten Informationen zu antworten, statt sein Allgemeinwissen zu nutzen oder Daten zu erfinden. Warum ist das nötig? Weil LLMs von Natur aus immer antworten wollen, und wenn das bedeutet, Informationen zu erfinden, tun sie es (Halluzination).
Es gibt zwei Mechanismen:
- Benenne die Quelle ausdrücklich. Beispiel: "Stütze deine Antwort NUR auf das beigefügte Dokument des Kreditinstitutsgesetzes." Das großgeschriebene "NUR" verleiht Nachdruck, wie jemand, der die Stimme hebt, um etwas zu betonen, und die Nennung des Dokuments verringert die Chance, dass das Modell eine andere Quelle als gültig behandelt.
- Gib eine Rückfallanweisung. Beispiel: "Wenn die Information nicht im Dokument steht, antworte, dass sie nicht verfügbar ist." Ohne sie sucht das Modell Muster, wo keine sind, und erfindet eine Antwort.
Stütze deine Antwort NUR auf das beigefügte Dokument: [Dokumentname]. Wenn die Information nicht im Dokument steht, antworte, dass sie nicht verfügbar ist.Teste es: wenn die Information nicht existiert
Im Kursbeispiel ging es um die Authentifizierungsanforderungen einer mobilen App, nur anhand des Kreditinstitutsgesetzes. Das Modell antwortete korrekt, dass die Information nicht verfügbar ist. Beide Mechanismen funktionierten: Es räumte fehlende Daten ein, statt etwas zu erfinden.
Mehrere Dokumente als Kontext
Mehrere Dokumente hochzuladen liefert vollständigere Antworten. Im Beispiel wurden drei Quellen genutzt: das Kreditinstitutsgesetz, Anhang 63 (elektronisches Banking) und ein Amtsblatt (Diario Oficial de la Federación).
Mit wörtlichen Zitaten validieren
Bitte das Modell, für jede genannte Anforderung das exakte Zitat aus der Quelle in Anführungszeichen anzugeben. So kannst du direkt im Quelldokument prüfen, ob die Information existiert.
Achtung: Zitate sind nicht immer exakt. Im Kurs scheiterte die Suche nach einem Zitat aus Anhang 63 im Original-PDF an Sonderzeichen im Dokument; bei der Suche nach Schlüsselwörtern (z. B. "Mobiltelefon des Nutzers") wurde die Passage gefunden, mit ähnlichem, aber nicht identischem Inhalt.
- Suche nach dem vollständigen Zitat.
- Erscheint es nicht, suche nach Fragmenten oder Schlüsselwörtern.
- Vergleiche den Inhalt, um zu bestätigen, dass er zur Aussage passt.
Auslassungsfehler über mehrere Dokumente vermeiden
Das Risiko: Das Modell kann sich auf ein Dokument konzentrieren und die anderen ignorieren (eine Halluzination durch Auslassung). Im Beispiel zitierte das Modell auf die Frage nach der Aufbewahrung von Informationen nur das Amtsblatt. Auf die ausdrückliche Nachfrage, ob das Kreditinstitutsgesetz sie erwähne, bestätigte es, dass der Begriff dort nicht vorkommt.
- Validiere kreuzweise, indem du direkt nach jedem Dokument fragst.
- Verbessere den ursprünglichen Prompt, indem du festlegst, dass in jeder Antwort alle beigefügten Dokumente zu konsultieren sind.
Checkliste für Grounding-Prompts
- Habe ich die Quelldokumente ausdrücklich benannt?
- Habe ich die "NUR"-Einschränkung eingefügt?
- Habe ich die Rückfallanweisung "nicht verfügbar" ergänzt?
- Passt die Formulierung zur Anzahl der Dokumente (Singular oder Plural)?
- Habe ich für jede Aussage wörtliche Zitate verlangt?
- Habe ich verlangt, dass in jeder Antwort alle Dokumente konsultiert werden?
- Habe ich die Zitate stichprobenartig mit den Originalen abgeglichen?
Wichtigste Erkenntnisse
- Grounding macht das LLM zu einem verlässlichen Assistenten, nicht zu einem unfehlbaren Orakel.
- Nenne die Quelle, nutze "NUR" und gib eine Rückfalloption ("nicht verfügbar").
- Passe den Prompt an die Anzahl der hochgeladenen Dokumente an.
- Verlange wörtliche Zitate und prüfe sie; schlägt das exakte Zitat fehl, suche nach Schlüsselwörtern.
- Validiere kreuzweise zwischen Dokumenten, um Auslassungen zu erkennen.