Das Kontextfenster: Warum dein Chat vergesslich wird
Das Kontextfenster ist alles, was ein LLM auf einmal verarbeiten kann. Verstehe, warum es bei langen Eingaben versagt, und lerne drei Techniken, um die Kontrolle zu behalten.
Stell dir das Kontextfenster als Schreibtisch vor, die Tokens sind die Blätter, die obenauf liegen. Passen 10 Blätter auf den Tisch und du legst 20 darauf, wie entscheidest du, welche du ansiehst? Vor demselben Problem steht das Modell. Deine Aufgabe ist, die richtigen Blätter auszuwählen, den Tisch aufgeräumt zu halten und zu erkennen, wann du ihn in einem neuen Fenster neu ordnen solltest.
Was ist das Kontextfenster?
Es ist die gesamte Informationsmenge, die ein LLM in einer einzigen Interaktion auf einmal verarbeiten kann. Dazu gehören alle Nachrichten der Unterhaltung (deine und die des Modells), die System- bzw. Anfangsanweisungen und alle hochgeladenen Dateien. Es wird in Tokens gemessen und füllt sich sowohl durch längere Chats als auch durch hochgeladene Dokumente.
Aufmerksamkeit und Tokens
Der Aufmerksamkeitsmechanismus unterscheidet ein LLM von einer Tastatur-Vorhersage: Er gewichtet die Bedeutung jedes Wortes im Prompt, um Absicht und Sinn zu erfassen. Aufmerksamkeit ist aber eine endliche Ressource: Je mehr Inhalt im Fenster steckt, desto mehr verdünnt sie sich.
Tokens sind die Einheit, mit der das Modell deinen Prompt liest, und sie entsprechen nicht eins zu eins Wörtern. Beim Training lernt das Modell, wo es Sprache "schneiden" muss, wie ein Koch, der weiß, wie er jede Zutat zerteilt. Im Spanischen sind etwa "¿" und "?" getrennte Tokens, weil jedes eine Bedeutung trägt. Faustregel im Englischen: 1 Token ≈ ¾ Wort.
| Modell (laut Kurs) | Fenster | Ungefähre Entsprechung |
|---|---|---|
| ChatGPT | 128.000 Tokens | ~300 Buchseiten |
| Gemini | 1.000.000 Tokens | über 120.000 Seiten |
Das sind ungefähre Grenzen, die sich je nach Modell und Version ändern. Mehr Kapazität hilft, löst aber nicht alles.
Warum LLMs bei langen Kontexten versagen
Das Problem heißt Nadel im Heuhaufen (needle in a haystack): Bei zu vielen Informationen muss das Modell eine bestimmte Angabe unter Tausenden von Seiten finden. Die Aufmerksamkeit verdünnt sich, und das Halluzinationsrisiko steigt. Selbst Modelle mit riesigen Fenstern verlieren jenseits von ~128.000 Tokens an Effizienz.
Die drei häufigsten Fehler:
- Informationen aus dem analysierten Dokument halluzinieren oder vergessen.
- Aufgaben oder Rollen vermischen. Beispiel: Erst sagst du "handle als Forscher zur globalen Erwärmung", dann "handle als Social-Media-Manager", und das Modell vermengt beides.
- Anfangsanweisungen vergessen. Beispiel: Du wolltest pragmatische, umsetzbare Zusammenfassungen mit 500 Wörtern, und es driftet zurück zu langen, poetischen Antworten.
Warum vergisst es Anweisungen? Weil das Aufmerksamkeitsmodell dem Ende des Prompts mehr Gewicht gibt. Je länger der Chat wird, desto mehr verlieren frühe Anweisungen gegenüber neueren Nachrichten an Gewicht.
Drei Optimierungstechniken
Technik 1: Setze das Wichtige ans Ende. Das LLM gewichtet den letzten Teil des Prompts stärker. Wiederhole in einem langen Chat die Schlüsselfaktoren direkt vor der neuen Aufgabe.
Technik 2: Nutze Signale, die deine Sprache schon versteht. Was in menschlicher Sprache eine Bedeutung hat, hat sie auch für das LLM:
- GROSSBUCHSTABEN, um kritische Anweisungen zu betonen.
- Wiederholung wichtiger Informationen an verschiedenen Stellen.
- Ausrufezeichen, um Dringlichkeit oder Wichtigkeit zu markieren.
Technik 3: Erkenne Widersprüche und starte einen sauberen Chat. Stelle Kontrollfragen (z. B. "Welche Abteilungen hast du abgedeckt?"). Ist die Ausgabe unvollständig oder inkonsistent, übernimm die bis dahin nützlichen Informationen in einen neuen Chat mit sauberem Fenster und setze die Aufgabe dort fort.
Fasse den Bericht jeder Abteilung in 500 Wörtern zusammen, pragmatisch und umsetzbar.
DENK DARAN: Es sind 5 ABTEILUNGEN. Decke alle fünf ab, lass keine aus.Was du in ein LLM hochladen solltest
Goldene Regel: Gib nur das ein, was zur Lösung des Problems nötig ist. Zusätzliche Informationen lösen das Nadel-im-Heuhaufen-Problem aus und erhöhen die Halluzinationswahrscheinlichkeit.
Schnelle Checkliste
- Ist jede Datei und jede Nachricht, die ich einbinde, für diese Aufgabe nötig?
- Stehen meine kritischen Anweisungen am Ende des Prompts?
- Habe ich Schlüsselregeln betont (Großbuchstaben, Wiederholung, "!")?
- Wechsle ich mitten im Chat Rollen oder Aufgaben? Dann starte einen neuen Chat.
- Ist die Ausgabe unvollständig oder ignoriert sie frühere Anweisungen? Prüfe und starte mit einem sauberen Fenster neu.
Wichtigste Erkenntnisse
- Das Kontextfenster ist alles, was das Modell auf einmal verarbeitet, und es wächst mit jedem Beitrag.
- Aufmerksamkeit ist endlich: mehr Inhalt bedeutet mehr Verdünnung.
- Das Ende des Prompts wiegt mehr: Wiederhole dort das Kritische.
- Lade nur das Nötige hoch und wechsle nicht mitten im Chat die Rolle.
- Ist die Ausgabe unvollständig oder widersprüchlich, prüfe und starte einen sauberen Chat.