Temperature und Top P: Warum derselbe Prompt unterschiedliche Ergebnisse liefert
Zwei versteckte Einstellungen erklären, warum derselbe Prompt nicht immer gleich antwortet. Lerne, was Temperature und Top P bewirken und wann du sie erhöhen oder senken solltest.
Hast du schon mal Kaffee nach demselben Rezept gebrüht und jeden Tag ein anderes Ergebnis bekommen? Bei LLMs passiert etwas Ähnliches: Derselbe Prompt kann wegen zweier versteckter Einstellungen unterschiedliche Ergebnisse liefern, Temperature und Top P. Beide regulieren die "Kreativität" des Modells, funktionieren aber unterschiedlich. Du findest sie im Playground von Tools wie Google AI Studio (Top P steht in den erweiterten Einstellungen).
Wie das Modell Text erzeugt
LLMs sagen das nächste Wort (Token) Schritt für Schritt voraus, mithilfe des Aufmerksamkeitsmechanismus und des verfügbaren Kontextfensters. In jedem Schritt hat das Modell eine Wahrscheinlichkeitsverteilung über die möglichen nächsten Tokens. Temperature und Top P verändern, wie das Modell daraus auswählt.
Temperature: das Kreativitäts-Thermometer
Sie steuert, wie zufällig die Token-Auswahl ist.
- Niedrige Temperature (z. B. 0,05): konsistente, vorhersehbare, sichere Ausgabe. Gleiches Format und gleiche Struktur, stabile Informationen, und sie befolgt Anweisungen strikt (z. B. werden Längenlimits eingehalten).
- Hohe Temperature (z. B. 1): abwechslungsreichere, überraschendere, ausgearbeitetere Ausgabe, nimmt sich aber Freiheiten bei den Anweisungen.
Das Experiment: Rotkäppchen
Erzeuge eine Geschichte ähnlich wie Rotkäppchen, deine eigene Version, 250 Zeichen.| Einstellung | Ergebnis |
|---|---|
| Temperature 0,05 | Eine minimale Geschichte: Grünkäppchen bringt ihrer Großmutter einen Kuchen, ein Fuchs täuscht sie, ein Holzfäller rettet sie. Das Limit wurde eingehalten |
| Temperature 1 | Eine reichere Geschichte: ein "furchtloses" Mädchen, goldene Äpfel, der Wolf wird mit einem Rätsel herausgefordert, Happy End. Das Zeichenlimit wurde gebrochen |
Wann welches Niveau
| Aufgabentyp | Einstellung | Beispiele |
|---|---|---|
| Präzision und Konsistenz | Niedrig | Analyse juristischer Dokumente, Finanzberichte |
| Kreative Arbeit | Hoch | Videotitel, Social-Media-Posts, Storytelling |
| Gemischte Fälle | Mittel (experimentieren) | Social Post auf Basis eines wissenschaftlichen Artikels |
Top P (Nucleus Sampling)
Es steuert den Pool an Wörtern, aus dem das Modell beim Aufbau einer Antwort wählen darf.
- Niedriges Top P: nur die wahrscheinlichsten, sichersten Wörter, also weniger Vielfalt und mehr Wiederholung.
- Hohes Top P: ein breiterer Wortschatz mit mehr Synonymen und einer anspruchsvolleren, vielfältigeren Sprache.
Technisches Detail: Top P behält die kleinste Menge an Tokens, deren kumulierte Wahrscheinlichkeit P erreicht. Top P = 0,1 behält zum Beispiel nur die obersten Kandidaten, die 10 % der Wahrscheinlichkeitsmasse abdecken.
Ergebnisse des Experiments: Mit Top P 0,05 war die Geschichte fast identisch mit der bei niedriger Temperature. Mit Top P 1 erfand das Modell eine Figur (Luna), ergänzte Dialog und schrieb eine reichere Erzählung.
Temperature vs. Top P
| Temperature | Top P | |
|---|---|---|
| Steuert | Wie zufällig die Wahl ist | Welche Wörter wählbar sind |
| Niedriger Wert | Vorhersehbar, konsistent | Sicherer, repetitiver Wortschatz |
| Hoher Wert | Überraschend, ausgearbeitet | Vielfältiger, anspruchsvoller Wortschatz |
Noch ein technisches Detail: Temperature formt die Wahrscheinlichkeitsverteilung um (flacher oder spitzer), während Top P sie abschneidet.
Kann man sie kombinieren?
Viele Leitfäden empfehlen, jeweils nur eines zu ändern. In der Praxis kann die Kombination je nach Problem gut funktionieren. Mit beiden auf 0,05 erhältst du das konservativste Ergebnis (kurz, vorhersehbar, ohne Überraschungen).
- Berichte und Analysen: Senke beide für maximale Präzision.
- Kreative Arbeit: Erhöhe beide und passe dann nach Geschmack an.
- Gemischte Probleme: Experimentiere mit Kombinationen, bis du die Balance findest.
Ein praktischer Ablauf: Google AI Studio lässt dich jede Version speichern und im Verlauf vergleichen, es funktioniert also wie ein Testlabor. Frag dich vor der Wahl der Einstellungen, ob du Genauigkeit oder Kreativität brauchst, und teste an einem echten Problem.
Wichtigste Erkenntnisse
- Unterschiedliche Ergebnisse beim selben Prompt sind kein Bug; sie stammen von den Sampling-Einstellungen.
- Niedrige Werte = Kontrolle und Konsistenz. Hohe Werte = Kreativität und Vielfalt, mit geringerer Befolgung der Anweisungen.
- Temperature steuert die Zufälligkeit; Top P steuert den Wortschatz-Pool.
- Es gibt keine universell beste Einstellung: Sie hängt von der Aufgabe ab, also iteriere und vergleiche.