Wie ein LLM "liest": Embeddings und die Landkarte der Bedeutung

Was ist ein Embedding?

Ein Embedding (oder Vektordarstellung) ist eine Zahlenfolge, die ein Wort in einem mehrdimensionalen mathematischen Raum verortet. Seine Position spiegelt die Bedeutung des Wortes und seine Nähe zu ähnlichen Wörtern wider.

Stell dir eine riesige Bibliothek vor, in der jedes Buch nach Thema einsortiert ist: Jedes Wort erhält eine genaue "Adresse", wie ein sprachliches GPS. Maschinen verstehen nur Zahlen, deshalb wirken diese Vektoren wie die DNA eines Wortes.

Hund → [0.2, -0.5, 0.8, 0.3]
Katze → [0.21, -0.48, 0.79, 0.31]

Die Buchstaben unterscheiden sich, die Zahlen sind aber fast identisch, weil beide domestizierte Säugetiere und Tiere sind. Sie liegen also dicht beieinander.

Nähe = ähnliche Bedeutung

In diesem Raum bedeutet Nähe semantische Ähnlichkeit: König ↔ Königin, Krankenhaus ↔ Arzt, blau ↔ rot. Was für uns gesunder Menschenverstand ist, ist für ein LLM reine Geometrie.

Man kann sogar mit Konzepten rechnen:

König − Mann + Frau ≈ Königin

Das Modell erfasst komplexe Beziehungen durch Addition und Subtraktion von Koordinaten.

Wie viele Dimensionen?

Menschen stellen sich 3 Dimensionen vor; LLMs nutzen Hunderte oder Tausende (zum Beispiel 768, 1024, 1536, 2048 oder mehr, je nach Modell). Jede Dimension ist ein eigenes Merkmal, mit dem das Modell Bedeutung einordnet, und sie lassen sich nicht direkt visualisieren.

Ein schönes Werkzeug zum Erkunden ist der Embedding Projector. Suchst du nach "queen", siehst du in der Nähe Wörter wie Elizabeth, Anne, King, Mary, Princess und Catherine. Diese Nähe stammt aus dem Training mit frei verfügbarer Literatur, in der Queen Elizabeth tausendfach neben "queen" vorkommt.

LLM vs. Tastatur-Vorhersage

Tippst du zum Beispiel "der Himmel ist", wandert die Aufmerksamkeit des LLM in die Region des Vektorraums rund ums Wetter, und von dort baut es eine stimmige Antwort auf.

Was das für deine Prompts bedeutet

Jedes Wort, das du schreibst, wirkt wie ein Befehl, der den Fokus des Modells in ein bestimmtes "Viertel" der Bedeutungen lenkt. Ändert sich ein Wort, ändert sich der Kontext und damit die Qualität der Antwort.

• Wähle präzise statt allgemeiner Wörter, um das richtige semantische Viertel anzusteuern.
• Schreibe in deiner Muttersprache, wenn das Modell sie gut beherrscht: In einer Sprache, die du nicht beherrschst, gehen kulturelle Nuancen und feine Bedeutungsschattierungen verloren, und genau diese Details aktivieren die richtigen Embeddings.
• Synonyme sind nah beieinander, aber nicht austauschbar: Jedes trägt andere Konnotationen und verschiebt die Antwort anders.
• Behandle jeden Begriff als Steuerungseingabe: Formulierungen sind nicht kosmetisch, sie lenken die Aufmerksamkeit des Modells.

Kleines Experiment

Probiere die Rechnung König − Mann + Frau selbst aus, mit einer Embedding-Demo oder dem Embedding Projector, und notiere, welches Ergebnis du erhältst.