- Top-p Sampling: Auswahl aus kleinster Menge von Tokens, deren Wahrscheinlichkeiten p ueberschreiten.
- Top-p Sampling, auch Nucleus Sampling genannt, ist eine Methode zur Steuerung der Textgenerierung, die 2019 von Holtzman et al. vorgestellt wurde.
- Bei p=0,9 werden beispielsweise die wahrscheinlichsten Tokens berücksichtigt, deren Wahrscheinlichkeiten zusammen 90% ergeben.
- Typische Werte in der Praxis liegen zwischen 0,8 und 0,95. Ein p-Wert von 1,0 deaktiviert die Filterung komplett, ein Wert nahe 0 macht die Ausgabe nahezu deterministisch.
/01Was ist Top-p Sampling?
Top-p Sampling, auch Nucleus Sampling genannt, ist eine Methode zur Steuerung der Textgenerierung, die 2019 von Holtzman et al. vorgestellt wurde. Im Gegensatz zu Top-k Sampling, das eine feste Anzahl von Kandidaten betrachtet, verwendet Top-p eine dynamische Grenze: Es werden so viele Tokens einbezogen, bis ihre kumulierten Wahrscheinlichkeiten den Schwellenwert p erreichen. Bei p=0,9 werden beispielsweise die wahrscheinlichsten Tokens berücksichtigt, deren Wahrscheinlichkeiten zusammen 90% ergeben.
Wie funktioniert Top-p Sampling?
Nach jedem Generierungsschritt sortiert das Modell alle möglichen nächsten Tokens absteigend nach Wahrscheinlichkeit. Dann werden die Wahrscheinlichkeiten von oben nach unten aufaddiert, bis die Summe den Wert p erreicht. Nur die Tokens innerhalb dieses Nucleus werden als Kandidaten beibehalten, der Rest wird ausgeschlossen. Anschließend werden die Wahrscheinlichkeiten neu normalisiert und ein Token wird zufällig daraus gewählt.
Der entscheidende Vorteil gegenüber Top-k: Die Kandidatenmenge passt sich automatisch an den Kontext an. Wenn das Modell sehr sicher ist (z.B. nach „Die Hauptstadt von Frankreich ist"), erfüllen vielleicht nur zwei Tokens den Schwellenwert. In einem kreativen Kontext können es hingegen hunderte sein. Typische Werte in der Praxis liegen zwischen 0,8 und 0,95. Ein p-Wert von 1,0 deaktiviert die Filterung komplett, ein Wert nahe 0 macht die Ausgabe nahezu deterministisch.
Warum ist Top-p Sampling wichtig?
Top-p Sampling hat sich als bevorzugte Sampling-Methode in den meisten modernen KI-APIs etabliert. OpenAI, Anthropic und andere Anbieter bieten Top-p als Standardparameter an. Für Unternehmen bedeutet dies: Wer die Textgenerierung in eigenen Produkten einsetzt, sollte Top-p verstehen und gezielt konfigurieren. In Kombination mit dem Temperature-Parameter lässt sich die Ausgabe präzise auf den Anwendungsfall abstimmen, ob konservative Faktenantworten oder kreative Marketingtexte.