- Sampling: Methode zur Auswahl des nächsten Tokens bei Textgenerierung.
- Das Modell erzeugt zunächst eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular (typischerweise 30.000-100.000 Tokens).
- B. 0,1) machen die Verteilung spitzer und bevorzugen hochwahrscheinliche Tokens, hohe Werte (z.
- B. 1,5) verflachen sie und geben unwahrscheinlicheren Tokens mehr Chance.
- Bei Top-p von 0,9 werden Tokens einbezogen, bis ihre Gesamtwahrscheinlichkeit 90 % erreicht.
/01Was ist Sampling?
Sampling bezeichnet im KI-Kontext den Prozess, wie ein Sprachmodell das nächste Token (Wort oder Wortbestandteil) bei der Textgenerierung auswählt. Das Modell berechnet für jedes mögliche nächste Token eine Wahrscheinlichkeit und wählt dann basierend auf einer Sampling-Strategie eines davon aus. Die Wahl der Strategie bestimmt, ob die Ausgabe eher vorhersagbar und deterministisch oder kreativ und vielfältig ist.
Sampling ist der Grund, warum dasselbe Sprachmodell auf dieselbe Frage unterschiedliche Antworten geben kann -- die Zufälligkeit bei der Token-Auswahl sorgt für Variation.
Wie funktioniert Sampling?
Das Modell erzeugt zunächst eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular (typischerweise 30.000-100.000 Tokens). Verschiedene Sampling-Parameter steuern dann die Auswahl. Temperature skaliert die Wahrscheinlichkeitsverteilung: Niedrige Werte (z. B. 0,1) machen die Verteilung spitzer und bevorzugen hochwahrscheinliche Tokens, hohe Werte (z. B. 1,5) verflachen sie und geben unwahrscheinlicheren Tokens mehr Chance.
Top-k-Sampling beschränkt die Auswahl auf die k wahrscheinlichsten Tokens und ignoriert den Rest. Top-p-Sampling (auch Nucleus Sampling) wählt die kleinste Menge an Tokens aus, deren kumulative Wahrscheinlichkeit den Schwellenwert p übersteigt. Bei Top-p von 0,9 werden Tokens einbezogen, bis ihre Gesamtwahrscheinlichkeit 90 % erreicht. Greedy Decoding ist die einfachste Strategie: Es wird immer das wahrscheinlichste Token gewählt -- ohne Zufall, aber auch ohne Kreativität.
Warum ist Sampling wichtig?
Die Sampling-Einstellungen haben direkten Einfluss auf die Qualität und den Charakter der KI-Ausgabe. Für geschäftliche Anwendungen ist die richtige Konfiguration entscheidend: Bei der Extraktion von Fakten oder der Beantwortung von Fragen sollte die Temperature niedrig sein, damit das Modell präzise und konsistent antwortet. Bei kreativen Aufgaben wie Textgenerierung oder Brainstorming kann eine höhere Temperature zu vielfältigeren und originelleren Ergebnissen führen.
Wenn Sie KI-APIs nutzen, sind Temperature, Top-p und Top-k die wichtigsten Parameter, die Sie anpassen können. Ein Verständnis dieser Einstellungen ermöglicht es Ihnen, die KI-Ausgabe gezielt auf Ihren Anwendungsfall abzustimmen, ohne das Modell selbst verändern zu müssen.