- Top-k Sampling: Auswahl des nächsten Tokens nur aus den k wahrscheinlichsten. k=50: Nur Top-50-Kandidaten werden betrachtet.
- Anstatt aus dem gesamten Vokabular (oft 50.000 bis 100.000 Tokens) das nächste Wort zu wählen, beschränkt Top-k die Auswahl auf die k wahrscheinlichsten Kandidaten.
- Bei k=50 werden also nur die 50 Tokens mit der höchsten Wahrscheinlichkeit berücksichtigt, alle anderen werden ausgeschlossen.
- Die verbleibenden Wahrscheinlichkeiten werden dann neu normalisiert, sodass sie sich wieder zu 1 summieren.
- Die Wahl des k-Wertes ist entscheidend: Ein kleines k (z.B. 10) erzeugt fokussiertere, kohärentere Texte, schränkt aber die Vielfalt ein.
/01Was ist Top-k Sampling?
Top-k Sampling ist eine Methode zur Steuerung der Textgenerierung bei Sprachmodellen. Anstatt aus dem gesamten Vokabular (oft 50.000 bis 100.000 Tokens) das nächste Wort zu wählen, beschränkt Top-k die Auswahl auf die k wahrscheinlichsten Kandidaten. Bei k=50 werden also nur die 50 Tokens mit der höchsten Wahrscheinlichkeit berücksichtigt, alle anderen werden ausgeschlossen. Aus diesen Top-k Kandidaten wird dann zufällig gewählt, gewichtet nach ihren Wahrscheinlichkeiten.
Wie funktioniert Top-k Sampling?
Bei jedem Generierungsschritt berechnet das Sprachmodell eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Tokens. Ohne Sampling würde immer das wahrscheinlichste Token gewählt (Greedy Decoding), was zu repetitiven und langweiligen Texten führt. Top-k Sampling sortiert die Tokens nach Wahrscheinlichkeit, behält nur die oberen k und setzt die Wahrscheinlichkeiten aller übrigen auf null. Die verbleibenden Wahrscheinlichkeiten werden dann neu normalisiert, sodass sie sich wieder zu 1 summieren.
Die Wahl des k-Wertes ist entscheidend: Ein kleines k (z.B. 10) erzeugt fokussiertere, kohärentere Texte, schränkt aber die Vielfalt ein. Ein großes k (z.B. 500) erlaubt mehr Kreativität, erhöht aber das Risiko unsinniger Wörter. Das Problem von Top-k ist, dass der feste Wert nicht zur jeweiligen Situation passt. Manchmal gibt es nur drei sinnvolle Fortsetzungen, manchmal hundert. Top-p Sampling löst dieses Problem durch eine dynamische Grenze.
Warum ist Top-k Sampling wichtig?
Top-k Sampling gehört zu den grundlegenden Parametern, die bei der Nutzung von KI-APIs eingestellt werden können. Gemeinsam mit Temperature und Top-p Sampling bildet es das Steuerungsdreieck für die Textgenerierung. Für Unternehmen, die KI-Textgenerierung einsetzen, ist es wichtig zu verstehen, dass die Qualität der Ausgabe nicht nur vom Modell abhängt, sondern maßgeblich von diesen Sampling-Parametern beeinflusst wird. Die richtige Konfiguration kann den Unterschied zwischen brauchbaren und unbrauchbaren Ergebnissen ausmachen.