- Prompt Tuning: Leichtgewichtige Anpassungsmethode: Nur eine Handvoll trainierbarer Token-Repräsentationen steuern das Modellverhalten.
- Nur die Soft-Prompt-Parameter (typischerweise 10–100 Token) werden trainiert.
- Bei sehr großen Modellen ab etwa 10 Milliarden Parametern erreicht Prompt Tuning laut Originalforschung (Lester et al. 2021) eine vergleichbare Performance wie Full Fine-Tuning.
/01Was ist Prompt Tuning?
Prompt Tuning ist eine PEFT-Methode, bei der lernbare Vektoren (sogenannte Soft Prompts) am Anfang des Eingabesequenz eingefügt werden. Anders als handgeschriebene Prompts sind diese Vektoren keine lesbaren Wörter, sondern kontinuierliche Repräsentationen im Einbettungsraum, die durch Gradientenabstieg optimiert werden.
Die Modellgewichte bleiben vollständig eingefroren. Nur die Soft-Prompt-Parameter (typischerweise 10–100 Token) werden trainiert. Das macht Prompt Tuning zu einer der sparsamsten Anpassungsmethoden überhaupt.
/02Abgrenzung zu verwandten Methoden
Prompt Tuning unterscheidet sich von Prefix Tuning (das Präfixe tiefer in das Modell einfügt) und von manuellem Prompt Engineering (bei dem keine Parameter trainiert werden). Bei sehr großen Modellen ab etwa 10 Milliarden Parametern erreicht Prompt Tuning laut Originalforschung (Lester et al. 2021) eine vergleichbare Performance wie Full Fine-Tuning.
- Minimale Parameteranzahl: oft unter 0,01 % des Gesamtmodells
- Modellgewichte bleiben eingefroren – kein Catastrophic Forgetting
- Weniger effektiv bei kleinen Modellen als LoRA oder Full Fine-Tuning
- Soft Prompts nicht interpretierbar – schwer zu debuggen
Abgrenzung: Soft Prompt vs. Hard Prompt
Ein Hard Prompt ist lesbarer Text (z. B. Antworte auf Deutsch). Ein Soft Prompt ist ein optimierter Vektor im Modell-Einbettungsraum – nicht lesbar, aber für spezifische Aufgaben präziser steuerbar.
/03Relevanz für den Mittelstand
Prompt Tuning ist interessant, wenn ein Modell für viele Mandanten oder Abteilungen angepasst werden soll: Pro Aufgabe wird nur ein kleiner Soft-Prompt gespeichert, das Basismodell bleibt gemeinsam genutzt. Das spart erheblich Speicher gegenüber vollständigen Fine-Tuning-Varianten pro Nutzer. Für die meisten KMU-Anwendungen bleibt LoRA jedoch praktikabler, da Tooling und Dokumentation weiter gereift sind.