- PEFT: Sammelbegriff für Fine-Tuning-Techniken, die mit wenigen trainierbaren Parametern effizient an neue Aufgaben anpassen.
- Sie reduzieren den Speicher- und Rechenaufwand drastisch, oft auf unter 1 % der ursprünglichen Trainingskosten.
- Mit QLoRA kann ein 7-Milliarden-Parameter-Modell auf einer 24-GB-GPU in wenigen Stunden auf firmeneigene Dokumente fine-getunet werden – für klassisches Full Fine-Tuning wären mehrere A100-GPUs nötig.
/01Was ist PEFT?
Parameter-Efficient Fine-Tuning bezeichnet eine Familie von Methoden, die ein vortrainiertes Modell für eine spezifische Aufgabe anpassen, ohne alle Milliarden von Parametern neu zu trainieren. Stattdessen werden nur kleine Adaptermodule, Präfixe oder Low-Rank-Matrizen trainiert – der Rest bleibt eingefroren.
Die bekanntesten PEFT-Techniken sind LoRA (Low-Rank Adaptation), QLoRA (quantisiertes LoRA), Prefix Tuning und Adapter-Layer. Sie reduzieren den Speicher- und Rechenaufwand drastisch, oft auf unter 1 % der ursprünglichen Trainingskosten.
/02Wichtige PEFT-Methoden im Überblick
Die Wahl der PEFT-Methode hängt von Modellgröße, Zielaufgabe und verfügbarer Hardware ab. LoRA ist derzeit die meistgenutzte Methode für LLMs, weil es stabil, gut toolgestützt und auf Consumer-Hardware lauffähig ist.
- LoRA: Trainiert zwei kleine Niedrigrang-Matrizen pro Schicht – sehr geringer Speicherbedarf
- QLoRA: Kombiniert LoRA mit 4-Bit-Quantisierung, ermöglicht Fine-Tuning auf einer einzigen GPU
- Prefix Tuning: Fügt lernbare Token-Präfixe zum Kontext hinzu, Modellgewichte bleiben unverändert
- Adapter Layer: Kleine trainierbare Schichten zwischen bestehenden Modellschichten eingefügt
Praxisbeispiel
Mit QLoRA kann ein 7-Milliarden-Parameter-Modell auf einer 24-GB-GPU in wenigen Stunden auf firmeneigene Dokumente fine-getunet werden – für klassisches Full Fine-Tuning wären mehrere A100-GPUs nötig.
/03Relevanz für den Mittelstand
PEFT ist der Schlüssel, der LLM-Anpassung für KMU praktikabel macht. Ohne PEFT wäre Fine-Tuning auf firmeneigenen Daten nur mit kostspieligem Cloud-Cluster oder spezialisiertem Team möglich. Mit LoRA/QLoRA lassen sich Modelle wie Llama oder Mistral auf Standardhardware innerhalb eines Tages anpassen – etwa für Tonalität, Fachvokabular oder spezifische Antwortformate.