/01Grundidee und Verfahren
Neuronale Netze enthalten nach dem Training häufig redundante oder sehr schwache Verbindungen (Gewichte nahe null), die kaum zur Ausgabe beitragen. Pruning identifiziert und entfernt diese Gewichte, um das Modell zu verkleinern.
Man unterscheidet unstrukturiertes Pruning (einzelne Gewichte werden auf null gesetzt) und strukturiertes Pruning (ganze Neuronen, Attention-Heads oder Schichten werden entfernt). Strukturiertes Pruning erzielt auf Standard-Hardware messbare Speedups, da keine speziellen Sparse-Operationen nötig sind.
/02Ablauf und Metriken
Typischer Ablauf: vortrainiertes Modell – Wichtigkeitsbewertung der Gewichte – Entfernung der unwichtigsten Anteile – Fine-Tuning (Retraining) zur Qualitätssicherung. Moderne Verfahren wie SparseGPT oder Wanda ermöglichen einmaliges Post-Training-Pruning ohne aufwendiges Retraining.
- Unstrukturiertes Pruning: bis zu 50-90 % Gewichte entfernbar bei geringem Qualitätsverlust
- Strukturiertes Pruning: direkte Modellverkleinerung, aber aggressiverer Qualitätsabfall
- Kombination mit Quantisierung für maximale Komprimierung verbreitet
- Wichtig: Qualitätsmessung auf domänenspezifischen Benchmarks, nicht nur allgemeinen
Merksatz
Pruning ist wie das Zurückschneiden eines Baumes: Zu vorsichtiges Beschneiden bringt kaum Effizienzgewinn, zu aggressives schadet der Leistung – die richtige Balance erfordert Evaluierung.
/03Relevanz für den Mittelstand
Wer Modelle lokal oder auf begrenzter Hardware betreiben muss, profitiert von Pruning als kostengünstigem Weg zu kleineren Modellen. Besonders für Edge-Deployments (z. B. on-premise ohne leistungsfähige GPUs) kann strukturiertes Pruning die Hardware-Anforderungen deutlich senken. Allerdings erfordert die Qualitätssicherung nach dem Pruning fachliches Know-how und repräsentative Testdaten aus dem eigenen Anwendungsbereich.