Distillation: 80% der Leistung zu einem Fuenfzigstel der Groesse - der Weg zum eigenen Reasoning-Modell

Die letzten Jahre standen im Zeichen der Größe: Wer das leistungsfähigste KI-Modell wollte, brauchte hunderte Milliarden Parameter, GPU-Cluster im Millionenwert und einen entsprechenden Strombezug. Für den Mittelstand war produktives Reasoning damit praktisch nur über die Cloud erreichbar – mit allen bekannten Nachteilen für Datenschutz, Kostenkontrolle und Planbarkeit. Seit Anfang 2025 hat sich diese Gleichung verschoben. Der Grund heißt Model Distillation.

Distillation überträgt die Fähigkeit eines großen, teuren Modells in ein kleines, günstiges – und behält davon erstaunlich viel. Das Resultat sind kompakte Reasoning-Modelle, die auf bescheidener eigener Hardware laufen. In diesem Artikel klären wir, wie Distillation funktioniert, was der DeepSeek-R1-Fall wirklich belegt (und was nicht), warum sich die Technik betriebswirtschaftlich rechnet – und wo ihre ehrlichen Grenzen liegen.

Was Model Distillation ist – Teacher und Student

Der Grundgedanke ist überraschend einfach. Bei der Distillation gibt es zwei Modelle: einen starken, großen Teacher und einen kleinen Student. Der Student wird nicht auf rohen Trainingsdaten trainiert, sondern auf den Ausgaben des Teachers – also auf dessen Antworten, Wahrscheinlichkeitsverteilungen (Logits) und, im Fall von Reasoning-Modellen, auf dessen ausformulierten Gedankenketten.

Der entscheidende Punkt: Ein starker Teacher liefert nicht nur die richtige Antwort, sondern auch ein reichhaltiges Signal darüber, wie sicher er bei jeder Alternative ist und über welche Zwischenschritte er zur Lösung gelangt. Genau dieses „weiche" Wissen ist kompakter übertragbar als das mühsame Lernen aus Rohdaten. Der Student muss das Rad nicht neu erfinden – er lernt vom fertigen Experten.

• Student lernt aus Teacher-Ausgaben: Statt aus dem gesamten Internet lernt der Student aus kuratierten, hochwertigen Beispielen eines bereits starken Modells.
• Reasoning-Muster wandern mit: Bei Reasoning-Distillation werden die kompletten Gedankenketten (Chain-of-Thought) des Teachers übernommen – der Student lernt nicht nur was, sondern wie gedacht wird.
• Effizienzsprung seit Anfang 2025: Distillation hat die Effizienz von Fine-Tuning und Deployment massiv gesteigert – kleine Modelle erreichen Fähigkeiten, die vorher großen vorbehalten waren.
• Ziel: maximale Fähigkeit pro Parameter: Nicht das größte Modell gewinnt, sondern das, das am meisten Kompetenz in die wenigsten Parameter packt.

DeepSeek hat diese Methode für Reasoning-Modelle populär gemacht, indem kompakte Checkpoints auf rund 800.000 vom R1-Teacher generierten Reasoning-Beispielen feinjustiert wurden. Das Prinzip ist damit kein Laborexperiment mehr, sondern reproduzierbar dokumentiert.

Der DeepSeek-R1-Beweis: 80% bei einem Fuenfzigstel

Im Januar 2025 veröffentlichte DeepSeek sein Reasoning-Modell R1 – und lieferte gleich eine ganze Familie destillierter Kleinmodelle mit. Diese Distillate reichen von 1,5 Milliarden bis 70 Milliarden Parametern und zeigen eindrucksvoll, wie weit sich Reasoning-Fähigkeit verdichten lässt.

Das meistzitierte Beispiel ist das 1,5B-Modell (DeepSeek-R1-Distill-Qwen-1.5B). Es ist rund 47-mal kleiner als die 70B-Variante – also grob ein Fünfzigstel. Und trotz dieses Winzformats schlägt es auf Mathematik-Benchmarks Schwergewichte wie GPT-4o und Claude 3.5 Sonnet. Der Grund: Als Basis dient Qwen2.5-Math-1.5B, was die überproportionale Mathe-Stärke erklärt.

Ein Blick auf die offiziellen Benchmark-Zahlen aus dem DeepSeek-R1-Paper macht das konkret:

Benchmark	R1-Distill 1,5B	R1-Distill 70B	Anteil 1,5B
MATH-500	83,9 %	94,5 %	~89 %
AIME 2024	28,9 %	70,0 %	~41 %
GPQA Diamond	33,8 %	65,2 %	~52 %

Die Botschaft lautet also nicht „klein ersetzt groß überall", sondern: Auf der Zielaufgabe kann ein Destillat verblüffend nah an den Teacher heranreichen. Reasoning bleibt dabei erhalten – der Student generiert nicht nur flüssigen Text, sondern arbeitet echte Lösungswege ab. Für die meisten praktischen Unternehmensaufgaben zählt genau das.

Die Enterprise-Rechnung: 80% Leistung zu 10% Kosten

Warum ist Distillation für Unternehmen so attraktiv? Weil sie eine Frage beantwortet, die 2026 in jeder IT-Budgetrunde gestellt wird. Der Marktbeobachter Computer Weekly bringt sie fast wörtlich auf den Punkt: Wie bekommen wir „80 % der Leistung zu 10 % der Kosten" teurer, rechenhungriger Foundation-Modelle?

Die betriebswirtschaftliche Mechanik dahinter ist unbestechlich:

• Weniger VRAM, weniger GPUs, weniger Energie: Ein kleineres Modell passt auf günstigere Hardware und zieht weniger Strom – Anschaffung und Betrieb sinken gleichzeitig.
• Höherer Durchsatz: Günstigere Inferenz bedeutet, dass Sie mit derselben Hardware deutlich mehr Anfragen pro Sekunde beantworten – oder dieselbe Last mit einem Bruchteil der Maschinen fahren.
• Spezialisierung statt Generalist: Statt eines teuren Alleskönners betreiben Sie mehrere kleine, je auf ihre Aufgabe destillierte Student-Modelle – jedes optimal auf seinen Zweck zugeschnitten.
• Planbare Fixkosten: Eigene Hardware ersetzt volumenabhängige API-Rechnungen – ein entscheidender Vorteil, sobald das Nutzungsvolumen steigt.

Damit wird aus einer technischen Randnotiz eine strategische Weichenstellung: Nicht jede Aufgabe braucht das größte verfügbare Modell. Für den Großteil der realen Unternehmensfälle genügt ein spezialisiertes Destillat – und das verändert die gesamte Kostenstruktur eines KI-Betriebs.

Warum destillierte Modelle ideal für On-Premise sind

Hier schließt sich der Kreis zum eigentlichen Vorteil für den Mittelstand. Der geringe Ressourcenbedarf destillierter Modelle macht Reasoning auf eigener, bescheidener Hardware möglich – und genau diese Kombination macht On-Premise-KI wirtschaftlich.

Nehmen wir die 8B-Variante von DeepSeek-R1 als Referenz. In voller FP16-Präzision belegt sie rund 16 GB Speicher. Durch Quantisierung auf 4 Bit (Q4) sinkt der Bedarf auf 4 bis 5 GB VRAM – eine Reduktion um rund 75 %. Damit läuft das Modell auf einer Consumer-GPU ab etwa 8 GB VRAM flüssig. Reiner CPU-Betrieb mit 16 GB RAM ist ebenfalls möglich; für interaktive Nutzung ist er allerdings spürbar langsamer, sodass sich für den produktiven Chat-Einsatz eine kleine GPU empfiehlt.

Die Vorteile im Überblick:

• Läuft auf bescheidener Hardware: 8B quantisiert genügen wenige GB VRAM – kein Rechenzentrum, kein Spezial-Cluster.
• Quantisierung senkt den Bedarf drastisch: Rund 75 % weniger Speicher durch Q4, oft ohne nennenswerten Qualitätsverlust auf der Zielaufgabe.
• Daten bleiben im Haus: Sowohl sensible Trainings- als auch Inferenzdaten verlassen nie das eigene Netz – DSGVO- und Compliance-Fragen entschärfen sich von selbst.
• Reasoning ohne Frontier-Cluster: Planbare Fixkosten statt volumenabhängiger API-Rechnungen – die Grundlage jeder soliden TCO-Betrachtung.

Grenzen: Wann Distillation nicht reicht

So überzeugend die Technik ist – seriöse Planung braucht auch die Schattenseiten. Distillation ist kein Zaubertrick, sondern ein Trade-off. Die Benchmark-Tabelle oben hat es bereits angedeutet: Die verbleibende Lücke zum Teacher ist real und aufgabenabhängig.

• Die fehlenden 20 % können entscheidend sein: Auf harten Reasoning-Tasks (etwa AIME) bricht das 1,5B-Modell auf rund 41 % der Teacher-Leistung ein. Wo Grenzfälle und höchste Zuverlässigkeit zählen, ist das ein K.-o.-Kriterium.
• Der Student erbt die Schwächen des Teachers: Bias, blinde Flecken und systematische Fehler des großen Modells wandern mit in das Destillat – schlimmstenfalls verstärkt.
• Breite leidet zugunsten der Tiefe: Ein auf eine Zielaufgabe destilliertes Modell verliert generalistische Fähigkeit. Wer einen Allrounder braucht, ist mit einem stark spezialisierten Student schlecht bedient.
• Eval-Pipeline ist Pflicht: Nur eine eigene, aufgabennahe Evaluations-Pipeline zeigt objektiv, ob das Destillat für Ihren konkreten Anwendungsfall gut genug ist. Benchmark-Zahlen aus Papern ersetzen das nicht.

Die praktische Konsequenz: Distillation ist hervorragend für klar umrissene, wiederkehrende Aufgaben mit definierbarem Qualitätsmaßstab. Für offene, hochkomplexe oder sicherheitskritische Aufgabenstellungen sollte das Ergebnis gegen den Teacher – oder ein Frontier-Modell – gemessen und ehrlich abgewogen werden.

Der Weg zum eigenen destillierten Modell

Wie kommen Sie konkret zu einem destillierten Modell im eigenen Haus? Es gibt zwei Wege – und beide lassen sich vollständig on-premise gehen.

Schnellstart mit fertigen Checkpoints

Der einfachste Einstieg: Sie nutzen ein bereits destilliertes Modell aus der DeepSeek-R1-Distill-Familie (1,5B bis 70B) oder ein vergleichbares Open-Weight-Small Language Model. Diese Checkpoints sind frei verfügbar, laufen sofort auf gängigen Inference-Servern und decken viele Reasoning-Aufgaben bereits gut ab. Kombiniert mit unserer KIS:UI-Chat-Plattform steht damit in kurzer Zeit ein produktiver Assistent.

Eigene Distillation auf Domänendaten

Der zweite Weg geht tiefer: Sie destillieren ein Student-Modell gezielt auf Ihre eigenen, domänenspezifischen Aufgaben. Ein starker Teacher generiert dazu hochwertige Beispiele und Lösungswege für genau Ihren Anwendungsfall; der Student lernt daraus. Das Ergebnis ist ein Modell, das die Sprache und Logik Ihrer Branche beherrscht – nicht ein generischer Durchschnitt.

1. Zielaufgabe scharf definieren: Je präziser die Aufgabe, desto besser das Distillat. „Prüfaufträge klassifizieren" schlägt „alles ein bisschen".
2. Teacher wählen und Traces erzeugen: Ein starkes Reasoning-Modell produziert die Trainingsbeispiele inklusive Gedankenketten.
3. Student feintunen: Der kompakte Student wird auf diesen Beispielen trainiert – lokal, auf Ihrer Hardware.
4. Mit Quantisierung kombinieren: Das fertige Modell quantisieren Sie für minimalen Hardware-Bedarf im Betrieb.
5. Evaluieren und iterieren: Ihre Eval-Pipeline entscheidet, ob die Qualität reicht – und wo nachgeschärft werden muss.

Der entscheidende Vorteil beider Wege: Betrieb und Feintuning finden vollständig im eigenen Rechenzentrum statt. Keine sensiblen Trainingsdaten, keine Inferenzanfragen und keine Domänengeheimnisse verlassen das Haus. Ob sich der Aufwand rechnet, lässt sich vorab mit unserem KI-Schnellcheck und einer sauberen TCO-Rechnung abschätzen.

Häufig gestellte Fragen zu Model Distillation

Was bedeutet Model Distillation genau?

Ein kleines Student-Modell wird auf den Ausgaben eines starken Teacher-Modells trainiert und übernimmt dabei einen Großteil von dessen Fähigkeiten – inklusive Reasoning. Das Ergebnis ist deutlich kleiner, günstiger und schneller im Betrieb.

Wie viel Leistung geht bei Distillation verloren?

Weniger, als man denkt: Auf Mathe-Benchmarks wie MATH-500 erreicht das nur 1,5B große DeepSeek-R1-Destillat rund 89 % des 70B-Modells bei einem Fünfzigstel der Größe. Bei besonders harten Reasoning-Aufgaben (etwa AIME) fällt der Abstand deutlich größer aus – genau diese Grenzfälle sollten Sie per Eval-Pipeline prüfen.

Läuft ein destilliertes Modell auf kleiner Hardware?

Ja. Die 8B-Variante von DeepSeek-R1 belegt in FP16 rund 16 GB und läuft quantisiert mit 4 bis 5 GB VRAM – eine Reduktion um etwa 75 %. Damit genügt eine Consumer-GPU ab rund 8 GB VRAM; reiner CPU-Betrieb mit 16 GB RAM ist möglich, aber für interaktive Nutzung deutlich langsamer.

Können wir ein eigenes Modell destillieren?

Ja. Sie können mit fertigen destillierten Checkpoints starten oder ein Student-Modell auf Ihren eigenen Domänendaten destillieren – komplett auf eigener Hardware, sodass keine sensiblen Daten das Haus verlassen.