- Scaling Laws: Empirische Gesetzmäßigkeiten, die zeigen, wie KI-Modellleistung mit zunehmenden Parametern, Trainingsdaten und Rechenkapazität skaliert.
- Wegweisend waren die Untersuchungen von OpenAI (Kaplan et al., 2020) und später DeepMinds Chinchilla-Studie (2022).
- Scaling Laws erklären, warum GPT-4 deutlich fähiger ist als GPT-3 — und warum dieser Sprung nicht linear, sondern überproportional wirkt.
/01Was sind Scaling Laws?
Scaling Laws (Skalierungsgesetze) beschreiben mathematisch, wie sich die Leistung von KI-Modellen in Abhängigkeit von drei zentralen Faktoren verbessert: der Anzahl der Modellparameter, der Menge der Trainingsdaten und der eingesetzten Rechenleistung (Compute). Wegweisend waren die Untersuchungen von OpenAI (Kaplan et al., 2020) und später DeepMinds Chinchilla-Studie (2022).
Das Besondere an Scaling Laws: Die Verbesserungen folgen Potenzgesetzen und sind daher über viele Größenordnungen hinweg vorhersagbar. Das erlaubt es KI-Laboren, die zu erwartende Modellleistung zu schätzen, bevor ein teures Training abgeschlossen ist.
/02Kernergebnisse der Forschung
Die wichtigsten Erkenntnisse aus der Scaling-Laws-Forschung lassen sich so zusammenfassen:
- Größere Modelle sind effizienter trainierbar als viele kleine Modelle gleicher Gesamtparameterzahl
- Chinchilla-Optimum: Modellgröße und Datenmenge sollten proportional skalieren
- Jenseits eines Schwellenwerts sinkt der Grenznutzen pro verdoppelten Compute
- Test-Time Compute kann Trainings-Skalierung teilweise ersetzen (neuere Erkenntnis 2024/25)
Warum das für Einkäufer von KI-Diensten wichtig ist
Scaling Laws erklären, warum GPT-4 deutlich fähiger ist als GPT-3 — und warum dieser Sprung nicht linear, sondern überproportional wirkt. Modelle im nächsten Größenbereich leisten qualitativ mehr als nur schrittweise Verbesserungen.
/03Relevanz für den Mittelstand
Mittelständische Unternehmen müssen Scaling Laws nicht selbst anwenden, aber verstehen, warum neue Modellgenerationen qualitative Sprünge machen. Dieses Wissen hilft bei der Bewertung von KI-Angeboten: Ein neueres, größeres Basismodell schlägt ältere Modelle oft systematisch bei komplexen Aufgaben. Für Make-or-Buy-Entscheidungen ist es sinnvoll, Modellversionen und ihre Benchmark-Leistungen zu vergleichen.