Scaling Laws
GrundlagenEmpirische Gesetzmäßigkeiten, die zeigen, wie KI-Modellleistung mit zunehmenden Parametern, Trainingsdaten und Rechenkapazität skaliert.
Was sind Scaling Laws?
Scaling Laws (Skalierungsgesetze) beschreiben mathematisch, wie sich die Leistung von KI-Modellen in Abhängigkeit von drei zentralen Faktoren verbessert: der Anzahl der Modellparameter, der Menge der Trainingsdaten und der eingesetzten Rechenleistung (Compute). Wegweisend waren die Untersuchungen von OpenAI (Kaplan et al., 2020) und später DeepMinds Chinchilla-Studie (2022).
Das Besondere an Scaling Laws: Die Verbesserungen folgen Potenzgesetzen und sind daher über viele Größenordnungen hinweg vorhersagbar. Das erlaubt es KI-Laboren, die zu erwartende Modellleistung zu schätzen, bevor ein teures Training abgeschlossen ist.
Kernergebnisse der Forschung
Die wichtigsten Erkenntnisse aus der Scaling-Laws-Forschung lassen sich so zusammenfassen:
- Größere Modelle sind effizienter trainierbar als viele kleine Modelle gleicher Gesamtparameterzahl
- Chinchilla-Optimum: Modellgröße und Datenmenge sollten proportional skalieren
- Jenseits eines Schwellenwerts sinkt der Grenznutzen pro verdoppelten Compute
- Test-Time Compute kann Trainings-Skalierung teilweise ersetzen (neuere Erkenntnis 2024/25)
Warum das für Einkäufer von KI-Diensten wichtig ist
Scaling Laws erklären, warum GPT-4 deutlich fähiger ist als GPT-3 — und warum dieser Sprung nicht linear, sondern überproportional wirkt. Modelle im nächsten Größenbereich leisten qualitativ mehr als nur schrittweise Verbesserungen.
Relevanz für den Mittelstand
Mittelständische Unternehmen müssen Scaling Laws nicht selbst anwenden, aber verstehen, warum neue Modellgenerationen qualitative Sprünge machen. Dieses Wissen hilft bei der Bewertung von KI-Angeboten: Ein neueres, größeres Basismodell schlägt ältere Modelle oft systematisch bei komplexen Aufgaben. Für Make-or-Buy-Entscheidungen ist es sinnvoll, Modellversionen und ihre Benchmark-Leistungen zu vergleichen.
← Zurück zum Glossar