- Loss Function: Mathematische Funktion, die den Fehler des Modells misst.
- Beispielsweise könnte ein Modell zur Betrugserkennung mit einer einfachen Accuracy-Metrik 99 % Genauigkeit erreichen, indem es einfach alles als "kein Betrug" klassifiziert -- wenn nur 1 % der Transaktionen betrügerisch sind.
- Loss Function: Ziel des Trainings: Loss minimieren.
/01Was ist eine Loss Function?
Eine Loss Function (Verlustfunktion) ist eine mathematische Funktion, die misst, wie weit die Vorhersage eines KI-Modells von der gewünschten Ausgabe entfernt ist. Sie liefert eine einzelne Zahl -- den Loss -- die angibt, wie "falsch" das Modell liegt. Das gesamte Training eines Modells besteht im Kern darin, diesen Loss-Wert zu minimieren. Je kleiner der Loss, desto besser stimmen die Vorhersagen des Modells mit der Realität überein.
Die Loss Function ist vergleichbar mit einem Bewertungssystem: Sie gibt dem Modell nach jeder Vorhersage eine Rückmeldung, wie gut oder schlecht es war, und das Modell nutzt diese Information, um seine Parameter anzupassen.
Wie funktioniert eine Loss Function?
Je nach Aufgabe kommen unterschiedliche Loss Functions zum Einsatz. Für Klassifikationsaufgaben (z. B. "Ist dieses Bild eine Katze oder ein Hund?") wird häufig die Cross-Entropy-Loss verwendet, die misst, wie weit die vorhergesagten Wahrscheinlichkeiten von den tatsächlichen Kategorien abweichen. Für Regressionsaufgaben (z. B. "Wie hoch wird der Umsatz nächsten Monat?") wird oft der Mean Squared Error (MSE) eingesetzt, der die quadrierte Differenz zwischen Vorhersage und Realität berechnet.
Bei großen Sprachmodellen wie GPT oder Claude kommt ebenfalls Cross-Entropy-Loss zum Einsatz: Das Modell sagt das nächste Token vorher, und der Loss misst, wie weit die Vorhersage vom tatsächlichen nächsten Token entfernt war. Über Milliarden solcher Vergleiche lernt das Modell, Sprache zu verstehen und zu generieren.
Warum ist die Loss Function wichtig?
Die Wahl der richtigen Loss Function hat direkten Einfluss auf das Verhalten des trainierten Modells. Eine falsch gewählte Loss Function kann dazu führen, dass das Modell die falschen Aspekte optimiert. Beispielsweise könnte ein Modell zur Betrugserkennung mit einer einfachen Accuracy-Metrik 99 % Genauigkeit erreichen, indem es einfach alles als "kein Betrug" klassifiziert -- wenn nur 1 % der Transaktionen betrügerisch sind.
Für Entscheider ist die Loss-Kurve (der Verlauf des Loss über das Training) ein wichtiger Qualitätsindikator: Ein stetig sinkender Loss zeigt erfolgreiches Training. Stagniert der Loss oder steigt er an, deutet das auf Probleme hin -- etwa eine falsche Learning Rate, zu wenig Daten oder eine ungeeignete Modellarchitektur.