Normalization

Was ist Normalization?

Normalization (Normalisierung) ist eine Gruppe von Techniken, die Daten oder Zwischenwerte in einem neuronalen Netz auf einen einheitlichen Wertebereich bringen. Das Ziel ist ein stabileres und schnelleres Training. Ohne Normalisierung können die Werte in verschiedenen Schichten des Netzes extrem unterschiedliche Größenordnungen annehmen, was den Lernprozess erschwert oder sogar unmöglich macht.

Eine einfache Analogie: Wenn Sie Temperatur in Celsius und Entfernung in Kilometern als Eingabe verwenden, hat ein Temperaturunterschied von 10 Grad eine ganz andere numerische Bedeutung als ein Entfernungsunterschied von 10 Kilometern. Normalisierung bringt beide auf eine vergleichbare Skala.

Wie funktioniert Normalization?

Es gibt verschiedene Normalisierungstechniken für unterschiedliche Einsatzbereiche. Die Datennormalisierung als Vorverarbeitungsschritt skaliert Eingabedaten auf einen Bereich wie 0 bis 1 oder auf einen Mittelwert von 0 mit einer Standardabweichung von 1. Dies geschieht, bevor die Daten in das Modell fließen.

Innerhalb neuronaler Netze kommen spezialisierte Normalisierungsschichten zum Einsatz: Batch Normalization normalisiert die Aktivierungen über einen Mini-Batch hinweg. Layer Normalization -- der Standard in Transformer-Modellen -- normalisiert über alle Neuronen einer Schicht für jeden einzelnen Datenpunkt. RMSNorm, eine vereinfachte Variante, wird in modernen Sprachmodellen wie LLaMA eingesetzt und normalisiert nur über die quadratischen Mittelwerte, was schneller berechnet werden kann.

Warum ist Normalization wichtig?

Ohne Normalisierung wäre das Training großer neuronaler Netze praktisch unmöglich. Die Technik verhindert, dass Gradienten während des Trainings explodieren oder verschwinden, beschleunigt die Konvergenz und macht das Training robuster gegenüber der Wahl der Learning Rate. Für jeden modernen Transformer -- von GPT bis Claude -- ist Layer Normalization eine unverzichtbare Komponente.

Im Unternehmenskontext ist Normalisierung auch bei der Datenaufbereitung relevant: Wenn Sie eigene Daten für KI-Modelle vorbereiten, ist die korrekte Normalisierung ein wichtiger Qualitätsfaktor. Unterschiedlich skalierte Features können zu verzerrten Modellen führen, die bestimmte Eingabevariablen über- oder unterbewerten.

Verwandte Begriffe

Training · Gradient · Batch Size · Transformer · Feature Engineering

← Zurück zum Glossar