Dropout

Was ist Dropout?

Dropout ist eine Regularisierungstechnik für neuronale Netze, bei der während des Trainings zufällig ausgewählte Neuronen vorübergehend deaktiviert werden. Dadurch wird verhindert, dass sich das Netzwerk zu stark auf bestimmte Neuronen oder Neuronenverbindungen verlässt. Das Ergebnis: Das Modell lernt robustere, verallgemeinerbare Muster und ist deutlich weniger anfällig für Overfitting – also das Problem, dass ein Modell Trainingsdaten auswendig lernt, statt allgemeine Regeln zu erkennen.

Wie funktioniert Dropout?

Bei jedem Trainingsschritt wird ein zufällig gewählter Anteil der Neuronen – typischerweise 20 bis 50 Prozent – auf Null gesetzt, als wären sie nicht vorhanden. Die verbleibenden Neuronen müssen die Aufgabe allein bewältigen, was sie zwingt, redundante und robuste Repräsentationen zu entwickeln. Im nächsten Trainingsschritt wird eine neue, zufällige Auswahl getroffen, sodass über viele Iterationen hinweg jedes Neuron lernt, nützliche Beiträge zu leisten, ohne sich auf die Unterstützung bestimmter Partner-Neuronen verlassen zu können. Man kann sich Dropout als gleichzeitiges Training vieler verschiedener, dünnerer Netzwerke vorstellen, deren Ergebnisse implizit gemittelt werden. Beim Einsatz des Modells in der Produktion (Inferenz) wird Dropout deaktiviert: Alle Neuronen sind aktiv, aber ihre Ausgaben werden proportional zum Dropout-Anteil skaliert, um die veränderte Gesamtaktivierung auszugleichen.

Warum ist Dropout wichtig?

Dropout ist eine der einfachsten und wirkungsvollsten Methoden, um die Generalisierungsfähigkeit eines neuronalen Netzes zu verbessern. Vor seiner Einführung 2014 war Overfitting eines der größten Hindernisse beim Training tiefer Netzwerke. Für die Praxis bedeutet das: Dropout erfordert keine zusätzlichen Daten, minimalen Implementierungsaufwand und wird in allen gängigen Frameworks wie PyTorch und TensorFlow als Standardbaustein angeboten. Die Dropout-Rate (der Anteil deaktivierter Neuronen) gehört zu den Hyperparametern, die je nach Aufgabe und Datenmenge angepasst werden sollten.

Verwandte Begriffe

Overfitting, Regularisierung, Neuronales Netz, Training, Hyperparameter

← Zurück zum Glossar