Continual Learning
TrainingForschungsfeld, das Modellen das sukzessive Erlernen neuer Fähigkeiten ermöglicht, ohne älteres Wissen zu zerstören.
Was ist Continual Learning?
Continual Learning (auch Lifelong Learning oder inkrementelles Lernen) bezeichnet die Fähigkeit eines Modells, eine Folge von Aufgaben oder Datenströmen zu erlernen, ohne frühere Kenntnisse zu verlieren. Das zentrale Problem ist Catastrophic Forgetting: Standard-Gradientenabstieg überschreibt beim Lernen neuer Aufgaben Gewichte, die für frühere Aufgaben optimiert wurden.
Continual Learning ist ein aktives Forschungsgebiet mit wachsender Praxisbedeutung, da KI-Systeme im Betrieb auf neue Daten und veränderte Anforderungen reagieren müssen, ohne jedes Mal von Grund auf neu trainiert zu werden.
Ansätze und Methoden
Die Forschung unterscheidet drei Paradigmen: regulierungsbasierte Methoden (schützen kritische Gewichte), speicherbasierte Methoden (Replay alter Daten) und architekturbasierte Methoden (neue Kapazität für neue Aufgaben).
- Regularisierung (EWC, SI): Wichtige Gewichte für ältere Aufgaben werden weniger stark verändert
- Experience Replay: Mischung alter und neuer Trainingsdaten – einfach und effektiv
- Progressive Networks: Neue Aufgaben erhalten neue Modulmuster, alte bleiben eingefroren
- LoRA-basiertes Continual Learning: Pro Aufgabe ein separater LoRA-Adapter, kein Vergessen
Praxiskontext
Ein KI-Assistent im Unternehmen soll monatlich auf neue Produktkataloge aktualisiert werden, ohne seine allgemeinen Sprachfähigkeiten zu verlieren. Continual Learning liefert den methodischen Rahmen dafür.
Relevanz für den Mittelstand
Für KMU, die Modelle langfristig betreiben und regelmäßig mit neuen Daten aktualisieren wollen, ist Continual Learning strategisch relevant. Praktisch empfohlen: LoRA-Adapter pro Update-Zyklus und periodisches Replay von Kerndaten. Vollständig gelöstes Problem ist es noch nicht – für kritische Anwendungen empfiehlt sich eine regelmäßige Evaluation älterer Fähigkeiten nach jedem Update.
← Zurück zum Glossar