RNN

Was ist ein RNN?

Ein RNN (Recurrent Neural Network, auf Deutsch: rekurrentes neuronales Netz) ist eine Art von neuronalem Netz, das speziell für die Verarbeitung von Sequenzen entwickelt wurde -- also Daten, bei denen die Reihenfolge eine Rolle spielt, wie Text, Sprache oder Zeitreihen. Im Unterschied zu klassischen neuronalen Netzen besitzt ein RNN eine Art Gedächtnis: Es gibt Informationen aus einem Verarbeitungsschritt an den nächsten weiter und kann so den Kontext früherer Eingaben berücksichtigen. Obwohl RNNs heute weitgehend von Transformern abgelöst wurden, sind sie historisch bedeutsam und in bestimmten Anwendungen weiterhin im Einsatz.

Wie funktioniert ein RNN?

Ein RNN verarbeitet eine Sequenz Element für Element -- zum Beispiel Wort für Wort in einem Satz. Bei jedem Schritt kombiniert es die aktuelle Eingabe mit einem internen Zustand (Hidden State), der die Informationen aus den vorherigen Schritten zusammenfasst. Dieser Zustand wird dann an den nächsten Verarbeitungsschritt weitergegeben. Ein bekanntes Problem von einfachen RNNs ist das sogenannte "Vanishing Gradient Problem": Bei langen Sequenzen geht die Information aus frühen Schritten nach und nach verloren. Verbesserte Varianten wie LSTM (Long Short-Term Memory) und GRU (Gated Recurrent Unit) lösen dieses Problem teilweise durch spezielle Mechanismen, die steuern, welche Informationen behalten oder vergessen werden.

Warum sind RNNs wichtig?

RNNs haben den Grundstein für viele moderne KI-Anwendungen gelegt. Sie waren die erste Architektur, die maschinelle Übersetzung, Spracherkennung und Textgenerierung in brauchbarer Qualität ermöglichte. Obwohl Transformer-basierte Modelle sie in den meisten Bereichen übertroffen haben, bleiben RNNs für bestimmte Szenarien relevant -- etwa für die Echtzeitverarbeitung von Sensordaten auf eingebetteten Systemen, wo ihre sequenzielle Arbeitsweise und der geringere Speicherbedarf Vorteile bieten.

Verwandte Begriffe

Neural Network · Transformer · NLP · Deep Learning · Attention · Embedding

Mehr dazu in unserem Blogartikel: Neuronale Netze erklärt

← Zurück zum Glossar