- Sequence-to-Sequence: Modellarchitektur, die Sequenzen in andere Sequenzen umwandelt.
- Sequence-to-Sequence (Seq2Seq) ist eine Modellarchitektur im Bereich des maschinellen Lernens, die eine Eingabesequenz in eine Ausgabesequenz umwandelt.
- Seq2Seq-Modelle bestehen typischerweise aus zwei Hauptkomponenten: einem Encoder, der die Eingabesequenz in eine kompakte interne Darstellung überführt, und einem Decoder, der aus dieser Darstellung die Ausgabesequenz erzeugt.
- Diese Architektur wurde erstmals 2014 von Google vorgestellt und hat die maschinelle Übersetzung grundlegend verändert.
- Moderne Seq2Seq-Modelle nutzen zusätzlich Attention-Mechanismen.
/01Was ist Sequence-to-Sequence?
Sequence-to-Sequence (Seq2Seq) ist eine Modellarchitektur im Bereich des maschinellen Lernens, die eine Eingabesequenz in eine Ausgabesequenz umwandelt. Beide Sequenzen können unterschiedliche Längen haben. Das klassische Beispiel ist die maschinelle Übersetzung: Ein deutscher Satz mit fünf Wörtern wird in einen englischen Satz mit sieben Wörtern übertragen. Das Modell lernt dabei die Beziehung zwischen Eingabe und Ausgabe, ohne dass die Längen übereinstimmen müssen.
Seq2Seq-Modelle bestehen typischerweise aus zwei Hauptkomponenten: einem Encoder, der die Eingabesequenz in eine kompakte interne Darstellung überführt, und einem Decoder, der aus dieser Darstellung die Ausgabesequenz erzeugt. Diese Architektur wurde erstmals 2014 von Google vorgestellt und hat die maschinelle Übersetzung grundlegend verändert.
Wie funktioniert Sequence-to-Sequence?
Der Encoder verarbeitet die Eingabe Token für Token und verdichtet die gesamte Bedeutung in einen sogenannten Kontextvektor. Dieser Vektor ist eine mathematische Repräsentation der gesamten Eingabesequenz. Der Decoder nimmt diesen Kontextvektor als Startpunkt und generiert die Ausgabe Schritt für Schritt, wobei er bei jedem Schritt das zuvor erzeugte Token berücksichtigt.
Moderne Seq2Seq-Modelle nutzen zusätzlich Attention-Mechanismen. Anstatt sich nur auf einen einzigen Kontextvektor zu stützen, kann der Decoder bei jedem Schritt auf alle Positionen der Eingabesequenz zurückgreifen. Dies verbessert die Qualität besonders bei längeren Texten erheblich. Die Transformer-Architektur, die heute hinter ChatGPT und ähnlichen Systemen steckt, ist eine konsequente Weiterentwicklung dieses Prinzips.
Warum ist Sequence-to-Sequence wichtig?
Seq2Seq-Modelle sind die Grundlage zahlreicher Anwendungen, die Unternehmen heute nutzen: automatische Übersetzung von Dokumenten und E-Mails, Textzusammenfassungen langer Berichte, Chatbots, die auf Kundenanfragen antworten, und Sprachassistenten, die gesprochene Sprache in Text umwandeln. Wer versteht, wie Seq2Seq funktioniert, kann besser einschätzen, welche Aufgaben ein KI-System realistisch lösen kann und wo seine Grenzen liegen.