Self-Supervised Learning

Was ist Self-Supervised Learning?

Self-Supervised Learning (selbstüberwachtes Lernen) ist eine Trainingsmethode, bei der das Modell seine Trainingsaufgabe und Labels automatisch aus den Daten selbst ableitet, ohne dass Menschen die Daten manuell annotieren müssen. Das bekannteste Beispiel ist das Vortraining großer Sprachmodelle: Das Modell erhält einen Text, bei dem das nächste Wort verdeckt ist, und lernt, dieses vorherzusagen. Die "richtige Antwort" ergibt sich direkt aus dem Text -- keine menschliche Annotation nötig.

Self-Supervised Learning ist die Methode hinter dem Erfolg moderner Foundation Models: GPT, Claude, LLaMA und BERT wurden alle auf diese Weise vortrainiert.

Wie funktioniert Self-Supervised Learning?

Das Grundprinzip ist die Erzeugung einer "Pretext Task" (Ersatzaufgabe) aus den vorhandenen Daten. Bei Sprachmodellen gibt es zwei Hauptansätze: Autoregressive Modelle (wie GPT) lernen, das nächste Token in einer Sequenz vorherzusagen -- sie lesen den Text von links nach rechts und prognostizieren jeweils das folgende Wort. Masked Language Models (wie BERT) verdecken zufällig ausgewählte Wörter im Text und lernen, diese aus dem umliegenden Kontext zu rekonstruieren.

In der Bildverarbeitung funktioniert Self-Supervised Learning ähnlich: Modelle lernen, verdeckte Bildregionen zu rekonstruieren, oder sie werden trainiert, verschiedene Augmentierungen desselben Bildes als zusammengehörig zu erkennen. Das Modell entwickelt dabei automatisch ein tiefes Verständnis für die Struktur der Daten, das sich anschließend auf spezifische Aufgaben übertragen lässt.

Warum ist Self-Supervised Learning wichtig?

Self-Supervised Learning hat KI fundamental verändert, weil es das größte Hindernis des überwachten Lernens beseitigt: den Bedarf an manuell gelabelten Daten. Da das Internet praktisch unbegrenzt Textdaten bietet, können Modelle auf Billionen von Tokens trainiert werden -- das wäre mit manueller Annotation niemals möglich. Dieses umfangreiche Vortraining erzeugt Foundation Models mit breitem Allgemeinwissen, die anschließend mit relativ wenigen gelabelten Daten per Fine-Tuning auf spezifische Aufgaben spezialisiert werden können.

Für Unternehmen bedeutet das: Sie müssen nicht mehr Zehntausende Beispiele labeln, um ein leistungsfähiges KI-Modell zu erhalten. Stattdessen können Sie ein vortrainiertes Modell mit wenigen Hundert oder Tausend Beispielen auf Ihre Domäne anpassen -- das senkt die Einstiegskosten für KI-Projekte erheblich.

Verwandte Begriffe

Pre-Training · Supervised Learning · Unsupervised Learning · Foundation Model · Fine-Tuning

← Zurück zum Glossar