In-Context Learning

Was ist In-Context Learning?

In-Context Learning (ICL) ist die Fähigkeit großer Sprachmodelle, neue Aufgaben direkt aus dem Kontext des Prompts zu erlernen, ohne dass die Modellgewichte verändert werden. Das Modell wird nicht neu trainiert, sondern nutzt die im Prompt bereitgestellten Informationen, Anweisungen und Beispiele, um das gewünschte Verhalten abzuleiten. Dieser Mechanismus ist die technische Grundlage für Zero-Shot und Few-Shot Learning und wurde erstmals 2020 im GPT-3-Paper von OpenAI systematisch beschrieben.

Der entscheidende Unterschied zu herkömmlichem Lernen: Beim Training werden die Modellparameter dauerhaft verändert. Beim In-Context Learning bleibt das Modell unverändert. Alles, was es über die Aufgabe wissen muss, steht im Prompt. Nach der Anfrage vergisst das Modell den Kontext wieder.

Wie funktioniert In-Context Learning?

Wie ICL genau funktioniert, ist Gegenstand aktiver Forschung. Eine verbreitete Erklärung: Während des Pre-Trainings auf Milliarden von Texten lernt das Modell implizit, Muster zu erkennen und fortzuführen. Wenn es im Prompt Beispiele einer Aufgabe sieht, aktiviert es intern die relevanten Fähigkeiten, die es bereits während des Pre-Trainings erworben hat. Studien zeigen, dass die Transformer-Architektur mit ihrem Attention-Mechanismus besonders gut dafür geeignet ist, Beziehungen zwischen Eingabe und Ausgabe innerhalb eines Kontexts zu erfassen.

In der Praxis zeigt sich ICL in verschiedenen Formen: Bei Zero-Shot genügt eine Aufgabenbeschreibung. Bei Few-Shot werden Beispiele bereitgestellt. Bei Chain-of-Thought wird das Modell angeleitet, Schritt für Schritt zu denken. All diese Techniken nutzen ICL, unterscheiden sich aber in der Art der Kontextinformation. Die Leistung von ICL skaliert mit der Modellgröße: Größere Modelle sind deutlich besser darin, aus Kontextbeispielen zu lernen.

Warum ist In-Context Learning wichtig?

ICL hat die Art verändert, wie Unternehmen KI einsetzen. Statt für jede neue Aufgabe ein eigenes Modell zu trainieren, genügt es oft, den Prompt anzupassen. Das reduziert die Time-to-Value von Wochen auf Minuten und macht KI auch ohne Machine-Learning-Experten zugänglich. Prompt Engineering, also die Kunst, den Kontext optimal zu gestalten, ist im Grunde die praktische Anwendung von In-Context Learning. Unternehmen sollten verstehen, dass die Qualität ihrer Prompts direkt bestimmt, wie gut ICL funktioniert.

Verwandte Begriffe

Few-Shot Learning · Zero-Shot Learning · Prompt · Transformer · Fine-Tuning · Attention

← Zurück zum Glossar