Long Context
LLMLong Context beschreibt Sprachmodelle mit sehr großen Kontextfenstern, die ganze Dokumente, Codebasen oder Gesprächsprotokolle auf einmal verarbeiten können.
Was bedeutet Long Context?
Das Kontextfenster eines Sprachmodells definiert, wie viel Text das Modell in einer einzelnen Anfrage gleichzeitig lesen und berücksichtigen kann. Frühe Modelle unterstützten nur wenige Tausend Tokens (etwa 4.000 Wörter). Moderne Modelle bieten Kontextfenster von 128.000 bis über eine Million Tokens — genug für ganze Bücher, umfangreiche Vertragswerke oder vollständige Codebasen.
Long Context verändert den Umgang mit RAG: Statt mühsam relevante Chunks herauszufiltern, kann bei überschaubaren Dokumentenmengen der gesamte Inhalt direkt ins Kontextfenster geladen werden. Dies vereinfacht die Architektur, bringt aber eigene Herausforderungen mit sich.
Chancen und Grenzen großer Kontextfenster
Long Context bietet Vorteile, aber auch Einschränkungen:
- Vorteil — vereinfachte Architektur: Für kleine bis mittelgroße Dokumentensammlungen entfällt die aufwändige Retrieval-Pipeline.
- Vorteil — globale Kohärenz: Das Modell kann Zusammenhänge über das gesamte Dokument erkennen, nicht nur zwischen einzelnen Chunks.
- Nachteil — Lost-in-the-Middle: Modelle verarbeiten Informationen in der Mitte langer Kontexte schlechter als am Anfang oder Ende.
- Nachteil — Kosten und Latenz: Lange Kontexte bedeuten mehr Token-Verbrauch und deutlich höhere Inferenzkosten.
- Nachteil — Grenzen bei sehr großen Korpora: Für Wissensdatenbanken mit Millionen von Seiten ist RAG weiterhin die wirtschaftlichere Lösung.
Long Context ersetzt nicht immer RAG
Auch mit einem 1-Millionen-Token-Kontextfenster bleibt RAG bei sehr großen oder dynamischen Dokumentenbeständen überlegen — aus Kostengründen und weil gezielte Retrieval-Ergebnisse die Modellaufmerksamkeit effizienter lenken.
Relevanz für den Mittelstand
Für Unternehmen, die einzelne lange Dokumente analysieren möchten — z. B. einen komplexen Vertrag, ein technisches Lastenheft oder ein umfangreiches Prüfprotokoll — ist Long Context eine attraktive Option, die ohne Vektordatenbank auskommt. Für wiederkehrende, dokumentenübergreifende Wissensabfragen aus wachsenden Datenpools bleibt RAG wirtschaftlicher. Die richtige Wahl hängt vom Volumen, der Änderungsfrequenz und dem gewünschten Kostenniveau ab.
← Zurück zum Glossar