Das Wichtigste in Kürze
- Context Window: Maximale Textmenge, die ein LLM auf einmal verarbeiten kann.
- Context Window: GPT-4: 128k Tokens, Claude: 200k Tokens.
- 1 Token entspricht etwa 0,75 Woertern (Englisch) oder 0,5 Woertern (Deutsch). 100k Tokens entspricht etwa 75.000 Woertern oder 150 Seiten Text.
/01Context Window: Das Kurzzeitgedachtnis der KI
Das Context Window bestimmt, wie viel Text ein LLM auf einmal "sehen" kann – Prompt + Kontext + bisherige Antwort.
Aktuelle Größen
| Modell | Context | Woerter |
|---|---|---|
| GPT-4 | 128k | ~96.000 |
| Claude 3 | 200k | ~150.000 |
| Gemini | 1M+ | ~750.000 |
Faustregel
1 Token entspricht etwa 0,75 Woertern (Englisch) oder 0,5 Woertern (Deutsch). 100k Tokens entspricht etwa 75.000 Woertern oder 150 Seiten Text.
Lost in the Middle
LLMs beachten Anfang und Ende stärker als die Mitte. Wichtige Informationen nicht in der Mitte verstecken! Bei zu wenig Kontext: RAG nutzen.