Die 24-GB-Klasse im Oktober 2026: vier Modelle, eine Karte, drei passen

/01Was sich 2026 in der 24-GB-Klasse getan hat

Die 24-GB-Karte — RTX 3090, 4090, 5090, RTX A5000, L4 — ist die Hardware, die in den meisten mittelständischen Häusern tatsächlich steht, oft in einer Workstation der Konstruktion oder der Entwicklung. Was darauf läuft, bestimmt, ob ein KI-Projekt ohne Beschaffung beginnen kann. In diesem Jahr hat sich das Angebot für genau diese Karte in drei Schritten verändert, jeweils belegt an der Modellkarte oder dem Herstellerblog:

• 2. April 2026: Google veröffentlicht Gemma 4 unter Apache 2.0 — darunter ein dichtes 31B-Modell (30,7 Milliarden Parameter) und ein Mixture-of-Experts-Modell 26B-A4B (25,2 Milliarden gesamt, 3,8 Milliarden aktiv), beide mit 256k Kontext, Text und Bild. Die Release-Notes führen den 31. März als Veröffentlichungsdatum.
• August 2026: Alibaba veröffentlicht Qwen3.8-27B unter Apache 2.0, ein dichtes Vision-Language-Modell mit 262.144 Token nativem Kontext; unsere Betriebsmessung dazu steht in Qwen3.8-27B auf 24 GB.
• 10. August 2026: Meta veröffentlicht Muse Glimmer-30B unter Apache 2.0 — ein dichtes Modell mit rund 29,6 Milliarden Parametern inklusive Bildencoder, ausdrücklich für Agentenaufgaben auf einer einzelnen Verbraucherkarte ausgelegt, mit einem Drafter-Modell für spekulatives Decoding (DFlash).
• 3. Oktober 2026: Aleph Alpha veröffentlicht Kolibri-1 (78,1 Milliarden Parameter, 3,46 Milliarden aktiv) unter Apache 2.0. Das Modell gehört nicht in diese Klasse, und genau deshalb steht es in diesem Artikel: Es markiert die Grenze.

Dass alle vier unter Apache 2.0 stehen, ist kein Zufall, sondern der Stand des Jahres 2026: Die kommerzielle Nutzung ist bei keinem der Kandidaten eine Frage, die Hardware bei einem von vier.

/02Die Rechnung: Gewichte, Kontext und Puffer auf 24 GB

Eine 24-GB-Karte stellt im Betrieb rund 23 GB bereit; den Rest belegen Treiber und Anzeige. Davon gehen drei Posten ab: die Gewichte, der KV-Cache für den Kontext und der Laufzeitpuffer für Aktivierungen und Fragmentierung. Die Gewichte sind bekannt, sobald die Datei bekannt ist; die beiden anderen hängen von Kontextlänge und Parallelität ab.

Für die Gewichte gilt: Nur 4-Bit passt. Ein dichtes Modell mit 27 bis 31 Milliarden Parametern belegt in BF16 55 bis 62 GB, in FP8 die Hälfte — beides jenseits der Karte. In Q4_K_M-GGUF liegen alle drei dichten Kandidaten zwischen 16,5 und 18,3 GB. Was danach übrig bleibt — fünf bis sieben GB — muss für Kontext und Puffer reichen. Die Meta-Modellkarte sagt das für Glimmer ausdrücklich: Der 17-GB-Build ist „for 24 GB devices" gedacht, der 19,7-GB-Build Q4_K_XL für 32 GB.

Der Kontext ist der Posten, der am häufigsten unterschätzt wird. Wie stark er wächst, hängt an der Architektur: Qwen3.8-27B führt nur in 16 seiner 64 Schichten einen klassischen KV-Cache, Gemma 4 wechselt zwischen lokalen Fenstern von 1.024 Token und globaler Attention, Glimmer nutzt drei Schichten mit 2.048-Token-Fenster auf eine Schicht voller Attention. Alle drei sparen damit Cache gegenüber einer klassischen Architektur, aber in unterschiedlichem Maß — und keine Modellkarte nennt Bytes je Token. Wer 32k Kontext für mehrere Nutzer gleichzeitig braucht, misst das mit nvidia-smi nach dem ersten langen Prompt. Die Rechenmethode steht in KV-Cache verstehen.

/03Die Kandidaten in der Tabelle

Alle Angaben stammen aus den Modellkarten der Hersteller auf Hugging Face (Stand 11. Oktober 2026); die GGUF-Größen aus den jeweils genannten Repositories — bei Glimmer von Meta selbst, bei den anderen von Unsloth bzw. Prompt48, also Drittanbieter, deren Builds der Hersteller nicht validiert hat.

Zwei Zeilen verdienen eine Fußnote. Bei Glimmer nennt die Modellkarte „131,072+" Kontext, der Hugging-Face-Blog zum Release spricht von 32.768 Token Trainingsfenster; wer über 32k hinausgeht, sollte die Qualität mit eigenen Dokumenten prüfen. Und bei Qwen sind die 262.144 Token nativ zwar belegt, aber auf 24 GB mit Q4-Gewichten nicht erreichbar — unsere Messung im August hat gezeigt, dass das volle Fenster deutlich über 30 GB braucht.

/04Dicht oder MoE auf einer Karte: Gemma 4 31B gegen 26B-A4B

Google liefert mit Gemma 4 das seltene Paar, an dem sich der Unterschied zwischen dichtem und MoE-Modell auf derselben Karte zeigt. Beide belegen in Q4_K_M fast denselben Speicher — 18,3 gegen 16,9 GB —, aber je Token rechnet das 31B-Modell mit allen 30,7 Milliarden Parametern, das 26B-A4B mit 3,8 Milliarden. Das ist ein Faktor acht in der Rechenlast bei nahezu gleichem Speicher.

Was das praktisch heißt: Bei einem Nutzer ist der Unterschied in Token je Sekunde spürbar, aber nicht entscheidend — beide sind auf einer 4090 schneller, als ein Mensch liest. Bei acht parallelen Anfragen in Ollama oder vLLM wird daraus der Unterschied zwischen „läuft" und „stockt": Die GPU-Rechenzeit ist bei vielen gleichzeitigen Sitzungen der Engpass, nicht der Speicher. Ein MoE-Modell nutzt dieselbe Karte für mehr Nutzer. Dafür zahlt es bei der Einzelantwort: Die Herstellerbenchmarks des 26B-A4B liegen durchweg einige Punkte unter dem 31B (GPQA Diamond 82,3 gegen 84,3, LiveCodeBench v6 77,1 gegen 80,0, MMLU Pro 82,6 gegen 85,2 — Googles Angaben).

Kolibri-1 treibt dasselbe Prinzip weiter: 78 Milliarden im Speicher, 3,46 Milliarden am Rechnen. Deshalb passt es nicht auf 24 GB, obwohl es je Token weniger rechnet als Gemma 4 26B-A4B — Speicher und Rechenlast sind zwei Achsen, und die 24-GB-Karte begrenzt die erste. In der Praxis heißt das: Wer auf einer Karte viele Nutzer bedienen will, nimmt Gemma 4 26B-A4B. Wer die beste Einzelantwort auf einer Karte will, nimmt ein dichtes Modell. Wer Kolibri-1 will, kauft die zweite Karte oder gleich ein größeres System.

/05Benchmarks: Herstellerzahlen lesen, nicht abschreiben

Alle vier Modellkarten enthalten Benchmark-Tabellen, und alle vier sind vom Hersteller gemessen — mit eigenem Prompt-Format, eigenem Sampling, eigener Auswahl der Vergleichsmodelle. Drei Zahlen, die in allen Karten vorkommen und sich deshalb wenigstens nebeneinanderlegen lassen:

• GPQA Diamond: Qwen3.8-27B 89,2 · Gemma 4 31B 84,3 · Glimmer-30B 83,5 · Gemma 4 26B-A4B 82,3 · (Kolibri-1 84,3)
• AIME 2026: Glimmer-30B 94,7 · Gemma 4 31B 89,2 · Gemma 4 26B-A4B 88,3 · (Kolibri-1 96,0)
• Agentic Coding: Qwen3.8-27B nennt SWE-bench Pro 61,7 und OSWorld-Verified 84,3; Glimmer nennt SWE-Bench Pro 51,2, SWE-Bench Verified 76,0 und OSWorld-Verified 65,9; Gemma nennt LiveCodeBench v6 (31B: 80,0).

Was diese Zahlen sagen: Die vier Modelle liegen in derselben Leistungsklasse, und die Reihenfolge wechselt je nach Aufgabe. Was sie nicht sagen: wie sich ein Modell in Q4_K_M statt BF16 verhält (alle Herstellerzahlen stammen aus voller Präzision), wie es mit deutschen Fachtexten umgeht, und wie es auf Ihre Dokumente reagiert. Ehrlich: Zwischen 83,5 und 84,3 auf GPQA Diamond liegt kein Unterschied, den Sie in einer Angebotsprüfung wiederfinden. Zwischen „kann Screenshots bedienen" (Glimmer, Qwen) und „kann es nicht" (Kolibri-1) liegt einer.

Ein zweiter Punkt betrifft die Durchsatzangaben. Meta nennt für Glimmer mit DFlash-Drafter 233,4 Token je Sekunde auf einer RTX 5090 gegenüber 74,9 ohne — eine Verdreifachung bei identischer Ausgabe, gemessen mit Batch-Größe 1 und Greedy-Decoding. Das ist ein echter Fortschritt für den Einzelnutzer. Es ist keine Aussage über acht parallele Sitzungen, über Sampling mit Temperatur oder über eine 4090 statt 5090. Spekulatives Decoding hilft, wenn die GPU unterausgelastet ist; bei voller Last durch viele Nutzer schrumpft der Gewinn.

/06Startbefehle: llama.cpp, Ollama und vLLM

Alle drei Kandidaten lassen sich mit einer Zeile starten. Die Befehle stammen aus den jeweiligen Modellkarten; der Glimmer-Befehl mit Bildencoder und DFlash-Drafter ist der vollständigste und zeigt, welche Teile ein multimodales Modell mit Beschleuniger auf der Karte braucht:

# Qwen3.8-27B, 4-Bit, Ollama (Unsloth-GGUF)
ollama run hf.co/unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

# Gemma 4 31B, 4-Bit, llama.cpp-Server (Unsloth-GGUF)
llama serve -hf unsloth/gemma-4-31B-it-GGUF:Q4_K_M

# Muse Glimmer-30B, 4-Bit, llama.cpp-Server mit Bildencoder (Meta-GGUF, llama.cpp ab b10353)
./build/bin/llama-server \
  -m Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-KQuant-17GB-Q4_K_M.gguf \
  --mmproj Muse-Glimmer-30B-GGUF/mmproj-Muse-Glimmer-30B-Q4_K_M.gguf \
  -a muse-glimmer-30B -ngl 99 -c 131072 -np 4 \
  --host 127.0.0.1 --port 8080 --jinja \
  --temp 1.0 --top-p 0.95 --top-k 64

# DFlash-Drafter zusätzlich laden (rund 1,6 GB mehr VRAM):
#   -md Muse-Glimmer-30B-GGUF/dflash-Muse-Glimmer-30B-Q4_K_M.gguf -ngld 99

# Gemma 4 31B in voller Präzision mit vLLM — braucht 2 Karten, nicht eine:
vllm serve google/gemma-4-31B-it --tensor-parallel-size 2

Vier Hinweise zu den Zeilen. -ngl 99 legt alle Schichten auf die GPU; sobald llama.cpp Schichten auf die CPU auslagert, fällt der Durchsatz um eine Größenordnung — das ist das erste, was man prüft, wenn ein Modell „läuft, aber langsam". -c 131072 -np 4 reserviert Cache für vier parallele Sitzungen mit je 32k Token; auf 24 GB ist das mit dem 17-GB-Build eng, und der sichere Startwert ist -c 32768 -np 2. --host 127.0.0.1 ist kein Versehen: Ein llama.cpp- oder Ollama-Endpunkt ohne Authentifizierung gehört nicht ins Firmennetz, siehe LLMjacking stoppen. Und die letzte Zeile steht als Warnung da: vLLM lädt standardmäßig BF16, und 61 GB passen auf keine 24-GB-Karte — wer vLLM auf einer Karte will, braucht eine AWQ- oder GPTQ-Fassung, wie in Quantisierung erklärt beschrieben.

/07Wann die 24-GB-Karte die falsche Wahl ist

Die 24-GB-Karte ist der richtige Einstieg und die falsche Endstufe. Falsch ist sie in fünf Fällen:

• Mehr als eine Handvoll gleichzeitiger Nutzer. Mit 17 bis 18 GB Gewichten bleiben fünf bis sieben GB für Cache und Puffer. Vier Sitzungen mit je 8k Kontext sind machbar, zwanzig nicht. Die Karte wird nicht langsamer, sie lehnt Anfragen ab oder lagert aus.
• Langer Kontext als Regelfall. Wer routinemäßig 100-seitige Verträge oder ganze Code-Repositories in den Prompt legt, braucht 32k bis 128k Kontext je Sitzung. Das volle Fenster von Qwen3.8-27B liegt auf 24 GB außer Reichweite.
• Kolibri-1 oder ein anderes Modell über 40 Milliarden Parametern. Es gibt keine 4-Bit-Fassung von Kolibri-1, die unter 45 GB bleibt; Offloading auf die CPU macht aus einem schnellen Modell ein unbrauchbar langsames. Hier beginnt die 48-GB- und 80-GB-Klasse — oder das 192-GB-System, das Kolibri-1 in FP8 mit vollem Kontext trägt. Was eine 96-GB-Karte in dieser Lücke leistet, steht in RTX PRO 6000 Blackwell.
• Höhere Präzision als Pflicht. Alle Herstellerbenchmarks gelten für BF16. Wer nachweisen muss, dass sein Modell dem evaluierten entspricht — etwa in einer regulierten Anwendung —, kann Q4_K_M nicht ohne eigenes Eval-Set einsetzen, und Q8 passt bei keinem der Kandidaten auf 24 GB.
• Dauerbetrieb auf einer Arbeitsplatzkarte. Eine 4090 in einer Workstation unter dem Schreibtisch ist kein Server: kein redundantes Netzteil, kein Fernzugriff auf die Konsole, keine Überwachung. Für den Proof of Concept reicht sie; für einen Dienst, auf den eine Abteilung angewiesen ist, nicht.

Die meisten Mittelständler beginnen trotzdem auf dieser Karte, und das ist richtig: Sie beantwortet in zwei Wochen die Frage, ob das Projekt einen Nutzen hat, bevor Geld in Hardware fließt. Die Beschaffung folgt der Messung, nicht umgekehrt.

/08Entscheidung: welches Modell für welche Aufgabe

Die Entscheidung hängt an drei Fragen: Was soll das Modell sehen, wie viele Nutzer gleichzeitig, und welche Sprache dominiert.

Coding-Assistent, Computer-Use, ERP-Screenshots: Qwen3.8-27B. Die Herstellerwerte auf SWE-bench Pro und OSWorld-Verified liegen deutlich über denen der anderen Kandidaten, das Modell verarbeitet Bild und Video nativ, und mit 16,5 GB bleibt der meiste Platz für Kontext. Für Häuser, die bereits unsere August-Messung nachvollzogen haben, ändert sich nichts.

Lokaler Agent, der Werkzeuge bedient und schnell antworten muss: Muse Glimmer-30B. Das Modell ist dafür gebaut, der DFlash-Drafter beschleunigt den Einzelnutzer messbar, Bildencoder inklusive. Die Trainingsfenster-Angabe von 32k Token ist die Grenze, die Sie vor dem Einsatz mit langen Dokumenten prüfen sollten.

Allrounder für Textaufgaben in vielen Sprachen, Video-Eingabe: Gemma 4 31B. Die breiteste Sprachabdeckung laut Modellkarte, Video bis 60 Sekunden, Herstellerbenchmarks auf Augenhöhe. 18,3 GB lassen etwas weniger Raum für Kontext als Qwen.

Viele gleichzeitige Nutzer mit kurzen Anfragen — Klassifikation, Extraktion, Ticket-Vorsortierung: Gemma 4 26B-A4B. Die 3,8 Milliarden aktiven Parameter sind auf einer Karte der Unterschied zwischen acht und zwanzig parallelen Sitzungen; der Qualitätsabstand zum 31B ist in den Herstellerzahlen klein.

Deutsche Fachtexte mit Audit-Anforderung an die Datenherkunft: nicht auf dieser Karte. Kolibri-1 ist der Kandidat, und er braucht 80 GB oder das 192-GB-System. Wer heute auf 24 GB startet, startet mit Gemma 4 oder Qwen und plant den Wechsel ein, wenn die Messung den Bedarf belegt.

/09Messen statt lesen: der Durchsatztest in einer Stunde

Keine Zahl in diesem Artikel ersetzt die Messung mit Ihrem Prompt-Mix auf Ihrer Karte. Die braucht eine Stunde und vier Schritte:

1. Startzustand. Modell laden, nvidia-smi --query-gpu=memory.used --format=csv ausführen, Wert notieren. Das ist Ihr Gewichts- plus Grundpuffer; bei den drei dichten Kandidaten sollte er zwischen 17 und 20 GB liegen.
2. Kontextkosten. Einen Prompt mit 8.000 Token senden, Speicher erneut lesen; dann einen mit 32.000 Token. Die Differenz geteilt durch die Tokendifferenz ist Ihr Cache-Bedarf je Token — die Zahl, die in keiner Modellkarte steht.
3. Einzeldurchsatz. Zehn typische Anfragen nacheinander, Time-to-First-Token und Token je Sekunde aus der Serverausgabe mitteln. Bei Glimmer einmal mit und einmal ohne -md, um den DFlash-Gewinn für Ihren Mix zu sehen.
4. Parallelität. Dieselben Anfragen mit 2, 4 und 8 gleichzeitigen Clients. Der Punkt, an dem der Gesamtdurchsatz nicht mehr steigt oder der Server Anfragen ablehnt, ist die Nutzerzahl, die diese Karte trägt.

Mit diesen vier Zahlen — Grundbedarf, Cache je Token, Einzeldurchsatz, Sättigungspunkt — wissen Sie, ob die 24-GB-Karte für Ihr Haus die Lösung oder der Prototyp ist. Zur Einordnung: Unsere Messung mit Qwen3 27B auf einem 192-GB-System ergab 3.900 Token je Sekunde als Summe über viele parallele Anfragen; eine einzelne 24-GB-Karte liefert einen Bruchteil davon, und wie groß der Bruchteil ist, hängt an Ihrem Mix. Die vollständige Übersicht der Hardwarestufen steht in GPU-Wahl für KI-Server 2026.