Nemotron 3.5 Bolt in 2 Bit: 24 GB Modell heißt nicht 24-GB-Karte

/01Was NVIDIA am 15. Oktober veröffentlicht hat

Nemotron 3.5 Bolt ist ein Vision-Language-Modell mit 74 Milliarden Parametern, von denen 9 Milliarden je Token rechnen. Es läuft nicht in voller Präzision, sondern wird von NVIDIA direkt in 2 Bit ausgeliefert — als „24GB packed model", ausgelegt für lokale Agentenaufgaben „alongside other applications". Die Modellkarte auf Hugging Face datiert die Veröffentlichung auf den 15.10.2026; den Stand der Nachtrainingsdaten gibt NVIDIA mit Mai 2026 an.

Belegt sind vier Bausteine, jeweils an der Modellkarte:

• Architektur: ein Hybrid aus Mamba-2- und Transformer-Schichten in einer „LatentMoE"-Anordnung, also ein Mixture-of-Experts-Modell, dazu ein C-RADIO-v4-H-Bildencoder. Eingaben: Text, Bild und Video; Ausgabe: Text.
• Kontext: bis zu 256K Token laut Modellübersicht; der vLLM-Startbefehl setzt 262.144.
• Sprachen: Englisch und Programmiersprachen primär, Deutsch ausdrücklich unter den unterstützten Sprachen — zusammen mit Spanisch, Französisch, Italienisch und Japanisch.
• Lizenz: OpenMDW-1.1, laut Karte „ready for commercial or non-commercial use".

Zwei Ereignisse rahmen die Veröffentlichung. Ollama 0.40.5 vom 14. Oktober beschreibt Bolt in den Release-Notes als kompakten Ableger von Nemotron 3.5 Super, „tuned for a 24 GB NVIDIA GPU", mit eingebautem Drafter. Und auf der GTC Berlin (20. bis 22. Oktober) hat NVIDIA Bolt zusammen mit Nemotron 3.5 Super VL vorgestellt. Was diese Formulierung „für eine 24-GB-GPU" im Rack tatsächlich bedeutet, ist die Frage dieses Artikels.

/02Wie aus 120 Milliarden Parametern 24 GB werden

Bolt ist kein eigenständig trainiertes Modell, sondern ein verkleinertes. Ausgangspunkt ist Nemotron 3.5 Super VL mit 120 Milliarden Parametern, davon 12 Milliarden aktiv. NVIDIA beschreibt drei Schritte, und jeder davon erklärt einen Teil der Rechnung.

Erstens: Architektursuche. Ein Verfahren namens Star Elastic wählt je Schicht aus, wie viele Experten erhalten bleiben und wie breit die MoE-Schichten sind. Die Zahl der je Token befragten Experten (Top-K) sinkt von 22 im Ausgangsmodell auf 9. Das Suchziel steht wörtlich in der Karte: ein Speicherbedarf „below 24 GB at batch size 1 and 128K context" — eine Anfrage, 128.000 Token Kontext. Diese Randbedingung sollten Sie sich merken; sie ist die ehrlichste Zahl auf der ganzen Seite.

Zweitens: Wiederherstellung durch Training. Nach dem Zuschnitt trainiert NVIDIA mit insgesamt 120 Milliarden Token nach, davon 48 Milliarden mit 128K Kontext, und koppelt anschließend den Bildencoder des Ausgangsmodells wieder an.

Drittens: 2-Bit-Quantisierung mit Destillation. Die Experten — geroutete wie geteilte — liegen im Format IQ2_XXS mit 2,0625 Bit je Gewicht. Die Mamba-Schichten bleiben in NVFP4, Eingabe-Embedding und Ausgabeschicht in Q8_0, die Zustände der Mamba-Schichten in 16 Bit. Damit das Modell den Sprung auf 2 Bit übersteht, nutzt NVIDIA quantisierungsbewusste Destillation (QAD): Das quantisierte Modell lernt, die Ausgaben des unquantisierten nachzubilden, statt nachträglich gerundet zu werden.

Eine Rechenprobe zeigt, warum die Datei trotzdem nicht bei 19 GB liegt. 74 Milliarden Gewichte mit 2,0625 Bit ergäben 19,1 GB. Die GGUF-Datei hat 22,02 GB, weil eben nicht alles 2 Bit hat: Mamba-Schichten, Embedding und Ausgabeschicht brauchen mehr. Zum Vergleich: Dasselbe Modell in BF16 läge rechnerisch bei 148 GB, das Ausgangsmodell mit 120 Milliarden Parametern bei 240 GB. Den Hintergrund zu den Formaten von INT4 bis FP4 erklärt LLM-Quantisierung 2026; Bolt ist der Fall, in dem diese Formate gemischt in einer Datei stehen.

/0374B oder 22B: der Widerspruch auf der Modellseite

Wer die Modellseite auf Hugging Face öffnet, sieht zwei Zahlen. Der Kartentext nennt in der Übersicht „74B (9B active)". Das automatisch erzeugte Widget daneben zeigt als Modellgröße „22B params", mit den Tensortypen BF16, U8, F32 und I64. NVIDIA erklärt den Unterschied nirgends.

Für diesen Artikel gilt der Kartentext: 74 Milliarden Parameter, 9 Milliarden aktiv. Unsere Lesart des Widerspruchs — ausdrücklich eine Vermutung, keine Herstelleraussage: Das Widget zählt Tensorelemente. Gepackte 2-Bit-Gewichte stecken in Bytes vom Typ U8, ein Byte enthält mehrere Gewichte, und so erscheint das Modell im Zähler kleiner, als es ist. Dazu passt, dass 22 Milliarden Elemente ungefähr der Dateigröße von 22 GB entsprechen.

Praktisch heißt das zweierlei. Erstens: Parameterzahlen aus Widgets, Vergleichsportalen oder Bestelllisten gehören bei quantisiert ausgelieferten Modellen nicht ins Sizing — maßgeblich sind Kartentext und Dateigröße. Zweitens: Die Zahl, die Sie im Betrieb interessiert, steht weder im Text noch im Widget, sondern im Dateibaum des Repositories. Dort liegt sie bei 22,02 GB für das Sprachmodell. Wer im Einkauf mit „22B" argumentiert, unterschätzt die Rechenlast, wer mit „74B" argumentiert, überschätzt den Speicher.

/04Die Speicherrechnung: warum 24 GB nicht 24-GB-Karte heißt

Eine 24-GB-Karte wie die RTX 4090 hat 24 GB VRAM. Davon gehen CUDA-Kontext und Laufzeitpuffer ab, bevor das Modell geladen ist. Die folgende Tabelle stellt die belegten Posten nebeneinander — Dateigrößen aus dem GGUF-Repository, Rezeptgrößen aus der Modellkarte, abgerufen am 22. Oktober 2026.

Die Summe liegt über 24 GB, bevor ein einziges Token im KV-Cache steht. Auf einer 24-GB-Karte bleibt damit nur ein abgespeckter Betrieb: nur Text, ohne Bildencoder, ohne Drafter. Dann liegen 22,02 GB Gewichte auf der Karte, und für Kontext, Mamba-Zustand und Puffer bleiben unter 2 GB. Ob das für eine sinnvolle Kontextlänge reicht, sagt NVIDIA nicht — ein 24-GB-Rezept für diskrete Karten steht in der Karte nicht. Das ist eine Konfiguration, die Sie selbst ausprobieren und messen müssen, keine dokumentierte.

Woher kommt dann die „24 GB"-Formel? Aus zwei Quellen. Die Repository-Größe der vLLM-Fassung liegt bei 24,12 GB, das GGUF bei 23,75 GB mit Bildencoder. Und NVIDIA testet auf Systemen mit gemeinsamem Speicher: Die Karte nennt DGX Spark und RTX Spark, die GGUF-Rezepte zielen auf „RTX Spark 64GB" und „RTX Spark 128GB". Auf einem Gerät mit 64 GB gemeinsamem Speicher sind 24,75 GB Modell plus Kontext unproblematisch; auf einer Grafikkarte mit 24 GB nicht. RTX-Spark-Notebooks gibt es laut NVIDIA seit der GTC Berlin ab 2.399 US-Dollar mit bis zu 128 GB gemeinsamem Speicher.

Bemerkenswert ist der Abstand zwischen den beiden Rezepten: Das 32-GB-Rezept erlaubt den vierfachen Kontext des 28-GB-Rezepts für 4 GB mehr Budget. Darin sieht man den Vorteil der Hybridarchitektur — Mamba-Schichten halten einen festen Zustand je Sitzung statt eines Caches, der mit jedem Token wächst. Eine Zahl für Bytes je Token lässt sich daraus nicht sauber ableiten, weil das kleinere Rezept zusätzlich den Cache auf q8_0 halbiert. Wer mit 128K-Dokumenten plant, misst deshalb selbst; die Methode steht in KV-Cache verstehen:

# 1. Grundbedarf nach dem Laden, vor der ersten Anfrage
nvidia-smi --query-gpu=memory.used,memory.total --format=csv

# 2. Eine Anfrage mit rund 8.000 Token Kontext senden, Wert erneut lesen
# 3. Eine Anfrage mit rund 32.000 Token senden, Wert erneut lesen
#    (Differenz 3 minus 2) / 24.000 = Kontextkosten je Token auf IHRER Karte

# Erwartung: Grundbedarf um 25 GB mit Bildencoder und Drafter —
# auf einer 24-GB-Karte endet Schritt 1 bereits mit einem Ladefehler.

/05Startbefehle: llama.cpp-Rezepte und vLLM-Nightly

NVIDIA dokumentiert zwei Wege: GGUF mit llama.cpp und die Originalfassung mit vLLM. Für llama.cpp verlangt die Karte einen aktuellen Stand aus dem Quellcode, gebaut mit -DGGML_CUDA=ON; eine Mindest-Build-Nummer nennt sie nicht. Das 28-GB-Rezept für Karten ab 32 GB, unverändert bis auf die Linux-Schreibweise:

hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf \
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --local-dir "$MODEL_DIR"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF \
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf --local-dir "$MODEL_DIR"

llama-server --model "$MODEL" --mmproj "$MMPROJ" \
  --batch-size 2048 --ubatch-size 512 \
  --ctx-size 65536 --parallel 1 -ngl 999 \
  --spec-type draft-dflash --spec-draft-n-max 6 \
  --spec-draft-model "$SPEC_DRAFT" --spec-draft-ngl 999 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --temp 1.0 --top-p 0.95 --flash-attn on --jinja

Das Quick-Start-Rezept derselben Karte nutzt 98.304 Token Kontext; das 32-GB-Rezept 262.144 Token mit Cache in voller Präzision und bis zu sieben Draft-Token. --parallel 1 steht in allen drei Rezepten: eine Sitzung. Das spekulative Decoding über den LiLiCorr-Drafter beschleunigt genau diesen Einzelnutzer; Zahlen zu Annahmerate oder Beschleunigung nennt NVIDIA nicht.

Der vLLM-Weg ist enger, als er aussieht. Die Karte verlangt ausdrücklich ein bestimmtes Nightly-Image „or newer": vllm/vllm-openai:nightly-77154ca6116ae34cbfe314beef1016bde9b63989, dazu das Paket b12x, heruntergeladene Kernels und ein Parser-Plugin per wget. Der Kern des Startbefehls:

export VLLM_USE_V2_MODEL_RUNNER=1
vllm serve nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB \
  --trust-remote-code --tensor-parallel-size 1 \
  --max-model-len 262144 --max-num-seqs 1 \
  --kv-cache-dtype fp8 \
  --linear-backend b12x --moe-backend b12x \
  --attention-backend FLASHINFER --mamba-backend flashinfer \
  --allowed-local-media-path / \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --reasoning-parser-plugin ultra_v3_reasoning_parser.py \
  --reasoning-parser ultra_v3 \
  --speculative-config '{"method":"dflash","model":"nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr","num_speculative_tokens":7}'
# (speculative-config gekürzt; vollständige Fassung in der Modellkarte)

Drei Zeilen davon gehören im Betrieb nicht so übernommen. --allowed-local-media-path / erlaubt dem Server, jede lesbare Datei des Systems als Bild- oder Videoeingabe zu öffnen — setzen Sie ein eigenes Verzeichnis. Der Docker-Aufruf der Karte veröffentlicht Port 8000 auf allen Schnittstellen ohne API-Schlüssel; gehört auf 127.0.0.1 oder hinter ein Gateway, siehe LLMjacking stoppen. Und das Nightly-Image ist ein ungetaggter Entwicklungsstand: vLLM 0.32.0 vom 18. Oktober hat unter anderem den CORS-Standard geändert, der nicht mehr jeden Ursprung zulässt; ob der geforderte Nightly-Commit diese Änderungen enthält, sagt die Karte nicht. Ein Produktivsystem auf einem Nightly-Image braucht deshalb eine eigene Freigabe, kein Copy-and-paste.

/06Benchmarks und Lizenz: was die Karte belegt und was nicht

Die Benchmark-Tabelle der Karte stellt Bolt in 2 Bit gegen drei Modelle in BF16: Qwen3.6-35B-A3B, Gemma 4 26B-A4B und Nemotron 3.5 Lightning 30B-A3B. Alle Zahlen sind Herstellerangaben von NVIDIA. Einige davon:

• Terminal-Bench 2.1: Bolt 50,98 · Qwen3.6-35B-A3B 44,38 · Gemma 4 26B-A4B 37,22
• GPQA Diamond: Bolt 86,43 · Qwen3.6-35B-A3B 83,40 · Gemma 4 26B-A4B 79,61
• BrowseComp: Bolt 66,75 · Qwen3.6-35B-A3B 48,74
• AA-Omniscience Non-Hallucination: Nemotron 3.5 Lightning 68,81 · Qwen3.6-35B-A3B 65,85 · Bolt 61,27

Zwei Dinge fehlen, und beide sind für die Bewertung einer 2-Bit-Quantisierung zentral. Erstens gibt es keinen Vergleich Bolt-2-Bit gegen Bolt-BF16 oder gegen das Ausgangsmodell — wie viel die Quantisierung kostet, lässt sich aus der Karte nicht ablesen. Zweitens zeigt die letzte Zeile, dass Bolt nicht überall vorne liegt: Beim Vermeiden erfundener Antworten liegt es hinter zwei der drei Vergleichsmodelle. Für ein Agentenmodell, das Werkzeuge bedient, ist das keine Nebensache. Eine Fußnote verdient auch MCP-Atlas: NVIDIA nennt für Qwen 51,2 aus eigener Messung auf 500 öffentlichen Aufgaben, während Qwen offiziell 62,8 angibt — Bolt erreicht 52,20. Die Reihenfolge hängt hier an der Messmethode.

Die Lizenz ist dagegen erfreulich klar. OpenMDW-1.1 erlaubt, mit den „Model Materials" — Gewichte, Daten, Code und Dokumentation — „without restriction" umzugehen. Pflichten entstehen bei der Weitergabe: Lizenztext und Herkunftshinweise müssen mitgeliefert werden. Zu Ausgaben des Modells legt die Lizenz keine Pflichten auf. Die eine Falle steht im Kündigungsabsatz: Wer klagt oder sich einer Klage anschließt, die behauptet, die Modellmaterialien verletzten ein Patent oder Urheberrecht, verliert alle Rechte aus der Lizenz — ausgenommen Gegenklagen. Eine Umsatzschwelle oder Nutzerzahlgrenze gibt es nicht. Zum Vergleich: Metas Muse Model License verlangt einen sichtbaren Hinweis „Built with Muse Spark Open" und ab 20 Millionen US-Dollar Jahresumsatz mit einem Model-as-a-Service-Angebot einen gesonderten Vertrag. Für Bolt entfällt beides.

Für die Dokumentationspflichten rund um den EU AI Act hilft ein weiterer Absatz der Karte: NVIDIA gibt an, vor dem Training EU-Opt-outs für Text- und Data-Mining über robots.txt und Metadaten berücksichtigt zu haben. Das ist eine Herstellerangabe, aber eine, die sich in einer Modellauswahl zitieren lässt.

/07Wann Bolt die falsche Wahl ist

Bolt ist eine bemerkenswerte Ingenieursleistung und für viele Mittelständler trotzdem nicht das richtige Modell. Falsch ist es in diesen Fällen:

• Mehrere gleichzeitige Nutzer. Alle dokumentierten Rezepte setzen eine Sitzung: --parallel 1 in llama.cpp, --max-num-seqs 1 in vLLM. Das Modell ist für einen Agenten an einem Arbeitsplatz gebaut. Für eine Abteilung mit zwanzig Anfragen gleichzeitig ist ein Modell besser, das in höherer Präzision auf einer größeren Karte parallel bedient — auf einem 192-GB-System haben wir mit Qwen3 27B 3.900 Token je Sekunde als Summe über viele parallele Anfragen gemessen.
• Vorhandene Karten der Ada- oder Ampere-Generation als Ziel. Die Karte nennt als unterstützte Mikroarchitektur nur „Blackwell SM120 & SM121" und listet zugleich A100 und H100 im Deployment. Dieser Widerspruch ist nicht aufgelöst. Die vLLM-Rezepte verwenden eigene b12x- und FlashInfer-Backends; wer eine RTX 4090 oder eine A6000 einsetzen will, bewegt sich außerhalb des Getesteten.
• Bildeingaben auf 24 GB. Mit Bildencoder liegen die Dateien bei 23,75 GB — die 24-GB-Karte ist damit belegt, bevor ein Kontext existiert.
• Präzision als Nachweispflicht. Wer belegen muss, dass das eingesetzte Modell dem bewerteten entspricht, hat bei Bolt immerhin den Vorteil, dass NVIDIA die 2-Bit-Fassung selbst bewertet hat. Den Abstand zur vollen Präzision kennt aber niemand außer NVIDIA.
• Ein Server statt eines Arbeitsplatzes. Wer ohnehin 192 GB im Rack hat, gewinnt durch 2 Bit nichts. Dort passen größere Modelle in 8 Bit oder 4 Bit, und die Frage lautet nicht mehr, ob ein Modell passt, sondern welches am besten antwortet.

Ehrlich: 2-Bit-Training ist kein Freifahrtschein für beliebig kleine Hardware. Es verschiebt die Grenze um eine Kartengröße, nicht um drei.

/08Entscheidung: welche Hardwareklasse, welches Rezept

Die folgende Tabelle ordnet Bolt den Hardwareklassen zu, die wir in Projekten am häufigsten sehen. Belegt ist, was in der Modellkarte steht; alles andere ist als Einschätzung markiert.

Daraus folgen drei Empfehlungen. Haus mit einer 24-GB-Karte und einem Agenten-Prototyp: Bolt nicht als Plan A. Ein dichtes Modell der 24-GB-Klasse in 4 Bit lässt mehr Raum für Kontext und ist dokumentiert — der Weg steht in Qwen3.8-27B auf 24 GB. Haus, das ohnehin eine Blackwell-Karte mit 32 GB oder mehr beschafft, für einen Entwickler- oder Analyse-Arbeitsplatz: Bolt ist ein ernsthafter Kandidat, weil es Agentenaufgaben, Bild und Deutsch in einem Modell auf einer Karte vereint. Haus, das einen Dienst für viele Nutzer plant: Bolt ist das falsche Werkzeug; hier entscheidet der Durchsatz unter Last, und den liefert ein Server mit mehr Speicher und einem Modell in höherer Präzision.

Für alle drei gilt: Die Herstellerzahlen sagen, dass Bolt in seiner Klasse stark ist. Sie sagen nicht, wie gut es mit Ihren deutschen Dokumenten, Ihren Werkzeugen und Ihrem Prompt-Mix umgeht. Das zeigt nur ein Test mit eigenen Daten — und der kostet zwei bis vier Wochen, nicht eine Beschaffung.