RTX PRO 6000 Blackwell mit 96 GB: Der Game-Changer fuer On-Premise-LLMs unter 10.000 Euro

Lange galt eine eiserne Regel im On-Premise-Betrieb grosser Sprachmodelle: Wer ein 70-Milliarden-Parameter-Modell in vernuenftiger Praezision fahren wollte, brauchte mehrere Datacenter-Beschleuniger und ein NVLink-Gespann fuer zehntausende Euro. Mit der RTX PRO 6000 Blackwell und ihren 96 GB Grafikspeicher bricht diese Regel. Erstmals passt ein 70B-Modell in einer produktiv nutzbaren Praezision auf eine einzige GPU – und der Durchsatz kann es mit einer H100 aufnehmen.

Fuer den Mittelstand, der seine Inferenz aus Datenschutzgruenden on-premise im eigenen Haus betreiben will, ist das ein Wendepunkt. In diesem Artikel zerlegen wir die Karte in ihre Einzelteile: die Spezifikationen, einen belegten Benchmark gegen die H100, die realen Systemkosten Mitte 2026, den Break-even gegen die Cloud – und die eine ehrliche Schwaeche, die Sie kennen muessen, bevor Sie kaufen.

Die Spezifikationen

Die RTX PRO 6000 Blackwell ist Nvidias professionelle Workstation- und Server-Karte auf Basis der Blackwell-Architektur. Ihr entscheidendes Merkmal ist der Speicher: 96 GB GDDR7 mit ECC, angebunden mit rund 1,79 TB/s Bandbreite (28 Gbps GDDR7 im Clamshell-Design). Damit ist der VRAM exakt der Faktor, der ueber die Machbarkeit grosser Modelle entscheidet.

Die harten Eckdaten

• 96 GB GDDR7 ECC – genug fuer ein 70B-Modell samt KV-Cache auf einer Karte
• 24.064 CUDA-Cores und Tensor Cores der 5. Generation mit nativer FP4-Unterstuetzung
• ~4.000 AI TOPS Rechenleistung, 600 W TDP (Workstation Edition)
• PCIe Gen5 x16 als Systemanbindung – kein NVLink (dazu spaeter mehr)

Der Sprung von 80 GB (H100) auf 96 GB klingt nach wenig, ist aber genau die Schwelle, an der ein 70B-Modell in FP8 samt ausreichend KV-Cache in einen Speicher passt. Genau dieser Unterschied entscheidet darueber, ob Sie eine einzelne Karte betreiben oder ein teures Multi-GPU-Gespann mit allen Nachteilen der Karten-zu-Karten-Kommunikation aufbauen muessen. Der grosse VRAM ist damit nicht nur ein Datenblatt-Vorteil, sondern der eigentliche architektonische Hebel dieser Karte.

Nvidia bietet die Karte in drei Editionen an, die sich Rechenkern und Speicher teilen, aber im Leistungs- und Kuehlungsprofil unterscheiden:

Edition	TDP	Einsatzprofil
Workstation	600 W	Einzelplatz-Tower, Entwickler-Workstation
Max-Q	300 W	Mehrere Karten pro Chassis, effizienzoptimiert
Server	passiv	Rack-Server mit zentraler Kuehlung, Dauerbetrieb

Benchmark gegen die H100

Zahlen auf dem Datenblatt sind das eine, gemessener Durchsatz das andere. Der Cloud-Anbieter Cloudrift hat beide Karten im direkten Single-GPU-Vergleich getestet – und das Ergebnis ist bemerkenswert deutlich zugunsten der deutlich guenstigeren RTX PRO 6000.

Metrik	RTX PRO 6000	H100 SXM
Durchsatz (Single-GPU)	3.140 tok/s	2.987 tok/s
Kosten pro Mio. Token	0,18 USD	0,25 USD
Speicherbandbreite	1,79 TB/s	2,0 TB/s

Die RTX PRO 6000 liegt im Durchsatz rund 5 % vor der H100 SXM und ist pro Token etwa 28 % guenstiger. Das ist beeindruckend fuer eine Karte, die einen Bruchteil kostet.

Ehrliche Einordnung – lesen Sie das Kleingedruckte: Diese Zahlen stammen aus einem konkreten Benchmark auf dem Modell GLM-4.5-Air in 4-Bit-AWQ – also einem quantisierten Modell, nicht einem vollen 70B in FP8. Cloudrift beziffert den Vorteil bei der reinen Stundenmiete zurueckhaltender mit rund 22 %; die 28 % pro Token ergeben sich erst durch den hoeheren Durchsatz. Und: Bei schweren FP8-Workloads mit hoher Nebenlaeufigkeit kann die groessere Bandbreite der H100 (2,0 gegenueber 1,79 TB/s) die Fuehrung zurueckholen. Nehmen Sie die Zahlen also als ein starkes, aber spezifisches Ergebnis – nicht als universelles Gesetz.

Die Systemkosten

Der eigentliche Hebel liegt nicht in der einzelnen Karte, sondern im kompletten Serversystem. Hier trennt sich die Wirtschaftlichkeit von RTX PRO 6000 und H100 dramatisch.

Zur Preisrealitaet gehoert eine wichtige Korrektur: Die Karte startete im Maerz 2025 mit einem Listenpreis von 8.565 USD – daher die haeufig zitierte Marke „unter 10.000 USD". Mitte 2026 gilt das nicht mehr. Wegen der GDDR7-Knappheit hat Nvidia den offiziellen Listenpreis auf rund 13.250 USD angehoben; Strassenpreise im Juli 2026 liegen je nach Haendler zwischen etwa 11.360 und 14.499 USD. Rechnen Sie also mit aktuellen Preisen, nicht mit den Launch-Zahlen.

System	GPU-Kosten (nur Karten)	Verhaeltnis
8× RTX PRO 6000	~96.000–105.000 USD	Basis
8× H100 SXM	~200.000–240.000 USD	ca. 2,2× teurer
Einzel-Workstation (1 Karte)	~18.000–28.000 USD (System)	Einstieg

Zu Launch-Preisen war die griffige Formel „ein Drittel des H100-Systems" zutreffend (8 × 8.500 USD ≈ 68.000 USD). Zu den 2026er-Preisen liegt der GPU-Anteil eher bei 40 bis 45 % eines vergleichbaren H100-Systems. Der Punkt bleibt aber unveraendert: Die RTX PRO 6000 halbiert die GPU-Kosten mindestens – und das bei ebenbuertigem oder besserem Single-GPU-Durchsatz.

Break-even gegen die Cloud

Viele Mittelstaendler starten in der Cloud, weil der Einstieg dort scheinbar guenstiger ist. Bei kontinuierlicher Auslastung kehrt sich das jedoch schnell um. Eine gemietete H100-Instanz kostet je nach Anbieter mehrere US-Dollar pro Stunde – rund um die Uhr summiert sich das auf einen fuenfstelligen Betrag pro Jahr und Karte.

Der entscheidende Faktor ist die Auslastung. Ein Assistent, der nur zu Bueroezeiten und mit moderater Last laeuft, amortisiert langsamer als ein System, das rund um die Uhr Anfragen verarbeitet oder naechtliche Batch-Verarbeitung uebernimmt. Genau deshalb schlaegt On-Premise die Cloud vor allem bei planbaren, kontinuierlichen Workloads – waehrend die Cloud ihren Vorteil bei kurzen, stark schwankenden Spitzenlasten behaelt.

Eine gekaufte RTX-PRO-6000-Workstation erreicht gegenueber der H100-Cloud-Miete je nach Auslastung den Break-even in 6 bis 18 Monaten. Danach verschiebt sich die Rechnung fundamental:

• Keine laufenden API- oder Mietgebuehren – nach der Amortisation zahlen Sie nur noch Strom und Wartung.
• Planbare Fixkosten statt volatiler, nutzungsabhaengiger Cloud-Rechnungen.
• Volle Datensouveraenitaet – kein Token verlaesst Ihr Haus, was fuer DSGVO und Geschaeftsgeheimnisse entscheidend ist.

Die Grenzen: kein NVLink

Es waere unserioes, die Karte ohne ihre echte Schwaeche zu empfehlen. Und die heisst: kein NVLink. Waehrend die H100 SXM ueber Nvidias 4. NVLink-Generation mit rund 900 GB/s pro Karte kommuniziert, muss die RTX PRO 6000 die Verbindung zwischen mehreren Karten ueber den PCIe-Bus abwickeln.

Konkret bedeutet das: PCIe Gen5 x16 liefert rund 64 GB/s pro Richtung, also etwa 128 GB/s bidirektional aggregiert – gegenueber den 900 GB/s der NVLink-Anbindung. Die Zahlen sind damit fair vergleichbar (bidirektional gegen bidirektional), aber der Abstand ist gewaltig. Fuer die Praxis heisst das:

• Tensor-Parallelismus, bei dem staendig grosse Datenmengen zwischen den Karten fliessen, wird durch den PCIe-Flaschenhals ausgebremst.
• Pipeline-Parallelismus, bei dem nur die Aktivierungen zwischen den Stufen ueber den Bus wandern, ist der praktikable Multi-GPU-Modus fuer diese Karte.
• Solange Ihr Modell auf eine Karte passt – und ein 70B tut das – spielt NVLink schlicht keine Rolle. Der Nachteil greift erst beim Skalieren ueber eine Karte hinaus.

Hinzu kommt der bereits erwaehnte Preisanstieg: Die im Juli 2026 gelisteten rund 13.250 USD sind deutlich mehr als der Launchpreis. Wer die Wirtschaftlichkeit rechnet, sollte mit den aktuellen Marktpreisen kalkulieren, nicht mit den Zahlen aus den ersten Tests von 2025.

Fuer wen sich die Karte lohnt

Die RTX PRO 6000 Blackwell ist keine Universalantwort – aber fuer ein sehr konkretes, im Mittelstand haeufiges Szenario ist sie derzeit die wirtschaftlichste Loesung ueberhaupt.

Ideal geeignet

• Mittelstand mit 70B-Inferenzbedarf: Wer produktiv ein grosses Modell fahren will, aber keinen Hyperscaler-Cluster braucht, bekommt hier die passgenaue Einzelkarte.
• DSGVO-konforme On-Premise-Chatassistenten: Interne Wissens-Assistenten, Support-Bots und Dokumenten-Q&A laufen komplett im Haus, ohne dass Daten die Firma verlassen.
• Einzelserver statt Cluster: Ein Server mit einer oder wenigen Karten deckt den Bedarf vieler Firmen mit einigen hundert Nutzern vollstaendig ab.
• Einstieg in produktive Eigen-KI: Die Workstation-Edition ist der kalkulierbare erste Schritt aus der Cloud-Abhaengigkeit heraus.

Eher nicht die erste Wahl

Wenn Sie Modelle jenseits von 100B fahren, hochskaliertes Training mit intensivem Tensor-Parallelismus betreiben oder maximale Nebenlaeufigkeit auf sehr grossen Modellen brauchen, fuehrt an NVLink-faehiger Datacenter-Hardware (H100/H200, Blackwell B200/GB200) kein Weg vorbei. Fuer diese Faelle lohnt der Blick auf unseren separaten Artikel zu den Blackwell-Datacenter-Beschleunigern.

Fuer die grosse Mehrheit der Mittelstaendler, die einen verlaesslichen, DSGVO-konformen KI-Assistenten auf Basis eines 70B-Modells suchen, ist die RTX PRO 6000 Blackwell Mitte 2026 jedoch schlicht die vernuenftigste Karte am Markt. Welche Konfiguration fuer Ihren Anwendungsfall passt, rechnen wir gern gemeinsam durch – unser TCO-Rechner liefert dafuer den ersten Anhaltspunkt.

Haeufig gestellte Fragen

Laeuft ein 70B-Modell wirklich auf einer einzigen Karte?

Ja. Die RTX PRO 6000 Blackwell mit 96 GB ist die einzige GPU unter 10.000 USD, die ein 70B-Modell ohne Quantisierung unter Q4 auf einer Karte betreiben kann.

Ist sie schneller als eine H100?

Im Single-GPU-Durchsatz ja: 3.140 tok/s gegenueber 2.987 tok/s der H100 SXM, bei 28 % niedrigeren Kosten pro Token. Beim Multi-GPU-Scaling fehlt allerdings NVLink.

Wann amortisiert sich der Kauf?

Eine RTX-PRO-6000-Workstation erreicht je nach Auslastung Break-even gegenueber Cloud-H100-Miete in 6 bis 18 Monaten. Danach entfallen laufende API-Gebuehren komplett.

Was ist der groesste Nachteil?

Fehlendes NVLink: Multi-GPU-Verbindungen laufen ueber PCIe Gen5 mit rund 128 GB/s statt 900 GB/s. Fuer Skalierung ueber eine Karte hinaus ist das relevant.