RTX PRO 6000 Blackwell mit 96 GB: Der Game-Changer für On-Premise-LLMs unter 10.000 Euro

Lange galt eine eiserne Regel im On-Premise-Betrieb großer Sprachmodelle: Wer ein 70-Milliarden-Parameter-Modell in vernünftiger Präzision fahren wollte, brauchte mehrere Datacenter-Beschleuniger und ein NVLink-Gespann für zehntausende Euro. Mit der RTX PRO 6000 Blackwell und ihren 96 GB Grafikspeicher bricht diese Regel. Erstmals passt ein 70B-Modell in einer produktiv nutzbaren Präzision auf eine einzige GPU – und der Durchsatz kann es mit einer H100 aufnehmen.

Für den Mittelstand, der seine Inferenz aus Datenschutzgründen on-premise im eigenen Haus betreiben will, ist das ein Wendepunkt. In diesem Artikel zerlegen wir die Karte in ihre Einzelteile: die Spezifikationen, einen belegten Benchmark gegen die H100, die realen Systemkosten Mitte 2026, den Break-even gegen die Cloud – und die eine ehrliche Schwäche, die Sie kennen müssen, bevor Sie kaufen.

Die Spezifikationen

Die RTX PRO 6000 Blackwell ist Nvidias professionelle Workstation- und Server-Karte auf Basis der Blackwell-Architektur. Ihr entscheidendes Merkmal ist der Speicher: 96 GB GDDR7 mit ECC, angebunden mit rund 1,79 TB/s Bandbreite (28 Gbps GDDR7 im Clamshell-Design). Damit ist der VRAM exakt der Faktor, der über die Machbarkeit großer Modelle entscheidet.

Die harten Eckdaten

• 96 GB GDDR7 ECC – genug für ein 70B-Modell samt KV-Cache auf einer Karte
• 24.064 CUDA-Cores und Tensor Cores der 5. Generation mit nativer FP4-Unterstützung
• ~4.000 AI TOPS Rechenleistung, 600 W TDP (Workstation Edition)
• PCIe Gen5 x16 als Systemanbindung – kein NVLink (dazu später mehr)

Der Sprung von 80 GB (H100) auf 96 GB klingt nach wenig, ist aber genau die Schwelle, an der ein 70B-Modell in FP8 samt ausreichend KV-Cache in einen Speicher passt. Genau dieser Unterschied entscheidet darüber, ob Sie eine einzelne Karte betreiben oder ein teures Multi-GPU-Gespann mit allen Nachteilen der Karten-zu-Karten-Kommunikation aufbauen müssen. Der große VRAM ist damit nicht nur ein Datenblatt-Vorteil, sondern der eigentliche architektonische Hebel dieser Karte.

Nvidia bietet die Karte in drei Editionen an, die sich Rechenkern und Speicher teilen, aber im Leistungs- und Kühlungsprofil unterscheiden:

Edition	TDP	Einsatzprofil
Workstation	600 W	Einzelplatz-Tower, Entwickler-Workstation
Max-Q	300 W	Mehrere Karten pro Chassis, effizienzoptimiert
Server	passiv	Rack-Server mit zentraler Kühlung, Dauerbetrieb

Benchmark gegen die H100

Zahlen auf dem Datenblatt sind das eine, gemessener Durchsatz das andere. Der Cloud-Anbieter Cloudrift hat beide Karten im direkten Single-GPU-Vergleich getestet – und das Ergebnis ist bemerkenswert deutlich zugunsten der deutlich günstigeren RTX PRO 6000.

Metrik	RTX PRO 6000	H100 SXM
Durchsatz (Single-GPU)	3.140 tok/s	2.987 tok/s
Kosten pro Mio. Token	0,18 USD	0,25 USD
Speicherbandbreite	1,79 TB/s	2,0 TB/s

Die RTX PRO 6000 liegt im Durchsatz rund 5 % vor der H100 SXM und ist pro Token etwa 28 % günstiger. Das ist beeindruckend für eine Karte, die einen Bruchteil kostet.

Ehrliche Einordnung – lesen Sie das Kleingedruckte: Diese Zahlen stammen aus einem konkreten Benchmark auf dem Modell GLM-4.5-Air in 4-Bit-AWQ – also einem quantisierten Modell, nicht einem vollen 70B in FP8. Cloudrift beziffert den Vorteil bei der reinen Stundenmiete zurückhaltender mit rund 22 %; die 28 % pro Token ergeben sich erst durch den höheren Durchsatz. Und: Bei schweren FP8-Workloads mit hoher Nebenläufigkeit kann die größere Bandbreite der H100 (2,0 gegenüber 1,79 TB/s) die Führung zurückholen. Nehmen Sie die Zahlen also als ein starkes, aber spezifisches Ergebnis – nicht als universelles Gesetz.

Die Systemkosten

Der eigentliche Hebel liegt nicht in der einzelnen Karte, sondern im kompletten Serversystem. Hier trennt sich die Wirtschaftlichkeit von RTX PRO 6000 und H100 dramatisch.

Zur Preisrealität gehört eine wichtige Korrektur: Die Karte startete im März 2025 mit einem Listenpreis von 8.565 USD – daher die häufig zitierte Marke „unter 10.000 USD". Mitte 2026 gilt das nicht mehr. Wegen der GDDR7-Knappheit hat Nvidia den offiziellen Listenpreis auf rund 13.250 USD angehoben; Straßenpreise im Juli 2026 liegen je nach Händler zwischen etwa 11.360 und 14.499 USD. Rechnen Sie also mit aktuellen Preisen, nicht mit den Launch-Zahlen.

System	GPU-Kosten (nur Karten)	Verhältnis
8× RTX PRO 6000	~96.000–105.000 USD	Basis
8× H100 SXM	~200.000–240.000 USD	ca. 2,2× teurer
Einzel-Workstation (1 Karte)	~18.000–28.000 USD (System)	Einstieg

Zu Launch-Preisen war die griffige Formel „ein Drittel des H100-Systems" zutreffend (8 × 8.500 USD ≈ 68.000 USD). Zu den 2026er-Preisen liegt der GPU-Anteil eher bei 40 bis 45 % eines vergleichbaren H100-Systems. Der Punkt bleibt aber unverändert: Die RTX PRO 6000 halbiert die GPU-Kosten mindestens – und das bei ebenbürtigem oder besserem Single-GPU-Durchsatz.

Break-even gegen die Cloud

Viele Mittelständler starten in der Cloud, weil der Einstieg dort scheinbar günstiger ist. Bei kontinuierlicher Auslastung kehrt sich das jedoch schnell um. Eine gemietete H100-Instanz kostet je nach Anbieter mehrere US-Dollar pro Stunde – rund um die Uhr summiert sich das auf einen fünfstelligen Betrag pro Jahr und Karte.

Der entscheidende Faktor ist die Auslastung. Ein Assistent, der nur zu Bürozeiten und mit moderater Last läuft, amortisiert langsamer als ein System, das rund um die Uhr Anfragen verarbeitet oder nächtliche Batch-Verarbeitung übernimmt. Genau deshalb schlägt On-Premise die Cloud vor allem bei planbaren, kontinuierlichen Workloads – während die Cloud ihren Vorteil bei kurzen, stark schwankenden Spitzenlasten behält.

Eine gekaufte RTX-PRO-6000-Workstation erreicht gegenüber der H100-Cloud-Miete je nach Auslastung den Break-even in 6 bis 18 Monaten. Danach verschiebt sich die Rechnung fundamental:

• Keine laufenden API- oder Mietgebühren – nach der Amortisation zahlen Sie nur noch Strom und Wartung.
• Planbare Fixkosten statt volatiler, nutzungsabhängiger Cloud-Rechnungen.
• Volle Datensouveränität – kein Token verlässt Ihr Haus, was für DSGVO und Geschäftsgeheimnisse entscheidend ist.

Die Grenzen: kein NVLink

Es wäre unseriös, die Karte ohne ihre echte Schwäche zu empfehlen. Und die heißt: kein NVLink. Während die H100 SXM über Nvidias 4. NVLink-Generation mit rund 900 GB/s pro Karte kommuniziert, muss die RTX PRO 6000 die Verbindung zwischen mehreren Karten über den PCIe-Bus abwickeln.

Konkret bedeutet das: PCIe Gen5 x16 liefert rund 64 GB/s pro Richtung, also etwa 128 GB/s bidirektional aggregiert – gegenüber den 900 GB/s der NVLink-Anbindung. Die Zahlen sind damit fair vergleichbar (bidirektional gegen bidirektional), aber der Abstand ist gewaltig. Für die Praxis heißt das:

• Tensor-Parallelismus, bei dem ständig große Datenmengen zwischen den Karten fließen, wird durch den PCIe-Flaschenhals ausgebremst.
• Pipeline-Parallelismus, bei dem nur die Aktivierungen zwischen den Stufen über den Bus wandern, ist der praktikable Multi-GPU-Modus für diese Karte.
• Solange Ihr Modell auf eine Karte passt – und ein 70B tut das – spielt NVLink schlicht keine Rolle. Der Nachteil greift erst beim Skalieren über eine Karte hinaus.

Hinzu kommt der bereits erwähnte Preisanstieg: Die im Juli 2026 gelisteten rund 13.250 USD sind deutlich mehr als der Launchpreis. Wer die Wirtschaftlichkeit rechnet, sollte mit den aktuellen Marktpreisen kalkulieren, nicht mit den Zahlen aus den ersten Tests von 2025.

Für wen sich die Karte lohnt

Die RTX PRO 6000 Blackwell ist keine Universalantwort – aber für ein sehr konkretes, im Mittelstand häufiges Szenario ist sie derzeit die wirtschaftlichste Lösung überhaupt.

Ideal geeignet

• Mittelstand mit 70B-Inferenzbedarf: Wer produktiv ein großes Modell fahren will, aber keinen Hyperscaler-Cluster braucht, bekommt hier die passgenaue Einzelkarte.
• DSGVO-konforme On-Premise-Chatassistenten: Interne Wissens-Assistenten, Support-Bots und Dokumenten-Q&A laufen komplett im Haus, ohne dass Daten die Firma verlassen.
• Einzelserver statt Cluster: Ein Server mit einer oder wenigen Karten deckt den Bedarf vieler Firmen mit einigen hundert Nutzern vollständig ab.
• Einstieg in produktive Eigen-KI: Die Workstation-Edition ist der kalkulierbare erste Schritt aus der Cloud-Abhängigkeit heraus.

Eher nicht die erste Wahl

Wenn Sie Modelle jenseits von 100B fahren, hochskaliertes Training mit intensivem Tensor-Parallelismus betreiben oder maximale Nebenläufigkeit auf sehr großen Modellen brauchen, führt an NVLink-fähiger Datacenter-Hardware (H100/H200, Blackwell B200/GB200) kein Weg vorbei. Für diese Fälle lohnt der Blick auf unseren separaten Artikel zu den Blackwell-Datacenter-Beschleunigern.

Für die große Mehrheit der Mittelständler, die einen verlässlichen, DSGVO-konformen KI-Assistenten auf Basis eines 70B-Modells suchen, ist die RTX PRO 6000 Blackwell Mitte 2026 jedoch schlicht die vernünftigste Karte am Markt. Welche Konfiguration für Ihren Anwendungsfall passt, rechnen wir gern gemeinsam durch – unser TCO-Rechner liefert dafür den ersten Anhaltspunkt.

Häufig gestellte Fragen

Läuft ein 70B-Modell wirklich auf einer einzigen Karte?

Ja. Die RTX PRO 6000 Blackwell mit 96 GB ist die einzige GPU unter 10.000 USD, die ein 70B-Modell ohne Quantisierung unter Q4 auf einer Karte betreiben kann.

Ist sie schneller als eine H100?

Im Single-GPU-Durchsatz ja: 3.140 tok/s gegenüber 2.987 tok/s der H100 SXM, bei 28 % niedrigeren Kosten pro Token. Beim Multi-GPU-Scaling fehlt allerdings NVLink.

Wann amortisiert sich der Kauf?

Eine RTX-PRO-6000-Workstation erreicht je nach Auslastung Break-even gegenüber Cloud-H100-Miete in 6 bis 18 Monaten. Danach entfallen laufende API-Gebühren komplett.

Was ist der größte Nachteil?

Fehlendes NVLink: Multi-GPU-Verbindungen laufen über PCIe Gen5 mit rund 128 GB/s statt 900 GB/s. Für Skalierung über eine Karte hinaus ist das relevant.