Nach der GTC Berlin: GPU-Server jetzt beschaffen, auf Rubin warten oder mieten?

/01Was auf der GTC Berlin angekündigt wurde

NVIDIAs Entwicklerkonferenz GTC fand vom 20. bis 22. Oktober 2026 in Berlin statt, die Keynote lief am 21. Oktober um 11 Uhr MESZ. Für die Kaufentscheidung eines mittelständischen Hauses sind von den Meldungen dieser drei Tage fünf relevant — alle aus dem Nachrichtenüberblick von NVIDIA und dem Begleitbeitrag von Google Cloud, beide vom 21. Oktober:

• Vera Rubin in der Cloud: Google Cloud und NVIDIA kündigen die allgemeine Verfügbarkeit der A5X-Instanzen an, die auf Vera Rubin NVL72 aufbauen. Wörtlich: „General availability of the instances is coming next month". Eine Ausweitung auf neue lokale Regionen für Anforderungen an Datenresidenz in Europa, Nahost und Afrika ist geplant, ohne Datum und ohne genannte deutsche Region. Google plant bis zu 960.000 Rubin-GPUs über mehrere Standorte.
• Blackwell Ultra in abgeschotteten Umgebungen: HGX B300 ist auf Google Distributed Cloud (GDC) allgemein verfügbar; Gemini 3.5 Flash soll auf GDC innerhalb eines air-gapped Perimeters auf HGX B300 laufen — ohne Verfügbarkeitsstufe oder Datum.
• Vertrauliche Instanzen: Confidential-G4-Instanzen mit RTX PRO 6000 Blackwell sind allgemein verfügbar; A4X-Max-Instanzen mit GB300 NVL72 kommen mit „Confidential Bare Metal", einer neuen Bereitstellungsart mit NVIDIA Confidential Computing.
• Arbeitsplatzklasse: DGX Station läuft heute unter Linux, eine Windows-Version folgt im Dezember. RTX-Spark-Notebooks mit bis zu 128 GB Unified Memory sind ab 2.399 US-Dollar erhältlich.
• Modelle und Politik: NVIDIA stellt Nemotron 3.5 Super VL und Nemotron 3.5 Bolt vor; Bundeskanzler Merz und Jensen Huang sprechen über die industrielle KI-Strategie Deutschlands mit Blick auf kleine und mittlere Unternehmen.

Was fehlt, ist ebenso aufschlussreich: In den geprüften Meldungen steht kein Liefertermin für Rubin-Server von Dell, HPE, Lenovo oder Supermicro, kein Preis für eine Rubin- oder B300-Konfiguration und keine neue PCIe-Karte unterhalb der Rack-Klasse. Die Frage „Rubin oder Blackwell" hat unser Beitrag Vera Rubin vs. Blackwell nach der Vorstellung im Januar beantwortet. Dieser Artikel stellt die Frage neu, wie sie sich nach Berlin tatsächlich stellt: Was kann ein Haus mit 24 GB, 192 GB oder vier GPUs heute beschaffen — und was gewinnt es durch Warten?

/02Was davon ein Mittelständler kaufen kann

Die Ankündigungen sortieren sich in drei Gruppen, und nur eine davon landet in einem Serverraum mit 19-Zoll-Schrank und normaler Klimatisierung.

Rack-Systeme der Hyperscaler-Klasse. Vera Rubin NVL72 und GB300 NVL72 sind Rack-Systeme mit 72 GPUs, NVLink-Switches und eigener Netzwerkebene. Kein Mittelständler kauft so ein System für die Inferenz eines Sprachmodells; wer diese Leistung braucht, mietet sie — und genau das bietet Google ab November mit A5X an.

Acht-GPU-Server (HGX). HGX B300 und HGX B200 werden laut NVIDIA ausgeliefert, HGX Rubin NVL8 läuft an. Ein HGX-Board mit acht GPUs und 2 TB Grafikspeicher ist für einen Konzern mit eigener Trainings- oder Großinferenz-Last eine reale Option. Für ein Haus mit 200 Arbeitsplätzen, das einen Assistenten und eine Wissenssuche betreiben will, ist es um eine Größenordnung zu groß.

PCIe-Karten und Arbeitsplatzsysteme. Hier liegt der Mittelstand: RTX PRO 6000 Blackwell mit 96 GB, Systeme mit zwei bis acht solcher Karten, dazu DGX Station und RTX Spark als Entwickler- und Pilotgeräte. In dieser Klasse hat die GTC Berlin nichts Neues angekündigt, das eine heutige Beschaffung entwertet. Was wir dazu in den Meldungen nicht gefunden haben, behaupten wir auch nicht: Ob und wann eine Rubin-Generation im PCIe-Format kommt, steht in keiner der geprüften Quellen.

/03Rubin, B300 und RTX PRO 6000 in Zahlen

Die folgenden Werte stammen von NVIDIAs Produktseiten, abgerufen am 22. Oktober 2026. Wir stellen sie nebeneinander, weil sie zeigen, wie weit die Klassen auseinanderliegen — nicht, um eine Rangfolge zu bauen.

Zwei Widersprüche stehen in NVIDIAs eigenen Seiten, und beide sollte kennen, wer mit diesen Zahlen rechnet. Erstens nennt die HGX-Seite für die Rubin-GPU 22 TB/s Speicherbandbreite, die Seite zum Vera-Rubin-NVL72-Rack 19,2 TB/s. Für die Inferenz großer Modelle ist die Bandbreite die Zahl, die den Durchsatz je Nutzer bestimmt; ein Unterschied von rund 13 Prozent ist keine Rundung. Zweitens nennt die HGX-Seite für das Acht-GPU-System 2 TB Grafikspeicher, obwohl acht mal 288 GB 2.304 GB ergeben. Ob NVIDIA abrundet oder ob das ausgelieferte System weniger nutzbaren Speicher hat, steht dort nicht. In der Praxis: Vor einer Kalkulation das Datenblatt des konkreten Servers beim Hersteller anfordern, nicht die Plattformseite zitieren.

Der wichtigere Befund steht in der letzten Zeile. Eine RTX PRO 6000 Blackwell hat ein Drittel des Speichers einer Rubin-GPU und weniger als ein Zehntel ihrer Bandbreite. Trotzdem ist sie die Karte, auf der ein 70B-Modell in 4-Bit-Quantisierung mit Reserve für den KV-Cache läuft, wie unser Praxistest in RTX PRO 6000 Blackwell gezeigt hat. Rubin ist schneller, aber für eine Aufgabe gebaut, die im Mittelstand selten anfällt: viele hundert gleichzeitige Nutzer an einem Modell mit mehreren hundert Milliarden Parametern.

/04Software-Reife: Die Karte ist erst mit dem Stack nutzbar

Hardware ohne passende Kernel ist ein teurer Heizkörper. Wie lange es dauert, bis eine neue GPU-Generation im Standard-Stack ankommt, zeigt ausgerechnet die Woche vor der GTC. vLLM 0.32.0 vom 18. Oktober 2026 nennt in den Release-Notes „initial Rubin support" über das Paket humming-kernels 0.1.17. „Initial" heißt: erste Kernel, nicht optimiert, nicht in jeder Kombination aus Modell, Präzision und Parallelisierung getestet. Dieselbe Version setzt Python 3.11 als Minimum voraus und baut standardmäßig gegen CUDA 13.0 — wer einen bestehenden Server aktualisiert, prüft vorher Treiber und Basisimage.

Bei Blackwell im Workstation-Format ist dieser Weg ein Jahr weiter. Zwei Beispiele aus dem Oktober: NVIDIAs eigenes Modell Nemotron 3.5 Bolt nennt als unterstützte Mikroarchitektur ausdrücklich Blackwell SM120 und SM121, also die Klasse von RTX PRO 6000 Blackwell, RTX 5090 und DGX Spark. Und die NVFP4-Fassung des Coding-Modells Recursive Flint ist laut Modellkarte auf B300, RTX PRO 6000 Blackwell, RTX Spark und DGX Spark getestet. Neue Modelle erscheinen heute mit Kerneln für Blackwell; Rubin muss diesen Rückstand erst aufholen. Für die Inferenz im Mittelstand ist das der stärkste Grund, nicht zu warten: Die Software, die Sie betreiben wollen, ist für die Karte gebaut, die man heute kaufen kann.

Ob die vorhandene Hardware in diese Linie passt, sagen drei Befehle auf dem Server:

# 1. Welche Karte, welche Rechenfähigkeit, wie viel Speicher?
nvidia-smi --query-gpu=name,compute_cap,memory.total --format=csv
# Beispielausgabe auf einem Blackwell-Workstation-System:
# name, compute_cap, memory.total [MiB]
# NVIDIA RTX PRO 6000 Blackwell Workstation Edition, 12.0, 97887 MiB

# 2. Treiberstand und höchste unterstützte CUDA-Version
nvidia-smi | head -n 4

# 3. Welche vLLM- und Python-Version läuft im Container?
docker exec vllm python3 -c "import sys, vllm; print(sys.version.split()[0], vllm.__version__)"

Die Deutung der zweiten Spalte im ersten Befehl laut NVIDIAs Tabelle der Rechenfähigkeiten: 8.0 ist A100, 8.9 die Ada-Generation mit RTX 4090, RTX 6000 Ada und L40S, 9.0 sind H100 und H200, 10.0 ist B200, 10.3 ist B300, 12.0 sind RTX PRO 6000 Blackwell und RTX 5090, 12.1 ist GB10 in der DGX Spark. Wer 8.9 sieht, betreibt eine Karte ohne native FP4-Rechenwerke; NVFP4-Modelle laufen dort, wenn überhaupt, über Ausweichpfade. Was das für die Modellwahl bedeutet, steht in NVFP4 auf Blackwell. Die Speicherzahl in MiB ist der Wert, mit dem jede VRAM-Rechnung beginnt — nicht die Zahl aus dem Prospekt. Und die dritte Zeile beantwortet, ob ein Update auf vLLM 0.32 ohne Basisimage-Wechsel möglich ist: Steht dort Python 3.10, ist es das nicht.

/05Zeitachse: was bis Jahresende konkret passiert

Die folgenden Stichtage sind belegt; was nach einem Doppelpunkt steht, ist die Folge für ein Haus mit eigener Hardware.

• Anfang 2026: Vorstellung der Vera-Rubin-Plattform. Folge damals: Diskussion über das Warten — unsere Einordnung steht im Bestandsartikel.
• 18. Oktober 2026: vLLM 0.32.0 mit erster Rubin-Unterstützung, Python 3.11 als Minimum, CUDA 13.0 als Standard-Build. Folge: Wer einen bestehenden Server auf die neue Engine-Version heben will, plant den Wechsel des Basisimages ein; mit Rubin selbst hat das nichts zu tun.
• 21. Oktober 2026: Keynote der GTC Berlin. HGX B300 auf GDC allgemein verfügbar, Confidential-G4-Instanzen mit RTX PRO 6000 Blackwell allgemein verfügbar. Folge: Für Häuser, die eine vertrauliche Cloud-Instanz als Übergang suchen, gibt es jetzt eine Blackwell-Option.
• November 2026: A5X-Instanzen mit Vera Rubin NVL72 bei Google Cloud allgemein verfügbar („next month", gerechnet ab dem 21. Oktober). Folge: Rubin lässt sich ab dann stundenweise mieten und mit dem eigenen Workload messen, ohne einen Server zu kaufen.
• Dezember 2026: DGX Station in einer Windows-Version. Folge: Für Entwicklungsteams, die keine Linux-Arbeitsplätze betreiben, wird das Arbeitsplatzsystem zur Option für Prototypen.
• Ohne Datum: europäische Regionen für A5X, Liefertermine für Rubin-Server bei den Serverherstellern, Rubin im PCIe-Format. Folge: Wer eine Beschaffung an einen dieser Termine knüpft, knüpft sie an ein Ereignis, das niemand zugesagt hat.

Die letzte Zeile ist die eigentliche Nachricht für Einkäufer. Warten ist nur dann eine Strategie, wenn man weiß, worauf. Für Rubin auf eigener Hardware im Mittelstandsformat gibt es nach der GTC Berlin keinen Termin.

/06Entscheidungstabelle: kaufen, warten oder mieten

Die Tabelle ersetzt kein Konzept, aber sie sortiert die Fälle, die uns in Erstgesprächen begegnen. Gelesen wird sie zeilenweise: Trifft die Bedingung zu, gilt die Empfehlung in der rechten Spalte, und die nächste Zeile ist nur noch Feinschliff.

Auffällig ist, wie selten „warten" auftaucht. Das liegt nicht an einer Vorliebe für Hardwareverkauf, sondern an der Rechnung. Unsere Referenzrechnung für ein A100-System kommt über 36 Monate auf rund 55.000 € für Hardware, Einrichtung, Strom und Support, gegenüber rund 108.000 € Cloud-API bei 100.000 Anfragen im Monat; der Break-even liegt nach rund 18 Monaten. Daraus abgeleitet: Die API kostet in diesem Szenario rund 3.000 € im Monat. Wer ein halbes Jahr auf eine neue Generation wartet und so lange die API nutzt, zahlt rund 18.000 € — und hat danach immer noch keinen Server, sondern eine Bestellung mit offenem Liefertermin. Mit Ihren Zahlen rechnet das der Rechner im nächsten Kasten.

/07Wann die Rubin-Frage die falsche Frage ist

Die meisten Mittelständler, die uns nach Rubin fragen, haben eine andere Frage, die sie noch nicht gestellt haben. Vier Fälle, in denen die Generationsfrage den Blick auf das eigentliche Problem verstellt:

• Es gibt noch keinen Anwendungsfall mit Nutzern. Ohne Workload ist jede Hardware zu früh gekauft, Rubin wie Blackwell. Der richtige nächste Schritt ist ein Pilot mit echten Dokumenten und echten Anwendern, nicht ein Datenblattvergleich.
• Der Engpass ist nicht die Rechenleistung. Wenn Antworten langsam kommen, liegt das in der Praxis oft an der Suchschicht, an zu großen Kontextfenstern oder an einer Engine-Konfiguration, die Anfragen nicht bündelt. Ein Serving-Stack mit sauberem Batching holt aus derselben Karte ein Vielfaches heraus. Unsere Messung mit Qwen3 27B auf einem 192-GB-System ergab 3.900 Token je Sekunde als Summe über viele parallele Anfragen — auf Hardware, die es seit Monaten zu kaufen gibt.
• Das Modell ist zu groß gewählt. Wer für eine interne Wissenssuche ein Modell mit mehreren hundert Milliarden Parametern plant, plant am Bedarf vorbei. Für die meisten Aufgaben im Mittelstand reichen Modelle bis 70B+ Parameter, und die laufen auf Systemen bis 192 GB VRAM. Rubin löst ein Problem, das durch die Modellwahl gar nicht erst entstehen muss.
• Die eigentliche Sorge ist Vertraulichkeit. Wer wartet, weil er der Cloud nicht traut, wartet auf das Falsche. Vertrauliche GPU-Instanzen und abgeschottete Umgebungen gibt es seit der GTC Berlin auch mit Blackwell; was On-Premise gegenüber einer Confidential-Computing-Instanz tatsächlich schützt, steht in Confidential Computing für LLMs.

Ehrlich: Es gibt Häuser, für die Rubin die richtige Antwort ist — Forschungsabteilungen großer Industriekonzerne, Anbieter, die selbst ein Modell als Dienst verkaufen, Teams, die eigene Modelle trainieren. Für sie ist die Rack-Klasse ein Thema, und sie verhandeln Liefertermine direkt mit dem Serverhersteller. Für ein Haus, das ein Sprachmodell für die eigenen Mitarbeiter betreiben will, ist Rubin eine Nachricht aus einer anderen Liga — interessant zu lesen, ohne Einfluss auf die Bestellung.

/08Entscheidung nach Hausgröße: 24 GB, 192 GB, vier GPUs

Haus mit einer 24-GB-Karte. Die Karte steht, oft in einer Workstation der Entwicklung. Sie trägt Modelle der 27B- bis 31B-Klasse in 4-Bit für einen kleinen Nutzerkreis und ist der richtige Ort für den Pilot. Rubin ändert daran nichts. Die Entscheidung lautet: nicht nachkaufen, bevor die Messung zeigt, dass die Karte nicht reicht. Wenn sie nicht reicht, ist der nächste Schritt ein System mit 96-GB-Karten oder ein gemietetes System, nicht das Warten auf eine Generation, deren kleinste angekündigte Form ein Acht-GPU-Board ist.

Haus, das ein 192-GB-System plant. Das ist die Klasse, in der das ki·spezial System im Vollausbau liegt: zwei bis acht GPUs, 48 bis 192 GB VRAM, Modelle bis 70B+ Parameter mit Platz für lange Kontexte und mehrere Abteilungen. Diese Klasse ist mit heute lieferbaren Karten vollständig abgedeckt; die Kernel sind ausgereift, neue Modelle erscheinen mit Startbefehlen für Blackwell. Die Entscheidung lautet: kaufen, wenn der Workload belegt ist; vorher zwei bis vier Wochen Proof of Concept auf unserer Hardware, damit die Konfiguration aus einer Messung kommt.

Haus mit vier GPUs oder mehr. Wer vier Karten plant, plant für viele gleichzeitige Nutzer oder für ein größeres Mixture-of-Experts-Modell über Tensor-Parallelität. Hier lohnt der genaueste Blick auf die Zeitachse: Wer in diesem Quartal bestellt, erhält Blackwell-Karten mit ausgereiftem Stack; wer auf Rubin im eigenen Rack wartet, wartet auf ein Format und einen Termin, die nicht genannt sind. Die Entscheidung lautet: Blackwell kaufen, wenn Strom und Kühlung für rund 2,4 kW GPU-Last vorhanden sind; sonst das System im Rechenzentrum betreiben lassen und den Serverraum nicht umbauen. Wer Rubin trotzdem für den eigenen Workload bewerten will, mietet ab November eine A5X-Instanz für einen Messtag — das ist billiger als jede Wette auf ein Datenblatt.

/09Der Prüfplan für die nächsten vier Wochen

Wer nach der GTC Berlin eine Beschaffung auf dem Tisch hat, kommt in vier Wochen zu einer belastbaren Entscheidung, ohne auf eine Ankündigung zu warten:

1. Woche 1 — Bestand. Die drei Befehle aus Abschnitt /04 auf jeder vorhandenen GPU-Maschine ausführen. Ergebnis: Liste mit Karte, Rechenfähigkeit, Speicher, Treiber und Engine-Version. Damit ist klar, ob NVFP4-Modelle nativ laufen und ob ein Engine-Update einen Basisimage-Wechsel braucht.
2. Woche 2 — Bedarf. Nutzerzahl, typische Kontextlänge und Zielmodell festhalten. Mit der Rechenmethode aus KV-Cache verstehen den Speicherbedarf ausrechnen: Gewichte plus Cache plus Puffer. Liegt die Summe unter 192 GB, ist die Generationsfrage für dieses Projekt erledigt.
3. Woche 3 — Messung. Das Zielmodell mit dem eigenen Prompt-Mix auf vergleichbarer Hardware fahren: Einzeldurchsatz, Latenz bis zum ersten Token, Sättigungspunkt bei paralleler Last. Belastbare Durchsatzwerte liefert nur diese Messung, kein Benchmark aus einem Datenblatt.
4. Woche 4 — Entscheidung. Die Ergebnisse in die Tabelle aus Abschnitt /06 legen und die Kostenrechnung mit den eigenen Anfragezahlen gegen die API stellen. Ergebnis ist eine von drei Antworten: kaufen, mieten oder bewusst warten — und im dritten Fall mit einem Grund, der sich aufschreiben lässt.

Die Desktop-Klasse aus Berlin passt in diesen Plan als Werkzeug, nicht als Ziel: DGX Station und RTX Spark sind gute Geräte, um in Woche 3 ein Modell im Team auszuprobieren; einen Dienst für eine Abteilung tragen sie nicht. Was die Arbeitsplatzsysteme leisten und wo sie enden, steht in DGX Spark und DGX Station.