Mistral Large 4 mit offenen Gewichten: was die Lizenz erlaubt und was 1,06 TB für Ihr Rack bedeuten

/01Was seit dem 29. Oktober auf Hugging Face liegt

Am 29. Oktober 2026 um 14:11 Uhr UTC hat Mistral die Gewichte von Mistral Large 4 auf Hugging Face veröffentlicht. Der Commit-Verlauf des Repositories mistralai/Mistral-Large-4-1T-A52B zeigt an diesem Zeitpunkt den Eintrag „Initial release“, eine Sekunde später denselben Eintrag im Schwester-Repository mit der NVFP4-Fassung. Beide Repositories sind öffentlich und nicht zugangsbeschränkt: Die Hugging-Face-API meldet gated: false. Wer die Dateien laden will, braucht weder ein Formular noch eine Freischaltung.

Der Blogbeitrag von Mistral trägt in seinen Metadaten dasselbe Datum. Am 2. November kam ein technischer Bericht als PDF ins Repository. Als wir das Modell am 12. Oktober nach der Ankündigung eingeordnet haben, gab es weder Lizenztext noch Dateigrößen. Beides liegt jetzt vor, und beides lässt sich nachlesen statt vermuten.

Die Modellkarte beschreibt ein Mixture-of-Experts-Modell mit rund 1 Billion Parametern. Je Token sind 49 Milliarden aktiv, mit Einbettungs- und Ausgabeschicht 52 Milliarden. Dahinter stehen 128 geroutete Experten, von denen vier je Token rechnen, plus ein geteilter Experte. Das Kontextfenster fasst 1.048.576 Token. Das Modell ist multimodal in der Eingabe (Text und Bild) und gibt Text aus. Mistral nennt mehr als 160 Sprachen, darunter alle Amtssprachen der EU, und ein Training auf 3.800 Grace-Blackwell-GPUs von NVIDIA in eigenen europäischen Rechenzentren.

Zur Leistung macht Mistral zwei Angaben, beide Herstellerangaben auf Indizes von Artificial Analysis: 48 % im Coding Agent Index bei 47 % weniger Token je Aufgabe als das führende offene Modell, und 26 Punkte im Intelligence Index v5. Die Karte sagt selbst, dass die führenden offenen Modelle aus China in diesem Gesamtindex höher liegen. Ein Benchmark dieser Art ersetzt keinen Test mit Ihren Dokumenten.

/02Die Lizenz im Wortlaut: MIT mit einer Bedingung

Die Lizenz heißt „Mistral Ecosystem Open-Weight License“ und liegt als Datei LICENSE in beiden Repositories, wortgleich. Sie bezeichnet sich als modifizierte Fassung der MIT-Lizenz und ist kurz genug, um sie ganz zu lesen. Der Aufbau:

• Die Erlaubnis entspricht MIT: nutzen, kopieren, verändern, zusammenführen, veröffentlichen, verbreiten, unterlizenzieren und verkaufen; außerdem betreiben, weitertrainieren und abgeleitete Werke erstellen. Fine-Tuning ist damit ausdrücklich gedeckt.
• Ziffer 1 verlangt, den Urheber- und Lizenzhinweis in allen Kopien oder wesentlichen Teilen des Modells mitzuführen.
• Ziffer 2 ist die Abweichung von MIT: Betreibt der Lizenznehmer oder eines seiner verbundenen Unternehmen ein „Model as a Service business“, muss er eine gesonderte kommerzielle Lizenz mit Mistral schließen, bevor er das Modell oder abgeleitete Werke für irgendeinen kommerziellen Zweck nutzt.
• Ziffer 3 nimmt zwei Fälle von Ziffer 2 aus: die interne Nutzung und die Nutzung über Mistrals offizielle Produkte.

Entscheidend ist die Definition. „Model as a Service“ bedeutet laut Lizenz, einem Dritten Zugang zum Modell oder zu abgeleiteten Werken zu geben, und zwar „for inference or post-training by any means (for instance via API or hosted endpoints), in a manner that allows such third party to exercise meaningful control over the inputs, parameters, or training data“. Nicht darunter fallen Endnutzerprodukte, in denen die Modellfähigkeiten ausschließlich in bestimmte Funktionen eingebettet sind, und das bloße Weiterleiten von Anfragen an Modelle, die andere betreiben.

Interne Nutzung definiert Ziffer 3 als jede Nutzung, die das Modell oder abgeleitete Werke nicht Dritten zugänglich macht. Der Blogbeitrag fasst das als „single condition“ zusammen. Eine Umsatzschwelle, eine Nutzergrenze oder eine Namenspflicht enthält der Text nicht, eine Widerrufs- oder Kündigungsklausel ebenfalls nicht. Wie sich das zu Apache 2.0, MIT und anderen Hauslizenzen verhält, steht im Lizenzvergleich für Open-Weight-Modelle.

/03Wen die MaaS-Klausel trifft und wen nicht

Die folgende Tabelle legt den Lizenztext auf typische Konstellationen im Mittelstand. Sie ist unsere Lesart des Wortlauts und keine Rechtsberatung; wo der Text keine klare Antwort gibt, steht das dabei.

Die Konzernklausel ist die Stelle, die am leichtesten übersehen wird. Ziffer 2 knüpft nicht an die Gesellschaft an, die das Modell herunterlädt, sondern an die Gruppe: Betreibt irgendein verbundenes Unternehmen ein solches Geschäft, braucht der Lizenznehmer den Vertrag vor jeder kommerziellen Nutzung. Für eine Unternehmensgruppe mit einer IT-Tochter, die Hosting für fremde Kunden anbietet, ist das eine Frage für die Rechtsabteilung, bevor der erste Server bestellt wird.

Offen bleibt auch der Betrieb durch einen Dienstleister. Lässt ein Haus das Modell auf dedizierter Hardware von einem Dritten betreiben, muss vor Vertragsschluss geklärt sein, wer Lizenznehmer ist und ob der Betreiber damit Modellzugang als Dienst anbietet. Der Lizenztext verweist für solche Fälle auf das Kontaktformular von Mistral. Das ist keine Formsache.

/04Was im Repository liegt: zwei Checkpoints, zwei Größen

Mistral veröffentlicht zwei Fassungen. Das Hauptrepository enthält den Checkpoint in FP8, das zweite eine quantisierte Fassung in NVFP4. Die Größen stammen aus der Hugging-Face-API, nicht aus der Karte.

Neben den Gewichten liegen im Hauptrepository die Lizenz, ein Chat-Template (chat_template.jinja), der Tokenizer (tekken.json), die Modellparameter (params.json) und der technische Bericht. Das Template spart die Arbeit, die Prompt-Kodierung selbst in die Serving-Engine zu bringen.

Zur NVFP4-Fassung schreibt Mistral, sie liefere dieselbe Leistung wie FP8 bei deutlich kleinerem Speicherbedarf und schnellerer Inferenz; die Karte zeigt dazu einen Vergleich über mehrere Testreihen. Das ist eine Herstellerangabe. Wichtiger für die Beschaffung ist der Satz darunter: NVFP4 zielt auf Blackwell-GPUs, die eigene Hardware für das Format mitbringen. Auf älteren Karten ist die kleine Fassung keine Option. Wie das Format arbeitet, erklärt NVFP4 auf Blackwell.

Für llama.cpp verweist die Karte auf GGUF-Dateien bei ggml-org und Unsloth. Deren Einzelgrößen haben wir nicht geprüft. Vor jedem Download lohnt der Blick auf die tatsächliche Größe:

# Größe und Zugang prüfen, ohne etwas herunterzuladen
curl -s https://huggingface.co/api/models/mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  | python3 -c 'import json,sys; d=json.load(sys.stdin); print(d["gated"], round(d["usedStorage"]/1e9, 1), "GB")'
# erwartet am 11.11.2026: False 610.1 GB   (FP8-Repository: False 1060.6 GB)

# Herunterladen und Platte prüfen (du zeigt binäre Einheiten)
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 --local-dir /models/ml4-nvfp4
du -sh /models/ml4-nvfp4      # rund 568G  (610,1 GB = 568,2 GiB)

/05Vom Checkpoint zur GPU-Zahl: die Rechnung

Die Modellkarte nennt keinen GPU-Typ und keinen Speicherbedarf in Gigabyte. Sie zeigt Startbefehle mit Tensor-Parallelität über acht Karten und bezeichnet diesen Wert selbst als Beispiel für einen Knoten mit acht GPUs, den man an die eigene Topologie anpasst. Aus der Karte allein folgt also nicht, dass acht GPUs Pflicht sind.

Konkreter wird die vLLM-Recipe, auf die die Karte verweist. Sie führt auf, worauf das Modell validiert wurde:

• NVIDIA GB300: ein Einschub mit vier GPUs für NVFP4, acht GPUs in zwei Einschüben für NVFP4 und FP8.
• 8 × B300: NVFP4 und FP8.
• 8 × B200: NVFP4.
• 2 × 8 H200: FP8, verteilt über 16 Karten.
• AMD Instinct MI350X: acht GPUs mit dem ROCm-Image.

Dazu nennt die Recipe den Bedarf je Karte: FP8 braucht bei acht GPUs rund 128 GiB Gewichte je GPU, NVFP4 rund 76 GiB. Validiert ist ein Kontext bis 256.000 Token (--max-model-len 262144), nicht die volle Million. Die kleinste validierte Konfiguration ist damit ein Knoten mit vier Blackwell-GPUs der Rechenzentrumsklasse.

Unsere eigene Rechnung, abgeleitet aus den Dateigrößen und den Datenblättern, nicht vom Hersteller:

# Eigene Rechnung, Stand 11.11.2026 – Gewichte je GPU bei gleichmäßiger Verteilung
FP8    1.060,6 GB / 8 GPUs  =  132,6 GB je GPU
NVFP4    610,1 GB / 8 GPUs  =   76,3 GB je GPU
NVFP4    610,1 GB / 4 GPUs  =  152,5 GB je GPU

# Speicher je Karte laut NVIDIA
H200            141 GB
B200            180 GB   (DGX B200: 8 GPUs, 1.440 GB gesamt)

# Folgerung
FP8 auf 8 x H200:    132,6 von 141 GB belegt  -> kein Platz für den Cache
NVFP4 auf 8 x B200:   76,3 von 180 GB belegt  -> rund 100 GB je Karte frei
192-GB-System:       610,1 GB / 192 GB        =  Faktor 3,2 zu groß

Die erste Folgerung erklärt, warum die Recipe FP8 auf H200 nur über zwei Knoten mit zusammen 16 Karten validiert: Auf acht Karten füllen die Gewichte den Grafikspeicher fast vollständig, und für den KV-Cache der laufenden Sitzungen bleibt nichts. Die zweite zeigt, warum NVFP4 auf Blackwell die naheliegende Betriebsfassung ist. Die dritte ist die Zeile für die meisten Mittelständler: Der kleinere Checkpoint ist gut dreimal so groß wie der Speicher eines 192-GB-Systems.

Ein Knoten dieser Klasse ist auch elektrisch eine andere Liga. NVIDIA nennt für die DGX B200 mit acht GPUs eine Leistungsaufnahme von bis zu rund 14,3 kW. Das ist kein Gerät für den Serverraum neben der Teeküche, sondern eines für eine Rechenzentrumsfläche mit passender Stromversorgung und Kühlung.

/06Start mit vLLM und SGLang: was die Karte vorgibt

Mistral empfiehlt vLLM und liefert dafür ein eigenes Docker-Image. Die Recipe begründet das: Zum Zeitpunkt unseres Abrufs enthielt laut Recipe kein reguläres vLLM-Release und kein Nightly-Paket die Unterstützung für das Modell. Wer eine vorhandene vLLM-Installation weiterverwenden will, kommt damit nicht ans Ziel. Der Startbefehl der NVFP4-Karte:

docker pull vllm/vllm-openai:mistral-large-4

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -p 8000:8000 --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --tensor-parallel-size 8 \
  --kv-cache-dtype fp8_ds_mla \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

# SGLang-Beispiel der NVFP4-Karte: vier GPUs
sglang serve --model-path mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --tp-size 4 --mem-fraction-static 0.85 \
  --speculative-algorithm DSPARK --max-running-requests 64 \
  --reasoning-parser auto --tool-call-parser auto

Drei Parameter verdienen einen zweiten Blick. --kv-cache-dtype fp8_ds_mla ist laut Karte für den NVFP4-Checkpoint nötig. Die beiden Parser trennen Werkzeugaufrufe und Denkschritte von der sichtbaren Antwort; ohne sie funktioniert Function Calling nicht sauber. Und --gpu-memory-utilization 0.85 lässt 15 % des Speichers frei. Wird der Speicher knapp, rät die Karte, Kontextlänge und Zahl paralleler Anfragen zu senken.

Im Checkpoint steckt außerdem ein Entwurfskopf für Speculative Decoding namens DSpark: drei dichte Schichten, die jeweils einen Block von drei Token vorschlagen. Mistral hat damit nach eigener Messung bis zu 1,9-fachen Durchsatz gegenüber dem Betrieb ohne Entwurfskopf erreicht und schreibt dazu, der tatsächliche Gewinn hänge von Hardware und Last ab. Eigene Messwerte zu diesem Modell haben wir nicht. Belastbare Durchsatzwerte liefert nur eine Messung mit Ihrem Prompt-Mix.

Die Karte empfiehlt für alle Denkstufen eine Temperatur von 1,0 und top_p 0,95. Die Denktiefe lässt sich je Anfrage in drei Stufen wählen; Voreinstellung ist die höchste. Für kurze Chat-Antworten ist die niedrigste Stufe gedacht, und sie spart Rechenzeit, die bei einem Modell dieser Größe teuer ist.

/07Wann Mistral Large 4 im eigenen Haus die falsche Wahl ist

Ehrlich: Für die meisten Mittelständler ist der Eigenbetrieb dieses Modells keine sinnvolle Option, und das liegt nicht an der Lizenz.

Die Hardware passt nicht zum Bedarf

Ein Knoten mit vier oder acht Rechenzentrums-GPUs ist für Lasten gebaut, die ein Haus mit 200 Arbeitsplätzen selten erzeugt. Einen Listenpreis für solche Knoten haben wir nicht an einer Primärquelle geprüft und nennen deshalb keinen. Die Größenordnung ergibt sich auch so: Unsere Referenzrechnung für ein On-Premise-System liegt bei rund 55.000 € über 36 Monate gegenüber rund 108.000 € für eine Cloud-API bei 100.000 Anfragen im Monat, GPU-Server beginnen bei rund 15.000 €. Ein Acht-GPU-Knoten der Blackwell-Klasse gehört in eine andere Budgetkategorie.

Die API ist für kleine Lasten deutlich günstiger

Mistral bietet dasselbe Modell über die eigene API an, laut Blogbeitrag für 0,70 US-Dollar je Million Eingabe-Token und 2,10 US-Dollar je Million Ausgabe-Token. Ein Beispielszenario mit eigenen Annahmen (100.000 Anfragen im Monat, je 2.000 Token Eingabe und 500 Token Ausgabe): 200 Millionen Eingabe-Token kosten 140 US-Dollar, 50 Millionen Ausgabe-Token 105 US-Dollar, zusammen 245 US-Dollar im Monat. Gegen diese Zahl rechnet sich kein eigener Knoten dieser Klasse. Wer selbst betreibt, tut es aus anderen Gründen: weil Daten das Haus nicht verlassen dürfen, weil das Netz abgeschottet ist oder weil die Last um Größenordnungen höher liegt.

Die Million Token Kontext ist nicht validiert

Der Checkpoint meldet 1.048.576 Positionen. Die vLLM-Recipe hat nach eigener Angabe bis 256.000 Token validiert und setzt die Grenze dort. Wer ein Projekt auf die volle Million plant, plant auf einen Wert, den die Serving-Seite noch nicht bestätigt.

Der Hersteller relativiert selbst

Die Karte enthält den Hinweis, bei unbefriedigender lokaler Leistung die Mistral-API zu verwenden. Das ist ungewöhnlich offen und sollte als Warnung gelesen werden: Die Integration in die Serving-Engines ist jung, und ein Sonder-Image statt eines regulären Releases bedeutet eigenen Pflegeaufwand bei jedem Sicherheitsupdate.

/08Entscheidung: für welches Haus sich der Eigenbetrieb lohnt

Die Lizenzfrage ist für fast jedes Haus schnell beantwortet, die Hardwarefrage trennt die Fälle.

• Haus mit einer 24-GB-Karte oder einem 192-GB-System: Mistral Large 4 ist kein Kandidat. Die kleinste Herstellerfassung ist gut dreimal so groß wie der Speicher im Vollausbau. Sinnvoll sind offene Modelle, die in diesen Speicher passen und dort mit Reserve für den Cache laufen.
• Haus mit Bedarf an genau diesem Modell, aber ohne Abschottungspflicht: Die Mistral-API ist der wirtschaftliche Weg. Ziffer 3 (b) der Lizenz stellt klar, dass die Nutzung über Mistrals offizielle Produkte nicht unter die MaaS-Klausel fällt.
• Haus mit strikter Datenhoheit, abgeschottetem Netz und hoher Last: Hier kann sich ein Blackwell-Knoten mit der NVFP4-Fassung rechnen. Voraussetzung ist eine Rechenzentrumsfläche mit zweistelliger Kilowattzahl je Knoten und ein Betriebsteam, das ein Sonder-Image pflegt.
• Systemhaus oder Softwareanbieter: Zuerst die Lizenz, dann die Hardware. Wer Kunden einen Endpunkt bereitstellt, braucht den Vertrag mit Mistral vor der ersten kommerziellen Nutzung. Wer das Modell fest in eine Produktfunktion einbaut, sollte sich die Einordnung schriftlich bestätigen lassen.

In der Praxis ist die Nachricht vom 29. Oktober für den Mittelstand vor allem ein Signal: Ein europäischer Hersteller veröffentlicht sein größtes Modell unter einer Lizenz, die den internen Betrieb nicht einschränkt. Das stärkt die Verhandlungsposition jedes Hauses, das zwischen API und eigener Hardware wählt, auch wenn es dieses Modell nie selbst startet. Die kleineren Modelle derselben Familie und anderer Hersteller profitieren von denselben Werkzeugen, die jetzt für die Billionen-Klasse gebaut werden.

/09Was Sie diese Woche prüfen können

Vier Schritte kosten keinen Euro Hardware und klären, ob das Thema für Ihr Haus weitergeht.

1. Lizenztext lesen und ablegen. Laden Sie die Datei LICENSE aus dem Repository und legen Sie sie mit Abrufdatum zur Dokumentation. Hauslizenzen können sich mit einer neuen Modellversion ändern; maßgeblich ist der Text, der beim Download beilag.
2. Konzernfrage stellen. Klären Sie, ob irgendein verbundenes Unternehmen Dritten Modellzugang als Dienst anbietet. Wenn ja, gehört die Frage an Mistral, bevor jemand das Modell produktiv nutzt.
3. Bedarf beziffern. Zählen Sie Anfragen je Monat, typische Eingabe- und Ausgabelängen und die Zahl gleichzeitiger Nutzer. Ohne diese Werte lässt sich weder die API-Rechnung noch die Hardware-Rechnung führen.
4. Mit dem Modell testen, das passt. Prüfen Sie Ihre Aufgaben zuerst mit einem Sprachmodell, das in vorhandenen oder geplanten Speicher passt. Erst wenn es dort nachweislich scheitert, lohnt der Blick auf die Billionen-Klasse.