Mistral Large 4: offene Gewichte für ein Rack, das die wenigsten haben

/01Was Mistral am 6. Oktober angekündigt hat

Am 6. Oktober 2026 hat Mistral AI unter dem Titel „Introducing Mistral Large 4" ein neues Spitzenmodell vorgestellt. Die Eckdaten laut Ankündigung und Modelldokumentation: 1,05 Billionen Parameter insgesamt, 52 Milliarden davon je Token aktiv, dazu ein Bildencoder mit 1,6 Milliarden Parametern. Das Modell ist ein Mixture-of-Experts-Modell („granular MoE" in Mistrals Worten), nativ multimodal und auf mehr als 160 Sprachen trainiert. Das Kontextfenster liegt laut Modellseite bei 1 Million Token.

Verfügbar ist Large 4 am Erscheinungstag nur als Vorschau über die API auf Mistral Studio, Modellname mistral-large-4. Der Listenpreis steht bei 1,36 $ je Million Eingabe-Token und 4,18 $ je Million Ausgabe-Token; die Modellseite zeigt für die Vorschauphase halbierte Preise, ohne Enddatum. Zu den Gewichten schreibt Mistral wörtlich: „We will release the weights by the end of the month." Ein Lizenzname steht weder in der Ankündigung noch in der Modellübersicht — dort ist die Lizenzspalte mit „Open" gefüllt, mehr nicht.

Trainiert wurde laut Mistral auf 3.800 NVIDIA Grace-Blackwell-GPUs in europäischen Rechenzentren. Die Ankündigung betont außerdem eine europäische Bereitstellung, die Mistral „end-to-end, independently of other digital service providers and under European law" betreibt. Das ist für die Einordnung wichtiger als die Benchmark-Tabelle: Mistral verkauft Large 4 zuerst als europäische API, nicht als Download.

Die Benchmarkzahlen sind Herstellerangaben vom 6. Oktober 2026: 61,7 % auf DeepSWE v1.1, 28,3 % auf Terminal Bench 4.0, 93 % auf Cybench. Ob das für Ihren Prompt-Mix etwas heißt, zeigt nur eine eigene Messung — bei einem Modell dieser Größe aber eben über die API, nicht im eigenen Rack.

/02Was „offen" bei 1,05 Billionen Parametern bedeutet

„Offene Gewichte" heißt: Sie dürfen die Datei herunterladen. Es heißt nicht, dass Sie sie laden können. Die Rechnung ist einfach und hängt nur an der Parameterzahl, nicht an der Zahl der aktiven Experten. Ein MoE-Modell spart Rechenzeit, weil je Token nur 52 Milliarden Parameter arbeiten — im VRAM liegen trotzdem alle 1,05 Billionen, denn welcher Experte als nächster gebraucht wird, entscheidet sich erst im Token.

Das ergibt, aus der Parameterzahl hergeleitet und ohne KV-Cache und Laufzeitpuffer:

Die Zahlen sind eine Rechnung, keine Messung — Mistral hat noch keine Dateigrößen veröffentlicht, und je nach Format kommen für Embeddings, Router und Normen in höherer Präzision einige Prozent dazu. An der Aussage ändert das nichts: Das kleinste denkbare Format braucht mehr als das Zweieinhalbfache eines 192-GB-Systems, bevor auch nur ein Token Kontext im Speicher liegt. Wie der KV-Cache bei langem Kontext zusätzlich wächst, haben wir in KV-Cache verstehen durchgerechnet; bei 1 Million Token Kontext ist er kein Rundungsfehler.

Zum Vergleich der Vorgänger: Mistral Large 3 hat 675 Milliarden Parameter (41 Milliarden aktiv) und läuft laut Modellkarte in FP8 „on a single node of B200s or H200s", in NVFP4 „on a single node of H100s or A100s" — also acht GPUs. Large 4 ist rund 55 % größer. Wer Large 3 nicht betreiben konnte, kann Large 4 erst recht nicht.

/03Die Lizenzfrage: „Open" ist noch kein Lizenztext

Mistral hat in den letzten zwölf Monaten drei verschiedene Lizenzmodelle nebeneinander benutzt, und genau deshalb ist „Open" in der Modellübersicht keine Information, sondern ein Platzhalter:

• Mistral Large 3 (675 B): Apache 2.0 laut Hugging-Face-Modellkarte. Kommerzielle Nutzung, Weitergabe und Fine-Tuning ohne Schwellen.
• Mistral Medium 3.5 (128 B, dicht): „Modified MIT License". Die Änderung gegenüber MIT ist eine Umsatzgrenze: Unternehmen, deren konsolidierter Monatsumsatz 20 Millionen $ übersteigt, brauchen eine kommerzielle Lizenz; die Grenze gilt ausdrücklich auch für Derivate und kombinierte Werke.
• Mistral Small 4 (119 B MoE) und die Ministral-3-Reihe (3 B, 8 B, 14 B): Apache 2.0.

Welches dieser Modelle Large 4 bekommt — oder ein viertes — steht nicht fest. Für die Praxis heißt das: Bis der Lizenztext auf Hugging Face liegt, kann niemand sagen, ob ein Mittelständler Large 4 kommerziell betreiben, auf eigenen Daten nachtrainieren oder ein Derivat weitergeben dürfte. Wer heute eine Projektentscheidung auf „Mistral Large 4 ist offen" stützt, stützt sie auf ein Wort in einer Tabellenspalte.

Ehrlich: Für die meisten Häuser ist die Lizenzfrage bei Large 4 akademisch, weil die Hardwarefrage vorher entscheidet. Relevant wird sie für Dienstleister und Rechenzentrumsbetreiber mit Acht-GPU-Knoten — und für alle, die wissen wollen, ob Mistral beim Flaggschiff bei Apache 2.0 bleibt oder den Medium-Weg mit Umsatzgrenze geht. Das ist eine Richtungsentscheidung für die ganze Modellreihe.

/04Für wen Large 4 jetzt relevant ist: API-Nutzer in Europa

Die Zielgruppe am 12. Oktober ist klar umrissen: Unternehmen, die ein Spitzenmodell über eine API nutzen und dabei Wert darauf legen, dass Vertragspartner, Betrieb und Recht in Europa liegen. Für diese Gruppe ist Large 4 ein ernsthafter Kandidat neben den US-Anbietern — mit einem Listenpreis von 1,36 $ / 4,18 $ je Million Token, der zwischen den Mittelklasse- und den Spitzenmodellen der US-Anbieter liegt.

Die technische Einordnung für diese Nutzer: Mit 1 Million Token Kontext und nativer Bildverarbeitung ist Large 4 für Dokumentenstrecken, Vertragsanalysen und agentische Aufgaben über die API ausgelegt; die Herstellerbenchmarks zielen erkennbar auf Coding- und Sicherheitsaufgaben (DeepSWE, Terminal Bench, Cybench). Wer heute ein US-Modell über eine EU-Region bezieht, bekommt mit Large 4 erstmals ein europäisches Modell dieser Größenklasse mit europäischem Betreiber — ohne dass die Daten das Haus deshalb weniger verlassen. Eine API bleibt eine API: Die Eingaben gehen zu Mistral, die Vertragsgrundlage ist ein Auftragsverarbeitungsvertrag, nicht die eigene Firewall.

In der Praxis sieht ein sinnvolles Muster so aus: Large 4 (oder ein vergleichbares Modell) über die API für die wenigen Aufgaben, die wirklich Spitzenqualität brauchen und bei denen die Daten die Weitergabe vertragen — und ein lokales Modell für alles, was Personendaten, Konstruktionsdaten oder Kundenverträge berührt. Die Grenze zwischen beiden zieht nicht die Technik, sondern die Datenklassifizierung.

/05Der realistische On-Premise-Pfad: Small 4, Kolibri-1, Qwen3.8-27B

Für den Eigenbetrieb interessiert nicht das Flaggschiff, sondern die Modelle, die in ein vorhandenes oder bezahlbares Rack passen. Drei Kandidaten mit veröffentlichtem Lizenztext und veröffentlichten Dateigrößen:

Die Tabelle zeigt, wie weit die Spreizung ist: Zwischen dem kleinsten betreibbaren Kandidaten (16,5 GB) und dem Flaggschiff (rund 1.050 GB) liegt ein Faktor von über 60. Das 192-GB-System des ki·spezial Systems sitzt in der Mitte dieses Bereichs und deckt Kolibri-1 in FP8 mit Kontext, Small 4 in 4-Bit und Qwen3.8-27B in jeder Präzision ab. Wie Quantisierung in INT4 oder NVFP4 die Qualität verändert, steht in LLM-Quantisierung 2026; die Kurzfassung: Erst das eigene Eval-Set entscheidet, ob 4-Bit für Ihre Aufgabe reicht.

Der Start von Mistral Small 4 mit vLLM stammt wörtlich aus der Modellkarte und ist eine gute Vorlage dafür, was ein MoE-Modell dieser Klasse an Parametern braucht:

vllm serve mistralai/Mistral-Small-4-119B-2603 \
  --max-model-len 262144 \
  --tensor-parallel-size 2 \
  --attention-backend FLASH_ATTN_MLA \
  --tool-call-parser mistral --enable-auto-tool-choice \
  --reasoning-parser mistral \
  --max_num_batched_tokens 16384 --max_num_seqs 128 \
  --gpu_memory_utilization 0.8

Zwei Details daran sind lehrreich. --tensor-parallel-size 2 verteilt die Gewichte per Tensor-Parallelismus über zwei Karten — bei einem 119-B-Modell in BF16 geht es nicht anders. Und --gpu_memory_utilization 0.8 lässt bewusst ein Fünftel des Speichers frei: Der Rest geht in Aktivierungen, CUDA-Kontext und Fragmentierung. Wer mit 0,95 startet, sieht den ersten Out-of-Memory-Fehler beim ersten langen Prompt.

/06Wann Mistral Large 4 die falsche Wahl ist

Für den Eigenbetrieb ist Large 4 in den nächsten Monaten für fast jedes mittelständische Haus die falsche Wahl — nicht aus Qualitätsgründen, sondern aus vier handfesten:

• Hardware. Unter einem Acht-GPU-Knoten der B200-Klasse läuft das Modell nicht in nutzbarer Präzision. Ein solcher Knoten liegt im hohen sechsstelligen Bereich und braucht Strom und Kühlung, die ein normaler Serverraum nicht liefert; was 27 kW je Rack praktisch bedeuten, steht in Strom und Kühlung für KI-Server. Die Referenzrechnung aus unserem On-Premise-Konzept — rund 55.000 € über 36 Monate gegenüber rund 108.000 € Cloud-API bei 100.000 Anfragen je Monat — geht von einem A100-System aus. Ein Large-4-Knoten sprengt diese Rechnung um eine Größenordnung.
• Lizenz. Es gibt keine. Was nicht veröffentlicht ist, kann die Rechtsabteilung nicht prüfen, und ein Projekt auf einem unveröffentlichten Lizenztext ist kein Projekt, sondern eine Wette.
• Auslastung. Ein Modell mit 52 Milliarden aktiven Parametern erzeugt je Token mehr Rechenlast als Kolibri-1 mit 3,46 Milliarden oder Small 4 mit 6,5 Milliarden. Bei zwanzig Nutzern, die tagsüber Dokumente zusammenfassen, bezahlt man Spitzenhardware für eine Auslastung im einstelligen Prozentbereich — und die Zahl können Sie selbst nachrechnen: Anfragen je Tag mal Token je Anfrage gegen den Durchsatz, den eine Messung mit Ihrem Prompt-Mix ergibt.
• Reife. Am Erscheinungstag der Gewichte gibt es keine Drittanbieter-Quantisierungen, keine stabilen GGUF-Builds, keine Erfahrungswerte zur Kontextlänge im Betrieb. Bei Kimi K3 hat es Wochen gedauert, bis die ersten belastbaren Betriebsberichte vorlagen — siehe Kimi K3 selbst hosten.

Auch als API-Modell ist Large 4 nicht automatisch die richtige Wahl. Wer vor allem klassifiziert, extrahiert oder Tickets vorsortiert, bezahlt mit 1,36 $ je Million Eingabe-Token für Fähigkeiten, die er nicht abruft. Für diese Aufgaben ist ein lokales 27-B-Modell auf einer 24-GB-Karte oder ein kleines API-Modell der günstigere Weg — und zwar unabhängig davon, aus welchem Land der Anbieter kommt.

/07Entscheidung: welches Haus macht was

Die Entscheidung hängt an zwei Fragen: Wie viel VRAM steht im Haus, und welche Daten dürfen das Haus verlassen? Daraus ergeben sich vier Fälle.

Eine 24-GB-Karte, Daten bleiben im Haus. Large 4 ist irrelevant. Qwen3.8-27B in 4-Bit ist das stärkste dichte Modell dieser Klasse unter Apache 2.0; Gemma 4 31B und Muse Glimmer-30B sind die Alternativen. Mistral spielt hier mit der Ministral-3-Reihe (bis 14 B) mit, nicht mit Large 4.

Ein 192-GB-System, Daten bleiben im Haus. Large 4 ist irrelevant. Kolibri-1 in FP8 (78,6 GB) mit vollem 262k-Kontext oder Small 4 in 4-Bit sind die Kandidaten; für Deutsch spricht Kolibri-1 schon wegen des Trainingsdatenanteils, für Agentenaufgaben Small 4. Beide lassen sich im Proof of Concept — 2 bis 4 Wochen, mit Ihren Daten auf unserer Hardware, kostenlos — gegeneinander messen, bevor Sie kaufen.

Daten dürfen zu einem Auftragsverarbeiter, Spitzenqualität nötig. Hier ist Large 4 über die europäische API ein Kandidat — neben den US-Modellen in EU-Regionen. Entscheidend sind dann der Auftragsverarbeitungsvertrag, die Protokollierung im eigenen Gateway und ein Preisvergleich mit Ihrem tatsächlichen Token-Mix. Die Vorschaupreise sind dafür keine Grundlage; rechnen Sie mit den Listenpreisen.

Dienstleister oder Konzern mit eigenem Acht-GPU-Knoten. Der einzige Fall, in dem die Gewichte von Large 4 für den Eigenbetrieb interessant sind. Hier lohnt es, den Lizenztext am Erscheinungstag zu lesen und eine FP8-Fassung auf einem B200-Knoten zu testen — mit dem Wissen, dass Large 3 in NVFP4 auf einem H100-Knoten läuft und für viele Aufgaben reichen dürfte.

/08Was bis zur Gewichtsfreigabe zu prüfen bleibt

Mistral hat die Gewichte „by the end of the month" angekündigt. Wenn sie erscheinen, lohnt ein Blick auf fünf Punkte — nicht, um das Modell zu laden, sondern um die Richtung der Modellreihe zu verstehen:

1. Lizenzname und -text auf der Hugging-Face-Seite. Apache 2.0 wie Large 3, Modified MIT mit Umsatzgrenze wie Medium 3.5, oder etwas Neues? Prüfen Sie Weitergabe, Derivate und Nutzungsrichtlinie, nicht nur die Überschrift.
2. Veröffentlichte Formate. Liefert Mistral wie bei Large 3 eine NVFP4-Fassung mit? Dann steht die tatsächliche Dateigröße fest, und die Rechnung aus Abschnitt /02 lässt sich durch eine Messung ersetzen.
3. Hardwareangabe in der Modellkarte. Large 3 nannte „single node of B200s or H200s". Steht bei Large 4 „two nodes", ist das Modell für den Eigenbetrieb außerhalb von Rechenzentren endgültig erledigt.
4. Kontextlänge bei Selbstbetrieb. 1 Million Token über die API heißt nicht, dass die offene Fassung dieselbe Länge unterstützt; Kolibri-1 unterscheidet zum Beispiel zwischen 262k nativ und 1 M erweitert.
5. Ob Small 4 und Ministral 3 nachziehen. Für den Mittelstand ist nicht entscheidend, was das Flaggschiff kann, sondern ob die betreibbaren Modelle von denselben Trainingsfortschritten profitieren.

Bis dahin gilt: Mistral Large 4 ist eine Nachricht über die europäische API-Landschaft, keine über Ihr Rack. Wer heute ein lokales Modell auswählt, tut das zwischen Kolibri-1, Small 4, Qwen3.8-27B und Gemma 4 — und misst, statt zu lesen.