GPT-OSS: Den eigenen Unternehmens-Chatbot aufbauen – sicher, privat, DSGVO-konform

ChatGPT hat in den letzten Jahren gezeigt, was Large Language Models leisten können. Doch für viele Unternehmen bleibt ein kritischer Vorbehalt: Die Daten verlassen das Haus. Vertragsentwürfe, Kundendaten, strategische Dokumente – alles, was Mitarbeiter in ChatGPT eingeben, landet auf US-amerikanischen Servern. Mit der heute erschienenen Veröffentlichung von GPT-OSS durch OpenAI hat sich das Spielfeld grundlegend verändert.

Erstmals stellt OpenAI ein vollwertiges Sprachmodell unter Apache-2.0-Lizenz zur freien Nutzung und Selbsthosting bereit. Kombiniert mit dem ausgereiften Open-Source-Ökosystem rund um Ollama und Open WebUI können Unternehmen heute in wenigen Stunden einen eigenen Chatbot aufsetzen, der intern läuft, Ihre Dokumente kennt und dabei keine Daten nach außen schickt.

Was ist GPT-OSS? OpenAIs Open-Source-Überraschung 2026

GPT-OSS ist OpenAIs Antwort auf Meta Llama, Mistral und die wachsende Open-Source-KI-Community. Das Modell erscheint in zwei Varianten:

• gpt-oss-20b – 20 Milliarden Parameter, läuft auf Consumer-Hardware ab 16 GB VRAM (z.B. NVIDIA RTX 4090). Ideal für Teams bis ca. 30 Nutzer auf einem Server.
• gpt-oss-120b – 120 Milliarden Parameter, Enterprise-Klasse. Benötigt eine oder mehrere professionelle GPUs (A100/H100). Für große Unternehmen und anspruchsvolle Aufgaben.

In ersten Benchmarks zeigt gpt-oss-20b eine Leistung, die mit Modellen wie Llama 3.3 70B und Mistral Small 4 vergleichbar ist – bei deutlich geringerem VRAM-Bedarf. Das macht es zur idealen Wahl für Unternehmen, die mit überschaubarer Hardware einsteigen wollen.

Warum ein eigener Chatbot statt ChatGPT Team?

„Wir nutzen doch schon ChatGPT" – das hören wir in fast jeder Erstberatung. Und ja: ChatGPT ist benutzerfreundlich, mächtig und für viele Anwendungsfälle ausreichend. Doch für den unternehmerischen Einsatz gibt es fünf gewichtige Argumente für eine eigene Lösung:

• Datenschutz (DSGVO Art. 44–49) – Jede Eingabe in ChatGPT ist eine Datenübermittlung in die USA. OpenAI hat seinen Hauptsitz in Kalifornien, die Verarbeitung erfolgt auf US-Servern. Das ist nach DSGVO nur unter strengen Bedingungen zulässig – und in der Praxis bei vielen Unternehmensdaten problematisch.
• Keine Trainingsdaten-Weitergabe – Selbst wenn OpenAI es inzwischen ermöglicht, das Training mit eigenen Daten zu deaktivieren: Bei einem eigenen System existiert dieses Risiko von vornherein nicht.
• Kein Vendor Lock-in – Wer komplett auf ChatGPT setzt, macht sich abhängig von OpenAIs Preisgestaltung, Verfügbarkeit und Geschäftsbedingungen. Ein eigenes System läuft auch dann, wenn OpenAI die API ändert oder abschaltet.
• Nullkosten im laufenden Betrieb – ChatGPT Team kostet 25 US-Dollar pro Nutzer und Monat. Bei 50 Mitarbeitern sind das 1.250 $/Monat, also 15.000 $/Jahr – ohne einmalige Kosten. Ein eigener Server amortisiert sich in der Regel innerhalb von 8–14 Monaten.
• EU AI Act Compliance – Ab 2. August 2026 gelten für Hochrisiko-KI-Anwendungen strenge Dokumentations- und Transparenzpflichten. Bei einer On-Premise-Lösung haben Sie vollständige Kontrolle über Ihre KI-Infrastruktur und können Compliance-Anforderungen einfacher erfüllen.

Die 3 Bausteine: Modell + Server + Interface

Ein eigener Unternehmens-Chatbot besteht aus drei Schichten, die perfekt zusammenspielen müssen:

Jede dieser Schichten ist quelloffen und kann unabhängig ausgetauscht werden. Wenn morgen ein besseres Modell erscheint, tauschen Sie nur Schicht 1 aus – Interface und Infrastruktur bleiben bestehen.

GPT-OSS vs. Llama vs. Mistral: Das richtige Modell wählen

Die Wahl des richtigen Modells hängt von drei Faktoren ab: Verfügbarer VRAM, Anwendungsfall und Sprachanforderungen. GPT-OSS ist nicht automatisch die beste Wahl für jeden Use Case – hier ist der aktuelle Vergleich:

Modell	Größe	Min. VRAM	Stärke	Deutsch	Lizenz
GPT-OSS 20b	20B	16 GB	Reasoning, Coding, Instruktionen	★★★★	Apache 2.0
GPT-OSS 120b	120B	80 GB+	Komplexe Analyse, Long-Context	★★★★★	Apache 2.0
Llama 3.3 70B	70B	40 GB	Allgemein, sehr ausgewogen	★★★☆	Llama-Lizenz*
Mistral Small 4	22B aktiv	24 GB	Mehrsprachig, Effizienz	★★★★★	Apache 2.0
Qwen 2.5 72B	72B	40 GB	Coding, Mathematik, Mehrsprachig	★★★★	Apache 2.0
Phi-4 (Microsoft)	14B	10 GB	Reasoning, Effizienz, klein	★★★☆	MIT

* Llama-Lizenz: kostenlos für kommerzielle Nutzung bis 700 Mio. monatlich aktive Nutzer.

Schritt für Schritt: Eigener Chatbot in 4 Schritten

Der Aufbau eines eigenen Unternehmens-Chatbots ist in der Praxis deutlich schneller erledigt, als die meisten Entscheider erwarten. Hier die vier Kernschritte:

1. Server und GPU bereitstellen
   Entweder ein eigener GPU-Server on-premise (bevorzugt für maximalen Datenschutz) oder ein dedizierter Cloud-Server bei einem deutschen Anbieter (z.B. Hetzner, IONOS). Wichtig: Der Server muss physisch in der EU stehen und ausschließlich Ihrer Kontrolle unterliegen. Für GPT-OSS 20b: mindestens NVIDIA RTX 4090 oder A10 (16 GB VRAM), 32 GB RAM, NVMe-SSD.
2. Ollama installieren und Modell laden
   Ollama ist die einfachste Möglichkeit, LLMs auf eigener Hardware zu betreiben. Die Installation dauert unter 60 Sekunden. Das Modell wird dann per einzeiligem Befehl heruntergeladen und gestartet. Ollama stellt automatisch eine OpenAI-kompatible API bereit – was bedeutet, dass alle Tools, die für ChatGPT entwickelt wurden, ohne Änderungen mit Ihrem lokalen Modell funktionieren.
3. Open WebUI oder AnythingLLM als Interface aufsetzen
   Open WebUI bietet eine nahezu identische Oberfläche zu ChatGPT: Chatverlauf, Modellauswahl, Dokumenten-Upload, Nutzer-Accounts mit Rechteverwaltung. Die Installation erfolgt per Docker in wenigen Minuten. AnythingLLM ist die bessere Wahl, wenn Sie Ihre eigenen Dokumente einbinden wollen (integriertes RAG-System ohne Zusatzkonfiguration).
4. Zugang absichern und ausrollen
   Stellen Sie den Chatbot nur über Ihr internes Netzwerk (VPN) zur Verfügung. Richten Sie Benutzeraccounts ein, aktivieren Sie Audit-Logging und definieren Sie in einem System Prompt, wie sich der KI-Assistent verhalten soll (Rolle, Tonalität, Grenzen). Dann können alle Mitarbeiter per Browser auf den internen Chatbot zugreifen.

Open WebUI vs. AnythingLLM: Die Interface-Wahl

Beide Tools sind kostenlos, quelloffen und funktionieren mit Ollama. Die Wahl hängt von Ihren Prioritäten ab:

Kriterium	Open WebUI	AnythingLLM
ChatGPT-Ähnlichkeit	★★★★★ Sehr hoch	★★★☆ Gut
Dokumente einbinden (RAG)	★★★☆ Möglich, aber aufwändiger	★★★★★ Nativ integriert
Nutzerverwaltung	Vollständig (Rollen, Rechte)	Einfach
Mehrere Modelle gleichzeitig	Ja, mit Auswahl im Chat	Ja, per Workspace
Ideal für	Teams, die ChatGPT ersetzen wollen	Teams mit eigenem Dokument-Wissenspool

Unser Tipp: Starten Sie mit Open WebUI für den Chatbot-Betrieb. Wenn Ihre Mitarbeiter beginnen, Unternehmensdokumente einzubinden (Handbücher, Verträge, Wissensdatenbanken), erweitern Sie um ein RAG-System – entweder über AnythingLLM oder eine dedizierte RAG-Pipeline.

Hardware und Kosten: Was brauchen Sie wirklich?

Die größte Hürde beim eigenen Chatbot ist die einmalige Hardware-Investition. Hier ein realistischer Überblick:

Setup	Hardware	Nutzer	Investition	Break-Even vs. ChatGPT Team
Einstieg	1× RTX 4090 (16 GB)	bis 20	ca. 5.500 €	ca. 11 Monate
Team	2× RTX 4090 / 1× A10	bis 50	ca. 9.000 €	ca. 8 Monate
Unternehmen	1× A100 (80 GB)	bis 200	ca. 18.000 €	ca. 8 Monate
Enterprise	2–4× A100 / H100	500+	ab 45.000 €	ca. 7 Monate

Datenschutz und EU AI Act: Die sichere Wahl

Ein On-Premise-Chatbot ist nicht nur praktisch – er ist in vielen Branchen die einzig rechtlich saubere Lösung.

DSGVO: Bei Cloud-KI-Diensten übermitteln Sie personenbezogene Daten in Drittstaaten (USA). Das ist nach Art. 44–49 DSGVO nur unter strengen Auflagen zulässig. Praxisurteil: Geben Mitarbeiter Kundendaten, Verträge oder Mitarbeiterinformationen in ChatGPT ein, ist das in den meisten Fällen eine unzulässige Drittlandübermittlung. Bei einem On-Premise-System gibt es schlicht keine Übermittlung – das Problem existiert nicht.

EU AI Act (ab 2. August 2026): Für KI-Systeme, die als Hochrisiko eingestuft werden, verlangt der EU AI Act lückenlose Dokumentation, Audit-Logs und Transparenz. Bei einer eigenen Infrastruktur haben Sie vollständige Kontrolle über alle Logs und Konfigurationen. Die Compliance-Dokumentation lässt sich damit deutlich einfacher erstellen als bei Cloud-Diensten, bei denen Sie auf Transparenz des Anbieters angewiesen sind.

Branchenspezifische Anforderungen: Für Anwälte (Berufsrecht), Ärzte (ärztliche Schweigepflicht), Steuerberater (§ 203 StGB) und Unternehmen in KRITIS-Bereichen ist ein eigener Chatbot häufig die einzige konforme Option. Unsere Air-Gapped KI-Lösungen gehen noch einen Schritt weiter: vollständige Netzwerkisolierung ohne jede externe Verbindung.

ki·spezial baut Ihren Chatbot – betriebsbereit in 2 Wochen

Sie wollen keinen monatelangen IT-Projektes – Sie wollen einfach einen funktionierenden Chatbot, den Ihre Mitarbeiter morgen nutzen können. Genau das bietet ki·spezial:

• Hardware-Dimensionierung – Wir berechnen, welche GPU und welches Modell zu Ihrer Nutzerzahl und Ihren Anwendungsfällen passt.
• Komplette Installation – Server, Betriebssystem, CUDA, Ollama, Open WebUI oder AnythingLLM – alles konfiguriert und getestet.
• Prompt-Engineering – Wir definieren System Prompts, die Ihren Chatbot auf Ihre Branche und Ihre internen Prozesse abstimmen.
• Datenschutz-Dokumentation – Wir liefern die technische Dokumentation für Ihren Datenschutzbeauftragten und die EU AI Act Compliance.
• Schulung Ihres Teams – Halbtägiger Workshop für Mitarbeiter und Administratoren.
• Laufender Support – Updates, Modellwechsel und technischer Support im Abonnement.

Häufig gestellte Fragen

Was ist GPT-OSS und wie unterscheidet es sich von ChatGPT?

GPT-OSS ist OpenAIs erstes vollständig quelloffenes Sprachmodell, veröffentlicht unter der Apache-2.0-Lizenz. Im Gegensatz zu ChatGPT, das nur über die Cloud genutzt werden kann, lässt sich GPT-OSS auf eigener Hardware betreiben – vollständig lokal, ohne Datenübertragung an OpenAI-Server. Es gibt zwei Varianten: gpt-oss-20b für lokalen Betrieb auf Consumer-Hardware und gpt-oss-120b für Enterprise-GPUs.

Ist ein eigener Unternehmens-Chatbot DSGVO-konform?

Ja – ein On-Premise-Chatbot ist die DSGVO-konforme Alternative zu Cloud-Diensten wie ChatGPT. Da alle Daten ausschließlich auf Ihren eigenen Servern verarbeitet werden, findet keine Übermittlung an US-amerikanische Server statt. Artikel 44–49 DSGVO (Drittlandübermittlung) ist damit nicht berührt. Zusätzlich erfüllen Sie automatisch die Transparenzanforderungen des EU AI Acts.

Welche Hardware brauche ich für einen eigenen KI-Chatbot?

Für GPT-OSS 20b benötigen Sie mindestens eine NVIDIA-GPU mit 16 GB VRAM (z.B. RTX 4080/4090, ab ca. 1.200 €). Das Modell läuft dann flüssig für 5–20 gleichzeitige Nutzer. Für GPT-OSS 120b oder größere Teams empfehlen sich Enterprise-GPUs wie die H100 oder mehrere A100. ki·spezial dimensioniert die Hardware passend zu Ihrer Nutzerzahl und konfiguriert alles betriebsbereit.

Was kostet ein eigener Unternehmens-Chatbot im Betrieb?

Nach der Anfangsinvestition in Hardware (ab ca. 5.000–15.000 € je nach Leistung) entstehen im Betrieb nur noch Strom- und Wartungskosten – keine laufenden API-Gebühren. Bei 50 aktiven Nutzern und 100 Anfragen pro Tag amortisiert sich die Hardware gegenüber ChatGPT Team (25 $/Nutzer/Monat) typischerweise in 8–14 Monaten. Danach ist der Betrieb quasi kostenlos.