Interne Wissensdatenbank
Mitarbeiter fragen das LLM zu Prozessen, Dokumentationen oder Richtlinien — mit Zugriff auf Confluence, SharePoint oder Dateiserver. Präzise Antworten statt langer Suche.
Start / Leistungen / KI On-Premise
KI On-Premise: Ihre eigene KI-Infrastruktur.
Large Language Models auf eigenen Enterprise-GPU-Servern — mit voller Datenkontrolle, DSGVO-konformem Betriebsmodell und ohne Abhängigkeit von einem Cloud-Anbieter. Beratung, Hardware und Betrieb von der HostSpezial GmbH — Serverbetrieb seit 2010, ISO/IEC 27001 seit 2017.
GPU-Sizing · vLLM · RAG · OpenAI-kompatible APITHEMEN
So ist es aufgebautSechs Schichten, ein Netz→
Cloud-API oder lokal?Acht Kriterien im Vergleich→
Welche HardwareDrei Stufen von 24 bis 160+ GB→
Was es kostetBeispielrechnung über 36 Monate→
FAKTEN
100 % DatenkontrolleDaten bleiben vollständig im Haus
70B+ Parameter lokalAuf eigener GPU-Hardware
3.900 Token/s gemessenQwen3 27B auf GPU-Hardware
Break-even ~18 MonateBei 100.000 Anfragen je Monat
gpu 1
gpu 2
gpu 3
dsgvo
llm
ki-spezial@gpu-node:~$ vllm listqwen 2.5 72b instructllama 3.3 70bmistral small 24bdeepseek-coder 33bbge-m3 embeddingswhisper large-v3
Datenkontrolle 100 % im Haus
DSGVO konformes Betriebsmodell
Modelle 70B+ lokal
Betrieb in Deutschland
AUF EINEN BLICK
Das Wichtigste auf einen Blick
- Geeignet für
- Unternehmen mit sensiblen Daten, Compliance-Auflagen oder hohem Nutzungsvolumen — ab etwa 50.000 KI-Anfragen je Monat rechnet sich eigene Hardware
- Ausgangssituation
- Cloud-KI sendet jede Anfrage an Server außerhalb Ihres Netzes, die API-Kosten wachsen mit der Nutzung, und Fine-Tuning auf eigene Daten ist nur eingeschränkt und beim Anbieter möglich
- Wir übernehmen
- GPU-Sizing, Beschaffung, Installation, Modell-Deployment, RAG-Aufbau, API-Anbindung, Schulung — und auf Wunsch den laufenden Betrieb
- Ihr Ergebnis
- Eine OpenAI-kompatible KI im eigenen Netz, die mit Ihren Dokumenten antwortet — ohne Datenabfluss, ohne Kosten je Anfrage
- Preisrahmen
- GPU-Server ab rund 15.000 €; Beispiel A100-System mit Setup, Hosting und Support rund 55.000 € über 36 Monate gegenüber 108.000 € Cloud-API
- Reaktionszeit
- Bei kritischen Störungen 15 Minuten (Service-Klasse Business), im laufenden Betrieb mit Monitoring über die KI-Administration; Erstgespräch kostenlos
- Dauer
- Proof of Concept 2 bis 4 Wochen mit Ihren Daten auf unserer Hardware, bevor Sie Hardware beschaffen; danach 2 bis 4 Wochen für ein vorkonfiguriertes System mit Standard-LLM, 2 bis 3 Monate mit RAG-Integration und Anbindung bestehender Systeme
- Erster Schritt
- Nennen Sie uns Nutzerzahl und den ersten Anwendungsfall — daraus folgt die Hardware-Stufe
/01 — 09Das Problem mit Cloud-KI
Warum ChatGPT & Co. für viele Unternehmen keine Option sind.
Cloud-Dienste wie ChatGPT, Claude oder Gemini sind einfach zu nutzen — für Unternehmen mit sensiblen Daten, Compliance-Anforderungen oder hohem Nutzungsvolumen aber oft keine tragbare Lösung. Vier Gründe, die uns in Erstgesprächen am häufigsten begegnen.
Daten verlassen das Unternehmen
Jede Anfrage an Cloud-KI sendet Ihre Daten an Server außerhalb Ihres Netzes — für Verträge, Kundendaten oder interne Dokumente oft ein Ausschlusskriterium.
Kosten ohne Ende
API-Kosten summieren sich: Bei 100.000 Anfragen pro Monat zahlen Sie tausende Euro — jeden Monat, ohne Obergrenze und ohne Ende.
Vendor Lock-in
Preiserhöhungen, Nutzungslimits oder geänderte Nutzungsbedingungen — Sie hängen an einem Anbieter und haben keine Kontrolle.
Eingeschränkte Anpassbarkeit
Fine-Tuning gibt es in der Cloud nur eingeschränkt und beim Anbieter — Ihre Trainingsdaten liegen dann dort. Die Anbindung an internes Wissen und die Feinabstimmung auf Ihre Fachsprache bleiben begrenzt.
/02 — 09Was bedeutet KI On-Premise?
Ihre eigene Private-AI-Infrastruktur.
KI On-Premise bedeutet: Large Language Models und KI-Systeme laufen auf eigenen Enterprise-GPU-Servern — in Ihrem Haus oder im Rechenzentrum in Coburg. Volle Kontrolle über Daten, Modelle und Kosten. Vier Bausteine machen das System aus.
Enterprise-GPU-Server
nvidia · niedrigste latenzLLM lokal
llama · mistral · deepseek · qwenInterne API
rest · openai-formatRAG-System
eigene wissensbasis · quellen/03 — 09Architektur
So funktioniert Private AI im Unternehmen.
Modulare Architektur in sechs Schichten — jede einzeln austauschbar, alle im eigenen Netz. Die Anwendungen oben sehen nur eine OpenAI-kompatible API; was darunter läuft, bestimmen Sie.
AnwendungenSchicht 6
Chat, Suche, Analysechat-oberfläche · intranet-suche · dokumentenanalyse
Ihre Fachanwendungenerp, crm, ticketsystem über die api
API-GatewaySchicht 5
OpenAI-kompatibel/v1/chat/completions · bestehende sdks laufen weiter
Routing & Limitsmodell je aufgabe · rate-limits · kostenstellen
Inference EngineSchicht 4
vLLM / TGI / Ollamabatching · kv-cache · quantisierung
Modellwechsel ohne Umbauneues gewicht laden, api bleibt gleich
RAG / Vektor-DBSchicht 3
Ihre Wissensdatenbankconfluence · sharepoint · dateiserver · mail
Antwort mit Quelleembedding · retrieval · zitierte fundstelle
GPU-ServerSchicht 2
NVIDIA A100 / H10024 bis 160+ gb vram je nach stufe
Ihr Standortserverraum · deutsches rechenzentrum · hybrid
Security LayerSchicht 1
Auth & Rollenad/ldap · sso · rollenbasierte rechte
Logging & Auditjede anfrage protokolliert · nachweis für audits
Rechenschicht — Hardware und Modell
Zugang — eine API für alle Anwendungen
Absicherung — Identität und Nachweis
/04 — 09Cloud vs. Private AI
Cloud-API gegen KI On-Premise.
Ehrlich: Die Cloud gewinnt bei Einstieg und Modellstand. Sobald Datenschutz, Nutzungsvolumen oder eigene Daten ins Spiel kommen, dreht sich das Bild. Die acht Kriterien, auf die es ankommt.
| Kriterium | Cloud-API | On-Premise (ki·spezial) |
|---|---|---|
| Datenschutz | ✕Daten beim Anbieter, außerhalb Ihres Netzes | ✓Daten in Ihrem Netz oder im RZ in Coburg |
| DSGVO-Konformität | ◑abhängig von Anbieter, Region und Vertrag | ✓Verarbeitung in Ihrem Verantwortungsbereich, keine Drittlandübermittlung |
| Kosten bei hoher Nutzung | ✕skalieren linear mit | ✓Fixkosten |
| Anpassbarkeit / Fine-Tuning | ◑eingeschränkt | ✓volle Kontrolle |
| RAG mit eigenen Daten | ◑begrenzt möglich | ✓vollständige Integration |
| Vendor Lock-in | ✕hoch | ✓Open Source, frei wechselbar |
| Anfangsinvestition | ✓gering | ◑höher — ab rund 15.000 € |
| Latenz / Performance | ◑internetabhängig | ✓lokale Latenz |
/05 — 09Use Cases
KI On-Premise in der Praxis.
Typische Einsatzszenarien für unternehmenseigene KI-Infrastruktur — von der Wissensdatenbank bis zur Dokumentenverarbeitung. Alle neun laufen auf demselben Unterbau.
IT-Support-Copilot
Automatische Ticket-Analyse, Lösungsvorschläge und Wissensdatenbank-Abfragen für schnellere Problemlösung und höhere Erstlösungsquote.
Vertragsanalyse
Klauseln extrahieren, Risiken identifizieren, Zusammenfassungen erstellen — ohne dass Vertragsdaten Ihr Haus verlassen.
HR-Assistenz
Bewerbungsanalyse, Mitarbeiter-FAQs zu Benefits und Richtlinien, Onboarding-Unterstützung und Entwürfe für Stellenausschreibungen.
Engineering & Produktion
Technische Dokumentation durchsuchen, Wartungsanleitungen generieren, Qualitätsdaten auswerten und Fertigungsprozesse optimieren.
Code-Assistenz
Internes Copilot-Pendant: Code-Generierung, Review, Dokumentation und Refactoring — mit sicherem Zugriff auf interne Repositories.
KI-Chatbot
Kontextbezogene Antworten für Kunden oder Mitarbeiter, Multi-Turn-Dialoge, Eskalation an Menschen — eingebettet in Website oder Intranet.
Dokumenten-KI
Klassifikation, Extraktion und Zusammenfassung von Rechnungen, Lieferscheinen, E-Mails und Berichten — mit OCR für gescannte Belege.
KI-Übersetzung
Fachübersetzungen für technische Doku, Verträge und interne Kommunikation — in Dutzenden Sprachen, ohne externe Dienste.
/06 — 09Enterprise-KI-Server
GPU-Server für Unternehmen: die richtige Dimensionierung.
Die Hardware folgt aus Modellgröße, Anwendungsfall und Nutzerzahl — nicht umgekehrt. Drei Stufen, die in der Praxis fast alle Fälle abdecken; die Zwischenstufen rechnen wir im Konzept aus.
starter
Kleine Teams, Proof of Conceptrtx 4090 / a6000
- GPU-VRAM24 GB
- RAM64 GB
- Storage1 TB NVMe
- Modelle7B–13B
- Nutzer~10 parallel
professional
Mittelstanda100 40/80 gb · h100
- GPU-VRAM48–80 GB
- RAM256 GB
- Storage4 TB NVMe
- Modelle70B
- Nutzer~50 parallel
enterprise
Konzerne, Multi-Modellmulti-gpu h100 / a100 cluster
- GPU-VRAM160+ GB
- RAM512+ GB
- Storage10+ TB NVMe
- Modelle70B+ / mehrere
- Nutzer100+ parallel
/07 — 09Wirtschaftlichkeit
Kostenvergleich: Cloud-API gegen KI On-Premise.
Beispielrechnung für 100.000 Anfragen pro Monat — ein Unternehmen mit rund 100 Mitarbeitern. Die Cloud-Zahl ist ein Mittelwert über GPT-4o-Preise, die On-Premise-Zahl ein typisches A100-System aus unseren Projekten.
Ab etwa 50.000 bis 100.000 Anfragen pro Monat ist On-Premise günstiger als die Cloud-API. Bei steigender Nutzerzahl wächst der Vorteil weiter, weil die Hardware bezahlt ist und jede weitere Anfrage nichts kostet. Rechnen Sie Ihren Fall im TCO-Rechner nach.
/08 — 09Compliance
Enterprise-ready von Anfang an.
Volle Kontrolle über Daten, Zugriffe und Audit-Trails. Ein Betriebsmodell, das auch regulierte Branchen tragen können — und das im Zweifel auch ganz ohne Internetanschluss läuft.
DSGVO-konform
Alle Daten bleiben in Deutschland. Keine Übertragung an Dritte oder in Drittländer; beim Betrieb in Ihrem Haus keine Auftragsverarbeitung, im Rechenzentrum in Coburg mit AVV.
AD-Integration
Single Sign-on über Active Directory oder LDAP. Rollenbasierte Zugriffe und Berechtigungen — wer was fragen darf, steht im Verzeichnis, nicht in der KI.
Audit-Logging
Vollständige Protokollierung aller KI-Anfragen für Compliance-Audits und Nachvollziehbarkeit — auch als Nachweis für den EU AI Act.
ISO-27001-Betrieb
Hosting im Rechenzentrum in Coburg möglich. Die Muttergesellschaft HostSpezial GmbH ist seit 2017 nach ISO/IEC 27001 zertifiziert, aktuell nach ISO/IEC 27001:2024 (Zertifikat Nr. 202787, gültig bis 05.09.2029).
/09 — 09Projektablauf
Von der Idee zur produktiven KI-Plattform.
Sechs Schritte. Nach dem Proof of Concept liegen Hardware-Stufe, Zeitplan und Kosten auf dem Tisch — bevor ein Server bestellt wird.
1Tag 1
Workshop
Anforderungsanalyse, Use Cases definieren, KI-Reifegrad bewerten.
22–4 Wochen
Proof of Concept
Teststellung mit Ihren Daten und ausgewählten Modellen — auf unserer Hardware.
3nach PoC
Hardware
GPU-Sizing, Beschaffung, Rack-Installation im Serverraum oder im RZ.
42–6 Wochen
Integration
RAG-Setup, API-Anbindung, Modell-Deployment, Anbindung an AD und Fachsysteme.
5Go-Live
Rollout
Schulung der Teams, produktiver Start, Monitoring-Setup.
6laufend
Betrieb
Support, Modell-Updates, Optimierung — über die KI-Administration mit SLA.
Eine Basis-Implementierung mit vorkonfiguriertem GPU-Server und Standard-LLM ist in 2 bis 4 Wochen möglich. Projekte mit RAG-Integration, Fine-Tuning und Anbindung bestehender Systeme brauchen 2 bis 3 Monate.
FAQHäufige Fragen
Was vor der Entscheidung gefragt wird.
01Was ist KI On-Premise und warum ist es für Unternehmen relevant?+
KI On-Premise bedeutet, dass Large Language Models und KI-Systeme auf eigener Infrastruktur im Unternehmen oder im deutschen Rechenzentrum betrieben werden — statt über Cloud-APIs wie ChatGPT oder Claude. Relevant ist das für Unternehmen, die sensible Daten verarbeiten, DSGVO-Konformität brauchen oder unabhängig von einem Cloud-Anbieter sein wollen.
02Welche Hardware wird benötigt?+
GPU-Server mit NVIDIA-Karten. Für kleinere Modelle (7B–13B Parameter) reicht eine GPU mit 24 GB VRAM; größere Modelle (70B+) brauchen Multi-GPU-Systeme mit 80 GB und mehr je GPU. Typisch: A100, H100 oder RTX 6000 Ada. Wir dimensionieren und beschaffen.
03Ist KI On-Premise DSGVO-konform?+
Ja. Alle Daten bleiben in Ihrer Infrastruktur oder im deutschen Rechenzentrum; es gibt keine Übermittlung an Dritte oder in Drittländer. Löschfristen, Zugriffsrechte und Protokollierung definieren Sie selbst.
04Wie hoch sind die Kosten im Vergleich zu Cloud-APIs?+
Die Anfangsinvestition ist höher — GPU-Server ab rund 15.000 €. Ab etwa 50.000 bis 100.000 API-Anfragen pro Monat ist On-Premise günstiger als die Cloud; in der Beispielrechnung oben (A100-System, 100.000 Anfragen je Monat) liegt der Break-even nach rund 18 Monaten. Danach entfallen laufende API-Kosten, und es gibt keine Nutzungslimits.
05Welche Open-Source-Modelle lassen sich betreiben?+
Llama (Meta), Mistral und Mixtral, DeepSeek, Qwen sowie deutsche Modelle wie LEO-LM. Für Code eignen sich DeepSeek Coder, CodeLlama oder StarCoder. Alle sind frei nutzbar und für spezifische Anwendungsfälle feinjustierbar; wir unterstützen bei Auswahl und Fine-Tuning.
06Wie lange dauert die Implementierung?+
Ein vorkonfiguriertes System mit Standard-LLM steht in 2 bis 4 Wochen. Komplexere Projekte mit RAG-Integration, Fine-Tuning und Anbindung bestehender Systeme brauchen 2 bis 3 Monate. Ein Proof of Concept vorab validiert Ihre Use Cases, bevor Hardware beschafft wird.
MEHRVerwandte Lösungen
Das könnte Sie auch interessieren.
ki-lösung
KI-System
Komplette KI-Systeme für Unternehmen: von der Planung über die Implementierung bis zum produktiven Betrieb.
ki-lösungKI-Gateway
Zentraler Zugangspunkt für alle Modelle: Routing, Rate-Limiting, Monitoring und Kostensteuerung.
use caseChatGPT-Alternative für Unternehmen
Dieselbe Funktionalität wie ChatGPT — lokal, mit voller Datenkontrolle, ohne Daten an OpenAI.
sicherheitKI-Pentest für LLMs
Sicherheitsprüfung Ihrer On-Premise-KI: Schwachstellen finden, bevor es andere tun.
// nächster schritt
Eigene KI-Infrastruktur einordnen.
Wir prüfen in einem unverbindlichen Gespräch, ob KI On-Premise für Ihr Unternehmen der richtige Weg ist — und welche Hardware-Stufe Ihr erster Anwendungsfall tatsächlich braucht.
Betrieb in Ihrem Serverraum oder im Rechenzentrum in Coburg · vorher Proof of Concept mit Ihren Daten
$ on-premise --erstgespraech
Beratungsgespräch vereinbaren →
09571 873149
Termin vereinbaren
30 Minuten, unverbindlich und direkt mit einem technischen Ansprechpartner. Nutzerzahl und erster Anwendungsfall genügen als Vorbereitung.