Vision-Language-Model
MultimodalKI-Modelle, die Bilder und Text gemeinsam verarbeiten – für automatische Bildbeschreibung, Dokumentenanalyse und mehr.
Was ist ein Vision-Language-Model?
Ein Vision-Language-Model (VLM) ist ein KI-Modell, das sowohl visuelle Eingaben (Bilder, Screenshots, Dokumente) als auch Text verarbeitet und kombiniert auswertet. Bekannte VLMs sind GPT-4o, Claude 3.5, Googles Gemini sowie Open-Source-Modelle wie LLaVA, InternVL und Qwen-VL.
Technisch werden in der Regel ein Bildencoder (z. B. auf CLIP-Basis) und ein Sprachmodell (LLM) über ein Adapter-Modul verbunden. Das Modell lernt, visuelle Merkmale in sprachliche Konzepte zu übersetzen und umgekehrt.
Typische Anwendungsfälle
VLMs erschließen ein breites Spektrum an praxisrelevanten Aufgaben:
- Automatische Analyse von Rechnungen, Lieferscheinen und Formularen (Document AI)
- Qualitätskontrolle in der Produktion durch Bildauswertung mit natürlichsprachlicher Ausgabe
- Barrierefreiheit: automatische Bildbeschreibungen für Sehbehinderte
- Medizinische Bildauswertung zur Unterstützung von Diagnosen
- Chatbots, die auf Produktbilder oder Fotos aus dem Kundenservice reagieren können
Abgrenzung
Ein reines LLM versteht nur Text; ein VLM versteht zusätzlich Bilder und kann beide Modalitäten gleichzeitig in einer Anfrage verarbeiten.
Relevanz für den Mittelstand
Für KMU sind VLMs vor allem in der Dokumentenverarbeitung und im Kundenservice relevant: Eingehende Bilder – Schadensmeldungen, Produktreklamationen, handgeschriebene Formulare – können automatisch ausgelesen, klassifiziert und weiterverarbeitet werden. Die Kombination mit bestehenden ERP- oder CRM-Systemen via API ist heute technisch ausgereift. Open-Source-Optionen wie LLaVA ermöglichen On-Premise-Betrieb ohne Datenweitergabe an externe Dienste.
← Zurück zum Glossar