Foundation Model

Was ist ein Foundation Model?

Ein Foundation Model (deutsch: Grundlagenmodell) ist ein großes, auf breiten und vielfältigen Daten vortrainiertes KI-Modell, das als universelle Basis für zahlreiche Anwendungen dient. Bekannte Beispiele sind GPT-4 von OpenAI, Claude von Anthropic und Llama von Meta. Diese Modelle verfügen über Milliarden von Parametern und wurden auf riesigen Textmengen aus dem Internet, Büchern und anderen Quellen trainiert.

Wie funktioniert ein Foundation Model?

Foundation Models werden in einem aufwendigen, zweistufigen Prozess erstellt. Im ersten Schritt, dem Pretraining, lernt das Modell auf enormen Datenmengen grundlegende Sprachmuster, Weltwissen und logische Zusammenhänge. Dieser Schritt erfordert tausende GPUs und kostet oft Millionen Euro. Im zweiten Schritt wird das Modell durch Instruction Tuning und RLHF verfeinert, um als hilfreicher Assistent zu funktionieren. Das fertige Foundation Model kann dann entweder direkt genutzt oder durch Fine-Tuning für spezifische Aufgaben weiter angepasst werden.

Der Paradigmenwechsel

Foundation Models haben die KI-Branche grundlegend verändert. Früher musste für jede Aufgabe – Übersetzung, Zusammenfassung, Klassifikation – ein eigenes Modell von Grund auf trainiert werden. Heute dient ein einziges Foundation Model als Basis für all diese Aufgaben und viele weitere. Unternehmen müssen nicht mehr eigene Modelle trainieren, sondern können bestehende Foundation Models über APIs nutzen oder sie mit vergleichsweise geringem Aufwand an ihre spezifischen Bedürfnisse anpassen. Dieser Wandel hat die Einstiegshürde für den KI-Einsatz drastisch gesenkt.

Warum sind Foundation Models wichtig?

Foundation Models demokratisieren den Zugang zu leistungsfähiger KI. Unternehmen jeder Größe können auf Spitzenmodelle zugreifen, ohne eigene Forschungsabteilungen aufbauen zu müssen. Gleichzeitig entsteht eine strategische Abhängigkeit von wenigen Anbietern, weshalb Open-Source-Alternativen wie Llama zunehmend an Bedeutung gewinnen.

Verwandte Begriffe

LLM · Fine-Tuning · Instruction Tuning · Parameter · Inference · RLHF

← Zurück zum Glossar