- Self-Consistency: Technik, bei der ein Sprachmodell dieselbe Frage mehrfach beantwortet und durch Mehrheitsentscheid die zuverlässigste Antwort ermittelt.
- Self-Consistency ist eine Dekodierungsstrategie für große Sprachmodelle, die 2022 von Wang et al. bei Google Brain eingeführt wurde.
- Statt das Modell einmal antworten zu lassen, wird dieselbe Anfrage mehrfach mit leicht variierenden Denkpfaden ausgeführt.
/01Grundprinzip der Self-Consistency
Self-Consistency ist eine Dekodierungsstrategie für große Sprachmodelle, die 2022 von Wang et al. bei Google Brain eingeführt wurde. Statt das Modell einmal antworten zu lassen, wird dieselbe Anfrage mehrfach mit leicht variierenden Denkpfaden ausgeführt. Am Ende wird die Antwort gewählt, die am häufigsten übereinstimmt.
Das Verfahren nutzt den stochastischen Charakter von LLMs produktiv: Bei komplexen Aufgaben können unterschiedliche Lösungswege zur gleichen richtigen Antwort führen. Stimmen viele dieser Wege überein, ist das ein starkes Indiz für Korrektheit.
/02Vorteile gegenüber einfachem Chain-of-Thought
Self-Consistency ergänzt Chain-of-Thought und bietet folgende Vorteile:
- Robustheit: Einzelne fehlerhafte Denkpfade werden herausgemittelt
- Vertrauenseinschätzung: Hohe Übereinstimmung signalisiert zuverlässige Antwort
- Kein Nachtraining nötig: Funktioniert mit jedem bestehenden Modell
- Messbare Qualitätssteigerung bei Mathematik- und Logikaufgaben
Mehrheitsentscheid als Qualitätssicherung
Wenn ein Modell eine Rechenaufgabe zehnmal löst und neunmal dasselbe Ergebnis liefert, ist dieses Ergebnis mit hoher Wahrscheinlichkeit korrekt — auch wenn einzelne Denkpfade Fehler enthielten.
/03Relevanz für den Mittelstand
Self-Consistency eignet sich für Unternehmensanwendungen, bei denen Fehler teuer sind: Buchhaltungsauswertungen, technische Kalkulationen oder regulatorische Prüfungen. Der Nachteil ist der erhöhte API-Kostenverbrauch durch mehrfache Anfragen. Unternehmen sollten diese Technik daher gezielt für kritische Aufgaben aktivieren und mit ihren Kosten-Nutzen-Anforderungen abwägen.