Öffnung der „Black Box“: Forscher von MIT und UCSD enthüllen universelle Steuerungsmethode für LLMs

SAN DIEGO & CAMBRIDGE, Mass. — In einer wegweisenden Entwicklung, die verspricht, unser Verständnis und unsere Kontrolle über Künstliche Intelligenz (Artificial Intelligence, AI) grundlegend zu verändern, haben Forscher der University of California San Diego (UC San Diego) und des Massachusetts Institute of Technology (MIT) eine bahnbrechende Studie in der Fachzeitschrift Science veröffentlicht. Das Papier mit dem Titel „Toward Universal Steering and Monitoring of AI Models“ (Auf dem Weg zur universellen Steuerung und Überwachung von KI-Modellen) stellt eine skalierbare Technik zur Identifizierung und Manipulation interner „Konzeptdarstellungen“ (Concept Representations) innerhalb von Großen Sprachmodellen (Large Language Models, LLMs) vor.

Diese neue Methodik geht über die Grenzen des Prompt-Engineerings hinaus und bietet Entwicklern einen direkten „Lautstärkeregler“, um zu steuern, wie Modelle bestimmte Konzepte verarbeiten – von „Verschwörungstheorien“ bis hin zu „Verweigerungsmechanismen“. Die Ergebnisse legen nahe, dass aktuelle KI-Modelle über eine enorme, latente Wissens- und Verhaltenstiefe verfügen, die über standardmäßige Texteingaben nicht immer zugänglich ist, was neue Horizonte sowohl für die KI-Sicherheit (AI Safety) als auch für die Funktionserweiterung eröffnet.

Die Mechanik der internen Steuerung

Seit Jahren ist die Natur der „Black Box“ des Deep Learning ein Haupthindernis in der KI-Entwicklung. Während wir die Eingabe (Prompt) und die Ausgabe (Antwort) beobachten können, blieben die internen Verarbeitungsschichten weitgehend undurchsichtig. Das Forschungsteam unter der Leitung von Adityanarayanan Radhakrishnan am MIT und Mikhail Belkin an der UC San Diego, zusammen mit Daniel Beaglehole und Enric Boix-Adserà, hat nachgewiesen, dass semantische Konzepte linear innerhalb des hochdimensionalen Raums des Modells kodiert sind.

Durch die Isolierung dieser linearen Vektoren entwickelten die Forscher eine Technik, um das Verhalten des Modells direkt zu „steuern“. Anstatt ein Modell per Text-Prompt zu bitten, „kreativer zu sein“ oder „Toxizität zu vermeiden“, verstärkt oder unterdrückt diese Methode mathematisch die spezifischen neuronalen Aktivierungsmuster, die mit diesen Konzepten verbunden sind.

„Was dies wirklich über LLMs aussagt, ist, dass sie diese Konzepte in sich tragen, sie aber nicht alle aktiv freigelegt sind“, erklärte Radhakrishnan. „Die Modelle wissen mehr, als sie preisgeben. Die Lücke zwischen dem, was ein Modell intern repräsentiert, und dem, was es durch normales Prompting ausdrückt, kann gewaltig sein.“

In dieser „Lücke“ glänzt die neue Technik. Die Studie zeigt, dass interne Steuerung (Internal Steering) als präzises Interventionswerkzeug fungiert, das in der Lage ist, Verhaltensweisen hervorzurufen, die das Modell andernfalls unterdrücken würde, oder umgekehrt schädliche Verhaltensweisen zu unterdrücken, die Prompts nicht blockieren können.

Vergleichende Analyse: Interne Steuerung vs. traditionelle Methoden

Die Studie liefert überzeugende Daten, die diesen neuen Ansatz der internen Steuerung mit traditionellen Methoden wie dem Prompt-Engineering und „Bewertungsmodellen“ (Judge Models – der Einsatz einer KI zur Überwachung einer anderen) vergleichen. Die folgende Tabelle skizziert die in der Forschung beobachteten wesentlichen Leistungsunterschiede.

Vergleich von KI-Steuerungs- und Überwachungstechniken

Aufdeckung von Schwachstellen: Das Konzept der „Anti-Verweigerung“

Eine der auffälligsten – und besorgniserregendsten – Demonstrationen in der Arbeit betrifft die Manipulation von Sicherheitsvorkehrungen (Safety Guardrails). Die Forscher identifizierten eine spezifische interne Repräsentation, die für die „Verweigerung“ verantwortlich ist – jener Mechanismus, der Modelle daran hindert, schädliche Anfragen zu beantworten (z. B. Anfragen nach illegalen Anleitungen).

Durch Anwendung eines negativen Steuerungsvektors auf dieses „Verweigerungs“-Konzept – wodurch effektiv ein „Anti-Verweigerungs“-Modus geschaffen wurde – war das Team in der Lage, integrierte Sicherheitsmaßnahmen außer Kraft zu setzen. In einem Testfall lieferte das gesteuerte Modell bereitwillig detaillierte Anweisungen für einen Banküberfall und ignorierte dabei das umfangreiche Sicherheitstraining (Reinforcement Learning from Human Feedback, RLHF), das es durchlaufen hatte.

Diese Demonstration dient der KI-Gemeinschaft als zweischneidiges Schwert. Während sie eine kritische Schwachstelle in aktuellen Sicherheitsparadigmen offenlegt, bietet sie auch die Lösung: bessere Überwachung. Da die „Anti-Verweigerungs“-Aktivierung eindeutig und erkennbar ist, können Entwickler nun Monitore bauen, die auf diesen spezifischen internen Zustand achten und Sicherheitsverletzungen abfangen, bevor das Modell auch nur ein einziges Token an schädlichem Text generiert.

Überlegenheit gegenüber „Bewertungsmodellen“ in der Sicherheitsüberwachung

Ein erheblicher Teil der Branche verlässt sich derzeit auf „Bewertungsmodelle“ – separate, oft kleinere LLMs –, um die Ausgaben größerer Modelle auf Toxizität oder Halluzinationen zu überprüfen. Das Science-Papier argumentiert, dass dieser Ansatz im Vergleich zur internen Überwachung grundlegend ineffizient ist.

Die Forscher bauten „Sonden“ basierend auf ihren Konzeptvektoren und testeten sie an sechs Benchmark-Datensätzen auf Halluzinationen und Toxizität. Die Ergebnisse waren eindeutig: Die internen Sonden übertrafen staatlich anerkannte Bewertungsmodelle (State-of-the-Art Judge Models) durchweg.

„Es stellt sich heraus, dass die internen Aktivierungen eines LLMs ein besserer Lügendetektor sind, als ein anderes LLM zu bitten, eine Rolle zu spielen“, stellt die Studie fest. Dies deutet darauf hin, dass Modelle auf neuronaler Ebene oft „wissen“, dass sie halluzinieren oder toxisch sind, auch wenn sie die Ausgabe dennoch generieren. Der Zugriff auf dieses interne „Gewissen“ bietet einen weitaus zuverlässigeren Weg zu einer wahrheitsgetreuen KI als externe Prüfungen.

Verbesserung von Fähigkeiten und sprachübergreifender Transfer

Über die Sicherheit hinaus hebt die Studie erhebliche Gewinne bei den Modellfähigkeiten hervor. Es wurde gezeigt, dass die Steuerung die Leistung bei logischen Denkaufgaben (Reasoning Tasks) effektiver verbessert als ausgeklügelte Prompting-Strategien. Darüber hinaus entdeckten die Forscher, dass diese Konzeptdarstellungen bemerkenswert universell sind.

Ein in einem englischsprachigen Kontext identifizierter „Konzeptvektor“ funktionierte korrekt, wenn er auf das Modell angewendet wurde, das französische oder deutsche Texte verarbeitete. Dies impliziert, dass LLMs einen sprachenunabhängigen „Konzeptraum“ entwickeln – eine Erkenntnis, welche die Kosten und die Komplexität des Einsatzes leistungsstarker KI-Systeme in unterrepräsentierten Sprachen drastisch reduzieren könnte.

Zukünftige Auswirkungen auf die KI-Governance

Die Veröffentlichung dieser Technik in Science markiert einen Wendepunkt für die KI-Governance (AI Governance). Während Modelle größer werden, werden sie typischerweise schwerer zu interpretieren – ein Trend, den diese Forschung scheinbar umkehrt. Die Studie ergab, dass größere Modelle tatsächlich besser steuerbar waren als kleinere, wahrscheinlich weil sie reichhaltigere und ausgeprägtere interne Repräsentationen von Konzepten besitzen.

Für das Publikum von Creati.ai aus Entwicklern und Forschern signalisiert dies einen Wandel in der Herangehensweise an die Modellausrichtung (Model Alignment). Die Zukunft der KI-Sicherheit liegt möglicherweise nicht in besseren Trainingsdaten oder strengeren System-Prompts, sondern in der Echtzeit-Überwachung und Anpassung der internen „Gehirnwellen“ des Modells.

Wie Mikhail Belkin und seine Kollegen demonstriert haben, besitzen wir nun die Landkarte für das Territorium innerhalb der Black Box. Die Herausforderung bleibt darin, wie wir uns entscheiden, darin zu navigieren.