Black-Box-Problem bei KI: Wie erklärbar sind neuronale Netze?

Was die Interpretierbarkeitsforschung 2026 zeigt und was Organisationen selbst absichern müssen

Veröffentlicht
Kategorien
KI

Inhalt

Man kann jede Zahl eines Sprachmodells auslesen und weiß trotzdem nicht, warum es so antwortet. Das ist das Black-Box-Problem bei KI: Selbst wenn Eingaben, Ausgaben und Rechenschritte offenliegen, kann niemand verständlich erklären, wie sie zusammenhängen. Bei großen neuronalen Netzen ist diese Lücke besonders groß.

In einem Unternehmen oder einer Behörde wird sie spürbar, sobald künstliche Intelligenz mehr liefert als unverbindliche Vorschläge. Eine Anwendung schlägt eine Erstattung vor oder bereitet eine Auskunft an Kunden vor. Dann will jemand wissen: Worauf stützt sich das Ergebnis? Welche Fehler bleiben unentdeckt? Wer kann eingreifen, bevor daraus eine Handlung wird?

Die Forschung zur KI-Interpretierbarkeit sucht die Antwort im Modell selbst. Zwei Beiträge aus diesem Herbst zeigen, wie sich das Feld bewegt: ein Essay von Goodfire und ein Forschungsblog aus dem MIT CSAIL. Für den Einsatz im Betrieb bleibt eine zweite Aufgabe. Die Anwendung muss so gebaut sein, dass Menschen Ergebnisse prüfen und Entscheidungen verantworten können.

Warum KI eine Black Box ist: Die Regeln entstehen im Training

Bei einem neuronalen Netz legen Menschen die Architektur und das Lernverfahren fest. Die Regeln, nach denen das Netz Eingaben verarbeitet, schreibt niemand auf. Sie entstehen im Training und verteilen sich über viele miteinander verbundene Komponenten.

Deshalb genügt es nicht, die Modellgewichte zu lesen, also die Zahlen, die das Training eingestellt hat. Sie beschreiben, wie das System rechnet. Welche Aufgabe ein bestimmtes Zusammenspiel dieser Zahlen für eine Antwort erfüllt, muss erst untersucht werden. Das gilt auch für Modelle, deren Gewichte veröffentlicht sind.

Dazu kommt, dass Sprachmodelle ihre Antworten selbst begründen. Eine überzeugende Begründung kann vom tatsächlichen Rechenweg abweichen. Anthropic zeigte 2025 an untersuchten Fällen, dass Claude gelegentlich plausibel klingende Argumente für eine Antwort liefert, die der Nutzer nahegelegt hat. Als Protokoll der internen Berechnung taugt eine ausgegebene Gedankenkette deshalb nur bedingt. Quelle: Tracing the thoughts of a large language model. Eine verwandte Frage behandelt ein eigener Artikel: warum dasselbe Modell unterschiedlich antwortet.

Wer ein KI-System prüft, sollte drei Fragen auseinanderhalten:

Frage

Was dafür untersucht werden muss

Ist das Ergebnis richtig?

Antwort, Belege und fachliche Kriterien

Wie kam das Modell dazu?

Interne Verarbeitung und ursächliche Zusammenhänge

Darf daraus eine Handlung folgen?

Zuständigkeiten, Befugnisse und Folgen im konkreten Ablauf

Ein System kann richtige Ergebnisse liefern, obwohl sein Innenleben nur teilweise verstanden ist. Und ein gut verstandener Mechanismus schützt nicht davor, dass das Ergebnis für den Zweck ungeeignet ist.

Superposition und Polysemantizität: zwei Begriffe, die oft verwechselt werden

Superposition bezeichnet in der KI-Forschung, dass ein Netz mehr Merkmale darstellt, als sein Repräsentationsraum unabhängige Dimensionen hat. Die Merkmale teilen sich dann überlappende Richtungen. Mit der Überlagerung aus der Quantenmechanik hat das nichts zu tun.

Polysemantizität ist dagegen eine Beobachtung: Ein einzelnes Neuron reagiert auf mehrere scheinbar unterschiedliche Merkmale. Woher die Mehrdeutigkeit kommt, muss eine Untersuchung erst zeigen.

Die Arbeit Toy Models of Superposition zeigte 2022 Superposition in kleinen Netzen mit synthetischen Daten. Merkmale, die selten gemeinsam auftreten, ließen sich dort komprimiert darstellen. Schon die Autoren wiesen darauf hin, dass offen ist, wie weit sich das auf große, reale Netze übertragen lässt. Quelle: Toy Models of Superposition.

Wie die Forschung KI nachvollziehbar macht: Merkmale, Schaltkreise, Eingriffe

Mechanistische Interpretierbarkeit untersucht, welche internen Komponenten eine Berechnung tragen und wie sie zusammenwirken. Eine Erklärung gewinnt an Gewicht, wenn sich ihre Vorhersagen durch Eingriffe prüfen lassen. Die Probe: Verändert sich das Ergebnis wie erwartet, wenn eine Komponente verstärkt, abgeschwächt oder ausgeschaltet wird?

Ein Werkzeug dafür sind Sparse Autoencoders. Diese Hilfsmodelle zerlegen die Aktivierungen eines Netzes in wenige gleichzeitig aktive Bausteine, sogenannte Features. Anthropic zeigte 2024, dass sich so auch aus Claude 3 Sonnet interpretierbare Merkmale gewinnen lassen und dass sie das Verhalten des Modells beeinflussen können. Die Merkmale bleiben eine erlernte Zerlegung, und ein sprechendes Etikett beschreibt nur einen Ausschnitt des Entscheidungswegs. Quelle: Scaling Monosemanticity.

Der nächste Schritt verbindet Merkmale zu Circuits, also Schaltkreisen mit einer Funktion. So lässt sich ein Teil des Informationsflusses verfolgen. Die Analysen, die Anthropic 2025 vorstellte, erfassen nach eigener Angabe nur einen Bruchteil der Berechnung und können Artefakte der Werkzeuge enthalten. Quelle: Tracing the thoughts of a large language model.

Älter und verbreiteter sind Verfahren der Explainable AI (XAI, erklärbare KI). Sie setzen meist von außen an und schätzen, welche Eingaben eine Vorhersage beeinflusst haben, etwa mit SHAP oder LIME.

Für die Anwendung hilft diese Unterscheidung:

Ansatz

Was er zugänglich macht

Was zusätzlich zu prüfen bleibt

Nachträgliche Erklärung (Explainable AI), etwa das Gewicht einzelner Eingaben

Einflüsse auf eine Vorhersage in einem bestimmten Untersuchungsrahmen

Ob die Erklärung das Modellverhalten angemessen abbildet

Mechanistische Analyse

Interne Merkmale, Verbindungen und ihre Wirkungen

Vollständigkeit und Gültigkeit bei anderen Eingaben

Dokumentation der Anwendung

Verwendete Daten, Modellversion, Werkzeugaufrufe und Freigaben

Was im Modell geschieht und ob das Ergebnis fachlich trägt

Wie lesbar große Netze tatsächlich sind, ist die Frage, an der die beiden neuen Beiträge ansetzen.

Neue Forschung 2026: Lesbarere Netze und Modelle, die Gewichte bearbeiten

Goodfire: Sind neuronale Netze lesbarer als gedacht?

Nick Cammarata vertritt im Goodfire-Essay Neural Networks Are Already Clean eine Arbeitshypothese: Klassische Belege für schwer entwirrbare Repräsentationen seien falsch gelesen worden. Als Ursachen nennt er vor allem schwache Analysewerkzeuge sowie Probleme in Architektur und Training. Für das Bildmodell InceptionV1 hält er Superposition für die falsche Erklärung.

Sein Beispiel ist ein Neuron in InceptionV1, das auf Katzengesichter und auf Autofronten reagiert. Cammarata führt das auf eine gemeinsame, spitz zulaufende V-Form zurück. In einer Überarbeitung vom 30. Oktober 2026 nimmt er eine frühere Zuspitzung zurück: Ein reiner Formdetektor sei das Neuron nicht, es erkenne auch die Objekte.

Mit „rekursiver Generalisierung“ beschreibt er, wie ein gelerntes Merkmal nach und nach Ableger in verwandte Richtungen bildet. Am Ende wirken seine Auslöser unverbunden, obwohl sich die Entwicklung nachzeichnen lässt.

Trifft die Hypothese zu, wäre die direkte Untersuchung von Neuronen und ihren Verbindungen ergiebiger als lange angenommen. Der Text nennt sich selbst einen informellen Forschungsessay. Große Sprachmodelle sind nach Cammarata schon wegen ihrer Größe weit davon entfernt, entschlüsselt zu sein. Quelle: Neural Networks Are Already Clean.

MIT CSAIL: Ein Sprachmodell bearbeitet die Gewichte eines anderen

Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab vom MIT CSAIL beschreiben am 2. November 2026 Weight-Space Programming: Ein Sprachmodell liest die Gewichte eines anderen Netzes und verändert sie direkt, ohne Training.

Im Experiment bearbeitete GPT-6 Astra rund 0,016 Prozent der Gewichte des kleinen Modells Qwen3.5-0.8B. Bei gleichen Sampling-Einstellungen stieg dessen Wert im Mathematik-Benchmark MATH-500 von 7,9 auf 48,1 Prozent. Astra hatte dafür Python-Zugriff auf die Gewichte, Übungsaufgaben und 50 Vorwärtsdurchläufe. Mit 10 oder 25 Durchläufen blieb der Gewinn klein: 12,3 und 14,1 Prozent.

Der Eingriff wirkte vor allem gegen Wiederholungsschleifen. Der Anteil der Antworten, die am Token-Limit abbrachen, fiel von 93 auf 33 Prozent. Beim kleineren Gemma 3 270M gelang keine Verbesserung der Mathematikleistung. Ein auf übermäßige Zustimmung trainiertes Gemma-Modell erkannte Astra aus den Gewichten allein nicht. Durfte es stattdessen die Attention-Muster auf selbst geschriebenen Texten sehen, fand es das Modell in allen drei Paaren.

Die Autoren schreiben ausdrücklich, Weight-Space Programming sei ein entstehendes Konzept und keine Methode. Der Blogpost zeigt frühe Fähigkeiten an einzelnen Aufgaben. Quelle: Sparks of Weight-Space Programming.

Was sich dadurch für den Einsatz ändert

Für eine Anwendung, die heute in Betrieb geht, ändern beide Beiträge nichts Grundsätzliches. Ein großes Sprachmodell wird durch sie nicht erklärbar. Ich lese sie als Hinweis, dass Modelle künftig besser lesbar werden könnten, auch mit Hilfe anderer Modelle.

Bezeichnend finde ich ein Detail aus dem MIT-Versuch. Das übermäßig zustimmende Modell fiel nicht an seinen Gewichten auf, sondern erst, als Astra beobachten durfte, wie es Texte verarbeitet. Geprüft wird also bis auf Weiteres am laufenden System. Die Kontrolle muss in der Anwendung sitzen.

Black-Box-Problem im Betrieb: Die Kontrolle gehört in die Anwendung

Für die Praxis ziehe ich daraus eine Leitlinie: Je größer die Folgen einer KI-Handlung, desto belastbarer müssen Prüfung, Eingriff und Zuständigkeit sein. Das gilt zum Start und solange die Anwendung läuft.

Ein konstruiertes Beispiel: Eine Kundin meldet, dass ihre Lieferung beschädigt ankam. Die KI schlägt eine Erstattung von 80 Prozent vor und verweist auf Abschnitt 4 der Lieferbedingungen. Die Sachbearbeiterin muss auf einen Blick sehen, ob dieser Abschnitt für den Vertrag der Kundin gilt und ob die Fotos den Schaden zeigen. Erst dann gibt sie frei.

Auch ein vollständig verstandenes Sprachmodell würde ihr diese Entscheidung nicht abnehmen. Der Freigabeschritt hält einen ungeprüften Vorschlag auf, bevor Geld fließt.

Fünf Schritte, mit denen ich beginnen würde. Sie setzen fort, was der Artikel KI im Unternehmen einführen für den ersten Ablauf beschreibt:

  1. Aufgabe und Entscheidungsraum festlegen. Darf die KI nur zusammenfassen, Empfehlungen abgeben oder auch Handlungen auslösen? Und wann übergibt sie an einen Menschen?

  2. Vor dem Test bestimmen, was gut genug ist. Welche Qualität müssen die Ergebnisse erreichen? Geprüft wird an typischen Anfragen, bekannten Fehlerfällen und bewusst schwierigen Ausnahmen.

  3. Belege überprüfbar machen. Zeigt Quellen und Fundstellen so an, dass Mitarbeitende sie kontrollieren können. Prüft auch, ob eine zitierte Stelle die Aussage tatsächlich stützt.

  4. Kontrolle arbeitsfähig machen. Gebt der prüfenden Person genug Informationen und Zeit, und erlaubt ihr, zu widersprechen oder den Vorgang zu stoppen. Sonst hilft die Freigabe nicht.

  5. Betrieb und Änderungen nachvollziehbar halten. Benennt, wer im laufenden Betrieb zuständig ist. Dokumentiert Versionen, Prüfregeln und Freigaben so, dass euer Team oder andere Fachleute die Anwendung übernehmen und nach jeder Änderung erneut prüfen können.

Einen brauchbaren Maßstab liefert das US-Normungsinstitut NIST mit vier Prinzipien. Ein System liefert eine Erklärung. Sie ist für die jeweiligen Menschen verständlich. Sie gibt den tatsächlichen Prozess korrekt wieder. Und das System arbeitet nur unter den Bedingungen, für die es ausgelegt ist, und nur, wenn es sich seines Ergebnisses ausreichend sicher ist. Erklärbarkeit ist dabei eine von mehreren Eigenschaften vertrauenswürdiger KI. Quelle: Four Principles of Explainable Artificial Intelligence.

Für Hochrisiko-KI-Systeme sieht die EU-KI-Verordnung Ähnliches als Pflicht vor. Solche Systeme müssen so konzipiert sein, dass Betreiber ihre Ergebnisse interpretieren und angemessen nutzen können (Artikel 13). Und sie müssen so gebaut sein, dass Menschen sie wirksam beaufsichtigen können (Artikel 14). Quelle: Verordnung (EU) 2024/1689. Was Artikel 50 gegenüber Nutzern verlangt, beschreibt der Leitfaden zur KI-Kennzeichnungspflicht.

Wie viel Transparenz eine KI-Anwendung braucht, hängt von den Folgen ab

Für eine KI, die interne Besprechungsnotizen zusammenfasst, genügt eine Stichprobe. Eine Anwendung, die Zahlungen vorbereitet oder verbindliche Auskünfte gibt, braucht deutlich stärkere Nachweise und Kontrollen.

Können die verantwortlichen Menschen beurteilen, ob ein Ergebnis für diesen Zweck trägt, und bei Bedarf wirksam eingreifen? An dieser Frage entscheidet sich, wie viel Transparenz genug ist.

Daran bemisst sich auch der Handlungsspielraum. Eine KI sollte nur so viel davon bekommen, wie die Organisation mit überprüfbaren Regeln und Tests absichern kann.

Wie wir bei Kopfwelt die menschliche Kontrolle über KI in Projekten regeln, steht auf einer eigenen Seite.

Häufige Fragen zum Black-Box-Problem bei KI

Ist jedes KI-System eine Black Box?

Nein. Überschaubare Regelwerke und kleine Entscheidungsbäume lassen sich direkt nachvollziehen. Wie verständlich ein System ist, hängt von Modelltyp, Größe, Zugang und Untersuchungsmethode ab. Besonders schwer zu erklären sind große neuronale Netze wie Sprachmodelle, weil ihre Regeln im Training entstehen und über sehr viele Gewichte verteilt sind.

Ist das Black-Box-Problem inzwischen gelöst?

Nein. Teile von Modellen und einzelne Verhaltensweisen lassen sich untersuchen, etwa mit Sparse Autoencoders und Circuits. Die Analysen erfassen nach Angaben von Anthropic (2025) nur einen Bruchteil der Berechnung. Eine vollständige, verlässliche Erklärung aller Antworten unter allen Einsatzbedingungen gibt es für große Sprachmodelle bisher nicht.

Was ist Explainable AI, und löst sie das Black-Box-Problem?

Explainable AI (XAI, erklärbare KI) fasst Verfahren zusammen, die Ergebnisse eines Modells für Menschen nachvollziehbar machen sollen. Viele schätzen von außen, welche Eingaben eine Vorhersage beeinflusst haben. Das hilft bei der Prüfung einzelner Ergebnisse. Ob eine solche Erklärung den tatsächlichen Rechenweg trifft, muss eigens geprüft werden. NIST nennt das Erklärungsgenauigkeit (Explanation Accuracy, NISTIR 8312).

Macht ein Modell mit offenen Gewichten KI automatisch transparent?

Nein. Mit offenen Gewichten können unabhängige Forschende das Modell selbst untersuchen. Verständnis entsteht erst durch diese Analyse: Die Gewichte beschreiben, wie das Modell rechnet. Welche Funktion ein bestimmtes Zusammenspiel dieser Zahlen erfüllt, muss untersucht werden.

Kann man einer KI vertrauen, wenn sie ihre Antwort begründet?

Nicht allein deshalb. Eine Begründung ist ein prüfbarer Text und kein Beweis. Anthropic zeigte 2025, dass ein Sprachmodell plausible Argumente für eine Antwort liefern kann, die der Nutzer nahegelegt hat. Geprüft werden deshalb die Aussage, ihre Belege und ob sie zur Aufgabe passt.

Was ist der Unterschied zwischen Erklärbarkeit und Sicherheit?

Erklärbarkeit betrifft das Verständnis eines Ergebnisses oder Prozesses. Sicherheit betrifft unter anderem den Umgang mit möglichen Schäden. Ein verständliches System kann trotzdem Fehler machen. Deshalb braucht eine KI-Anwendung neben Erklärungen auch Tests und eine Person, die freigibt.

Quellen

  1. Anthropic: Tracing the thoughts of a large language model, 27. März 2025. Forschungsüberblick mit verlinkten technischen Arbeiten.

  2. Elhage et al.: Toy Models of Superposition, 14. September 2022. Untersuchung synthetischer Modellfälle.

  3. Cammarata, Goodfire: Neural Networks Are Already Clean, ohne Erscheinungsdatum, überarbeitet am 30. Oktober 2026. Informeller Forschungsessay und Arbeitshypothese.

  4. Takehi et al., MIT CSAIL: Sparks of Weight-Space Programming, 2. November 2026, mit Ergänzungen vom 12. November 2026. Forschungsblog.

  5. Templeton et al., Anthropic: Scaling Monosemanticity, 21. Mai 2024. Technischer Forschungsbericht.

  6. Phillips et al., NIST: Four Principles of Explainable Artificial Intelligence, NISTIR 8312, September 2021.

  7. Europäische Union: Verordnung (EU) 2024/1689 über künstliche Intelligenz, Artikel 13 und 14.

Recherchestand: 21. November 2026. Die fünf Schritte für Unternehmen sind meine Ableitung und stehen so in keiner der Quellen.