Logo

Ist KI deterministisch – oder nur unvorhersagbar?

Determinismus, neuronale Netze und die Grenzen der Vorhersagbarkeit

Veröffentlicht
Aktualisiert
Kategorien
KI

Ein Sprachmodell antwortet auf dieselbe Frage heute anders als gestern. Es formuliert neu, setzt andere Schwerpunkte, macht manchmal Fehler, korrigiert sich, improvisiert scheinbar. Wer nur die Oberfläche sieht, könnte denken: Hier geschieht etwas Freies.

Doch dieser Eindruck täuscht. Die eigentliche Frage ist nicht, ob KI frei ist. Die bessere Frage lautet: Warum kann ein System, das aus Rechenoperationen besteht, so schwer vorhersagbar sein?

Damit führt KI direkt in eines der ältesten Probleme der Philosophie: den Determinismus. Wenn alles eine Ursache hat, ist dann auch jede Entscheidung festgelegt? Und wenn ein künstliches neuronales Netz nur eine mathematische Funktion berechnet, warum bekommen wir dann nicht immer dieselbe Antwort?

Determinismus

Determinismus ist die Auffassung, dass jeder Zustand der Welt durch vorherige Zustände und Naturgesetze festgelegt ist. Wenn man alle Ursachen vollständig kennen würde, wäre auch die Zukunft vollständig bestimmt. Das heißt aber nicht automatisch, dass die Zukunft für uns praktisch vorhersagbar ist.

Wichtig ist die Reichweite der Behauptung. Der philosophische Determinismus sagt etwas über die Welt: Alles hat Ursachen. Er sagt nichts darüber, ob jemand diese Ursachen kennen oder ausrechnen kann.

In der Informatik wird „deterministisch“ viel enger benutzt: Dieselbe Eingabe führt bei gleicher Umgebung zur selben Ausgabe. Das ist eine Aussage über ein Programm, nicht über die Welt. Wer beide Bedeutungen vermischt, hält ein System schon für unbestimmt, weil es sich nicht wiederholen lässt.

Die alte Idee einer berechenbaren Welt

Der klassische Determinismus wird oft mit Pierre-Simon Laplace verbunden. Er stellte sich einen Geist vor, der zu einem Zeitpunkt alle Kräfte und Positionen aller Dinge kennt. Für diesen Geist, schreibt Laplace, wäre „nothing would be uncertain“: Nichts wäre ungewiss. Quelle: Laplace, A Philosophical Essay on Probabilities.

Das ist die berühmte Idee des Laplaceschen Dämons: perfekte Kenntnis der Gegenwart würde perfekte Kenntnis der Zukunft ermöglichen.

Laplacescher Dämon

Der Laplacesche Dämon ist ein Gedankenexperiment. Es beschreibt eine Intelligenz, die alle Naturgesetze und alle aktuellen Zustände kennt. Für sie wären Vergangenheit und Zukunft vollständig berechenbar. Der Punkt ist nicht, dass so ein Wesen existiert, sondern dass Determinismus und Vorhersagbarkeit auseinanderfallen können.

Zwei Einwände haben das Bild zerlegt. Die Chaosforschung zeigt, dass winzige Ungenauigkeiten in den Anfangswerten mit der Zeit exponentiell wachsen — man müsste die Gegenwart unendlich genau kennen. Die Quantenmechanik stellt zusätzlich infrage, ob es diese exakten Werte überhaupt gibt.

Was bleibt, ist die eigentliche Pointe: Der Dämon ist eine Aussage über Wissen, nicht über Physik. Selbst eine vollständig bestimmte Welt kann für jeden realen Beobachter undurchsichtig sein.

Spinoza formulierte denselben Verdacht gegen die menschliche Freiheit noch radikaler. Menschen glauben, frei zu sein, weil sie ihre Wünsche und Handlungen bemerken, aber die Ursachen dieser Wünsche nicht kennen. In seiner Ethik heißt es sinngemäß: Wir sind uns unserer Handlungen bewusst, aber nicht der Ursachen, durch die sie bestimmt werden. Quelle: Spinoza, Ethics.

Das ist für KI erstaunlich aktuell. Auch bei einem Sprachmodell sehen wir die Ausgabe. Wir sehen nicht sofort die vielen Ursachen: Trainingsdaten, Modellarchitektur, Gewichte, Prompt, Systemanweisung, Sampling-Verfahren, Hardware, Modellversion, Sicherheitsfilter und angeschlossene Werkzeuge.

Kausalität

Kausalität meint Ursache-Wirkungs-Beziehungen. Wenn A B verursacht, ist B nicht bloß nach A passiert, sondern durch A zustande gekommen. In der KI ist Kausalität schwierig, weil Modelle oft starke Muster erkennen, ohne echte Ursachen zu verstehen.

Der Unterschied zeigt sich an dem, was ein System beantworten kann. Korrelation beantwortet: Was tritt zusammen auf? Kausalität beantwortet zwei weitere Fragen: Was passiert, wenn ich eingreife? Und was wäre passiert, wenn ich anders gehandelt hätte?

Sprachmodelle lernen aus Text, in dem Ursachen beschrieben werden. Sie können deshalb kausal klingende Sätze erzeugen, ohne ein Modell der Ursachen zu haben. Für Entscheidungen ist das der kritische Punkt: Eine gute Vorhersage ersetzt keine Begründung.

Was an neuronalen Netzen deterministisch ist

Ein künstliches neuronales Netz ist zunächst keine mystische Maschine. Es ist ein mathematisches System. Es nimmt Zahlen als Eingabe, verarbeitet sie durch Schichten von Gewichtungen und Funktionen, und erzeugt Zahlen als Ausgabe.

Wenn Architektur, Gewichte, Eingabe und Rechenumgebung exakt gleich bleiben, kann ein Netz im engen Sinn deterministisch arbeiten. Dieselbe Eingabe führt dann zur selben Ausgabe.

Künstliches neuronales Netz

Ein künstliches neuronales Netz, kurz ANN, ist ein Modell aus vielen verbundenen Recheneinheiten. Es lernt nicht durch explizite Regeln, sondern durch Anpassung von Gewichten. Diese Gewichte bestimmen, wie stark bestimmte Signale weitergegeben werden.

Praktisch heißt das: Es gibt keine Stelle, an der eine Regel steht. Wissen liegt verteilt in Millionen bis Milliarden von Gewichten, und einzelne Gewichte bedeuten für sich genommen nichts.

Daraus folgt die Schwierigkeit beim Prüfen. Man kann ein Netz nicht aufschlagen wie einen Regelsatz und nachlesen, warum es so geantwortet hat. Man kann es nur beobachten, testen und einzäunen — deshalb verschiebt sich die Kontrolle vom Modell auf den Prozess drumherum.

Aber moderne KI besteht nicht nur aus diesem engen Funktionskern. Schon beim Training entstehen viele Quellen von Varianz. Die Anfangswerte der Gewichte werden oft zufällig gesetzt. Daten werden in wechselnder Reihenfolge verarbeitet. Optimierungsverfahren wie stochastischer Gradientenabstieg arbeiten mit Ausschnitten der Daten. Manche Techniken wie Dropout bauen Zufall sogar absichtlich ein, damit das Modell robuster wird.

Training

Training ist der Prozess, in dem ein Modell seine Gewichte an Daten anpasst. Es bekommt Beispiele, macht Vorhersagen, misst Fehler und verändert seine internen Parameter. Das Ziel ist nicht Auswendiglernen, sondern ein Muster, das auch bei neuen Eingaben funktioniert.

Entscheidend ist die Trennung von Training und Anwendung. Nach dem Training liegen die Gewichte fest; beim Beantworten einer Frage lernt das Modell nichts dazu und verändert sich nicht.

Das ordnet die Varianz ein: Wer beobachtet, dass dasselbe Modell heute anders antwortet als gestern, sieht nicht ein weiterlernendes System. Die Ursache liegt woanders — im Auswahlverfahren bei der Ausgabe, im Kontext, in der Systemanweisung oder in einer neuen Modellversion beim Anbieter.

Hinzu kommt die Hardware. Auf GPUs laufen viele Rechenoperationen parallel. Kleine Unterschiede in der Reihenfolge können bei Fließkommazahlen zu leicht anderen Ergebnissen führen. PyTorch dokumentiert deshalb ausdrücklich, dass vollständige Reproduzierbarkeit nicht über alle Plattformen, Releases und CPU/GPU-Ausführungen hinweg garantiert ist. Quelle: PyTorch Reproducibility.

Reproduzierbarkeit

Reproduzierbarkeit bedeutet, dass ein Experiment oder eine Berechnung bei gleichen Bedingungen erneut dasselbe Ergebnis liefert. In der KI ist das schwer, weil Daten, Zufallszahlen, Hardware, Bibliotheken und Modellversionen alle Einfluss haben können.

Es lohnt, zwei Stufen zu unterscheiden. Bitgenaue Reproduzierbarkeit heißt: exakt dieselbe Ausgabe. Statistische Reproduzierbarkeit heißt: dieselbe Qualität und Tendenz über viele Durchläufe. Für die meisten Anwendungen ist die zweite Stufe das realistische Ziel.

Wer die erste anstrebt, muss vieles gleichzeitig festhalten: Modellversion, Zufallszahlen, Bibliotheksversionen, Hardware und Parameter. Bei einer Cloud-API entzieht sich davon das Wichtigste dem eigenen Zugriff — die Modellversion kann sich ändern, ohne dass sich am eigenen Code etwas ändert.

Das ist der erste wichtige Punkt: Ein neuronales Netz kann theoretisch deterministisch sein, ohne dass das gesamte KI-System praktisch reproduzierbar ist.

Warum LLMs anders wirken

Ein Large Language Model erzeugt Text nicht wie eine Datenbank, die einen gespeicherten Satz abruft. Es berechnet für den nächsten Token eine Wahrscheinlichkeitsverteilung. Dann wird entschieden, welcher Token als nächstes erscheint. Danach wiederholt sich der Vorgang.

Large Language Model

Ein Large Language Model, kurz LLM, ist ein großes Sprachmodell. Es wurde auf sehr vielen Texten trainiert und erzeugt Sprache, indem es Token für Token fortsetzt. Es „weiß“ nicht wie ein Mensch, sondern berechnet plausible Fortsetzungen aus gelernten Mustern.

Der Vergleich mit einer Datenbank führt in die Irre. Eine Datenbank sucht einen gespeicherten Eintrag und gibt ihn zurück. Ein Sprachmodell berechnet, welche Fortsetzung plausibel ist, und erzeugt sie neu.

Deshalb sind Flüssigkeit und Richtigkeit zwei verschiedene Achsen. Ein Satz kann sprachlich perfekt und sachlich falsch sein, weil das Modell auf Plausibilität optimiert wurde, nicht auf Wahrheit. Für die Praxis heißt das: Belege müssen von außen kommen, nicht aus dem Modell.

Ein Token ist dabei nicht unbedingt ein Wort. Es kann ein Wort, ein Wortteil, ein Satzzeichen oder ein anderes Textstück sein. Aus „Determinismus“ können je nach Tokenizer mehrere Einheiten werden.

Token

Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells. Modelle lesen und schreiben nicht direkt Wörter, sondern Token. Deshalb kann eine minimale Änderung im Prompt die interne Verarbeitung verändern.

Die Zerlegung hat spürbare Folgen. Kontextfenster und Kosten werden in Token gerechnet, nicht in Wörtern — deutsche Komposita zerfallen dabei oft in mehrere Einheiten und verbrauchen mehr, als die Wortzahl vermuten lässt.

Sie erklärt auch eine bekannte Schwäche: Aufgaben wie „zähle die Buchstaben“ sind schwer, weil das Modell die Buchstaben gar nicht einzeln sieht. Und sie erklärt, warum eine scheinbar minimale Prompt-Änderung die Antwort verschieben kann — sie verändert die Tokenfolge.

Bei der Ausgabe gibt es verschiedene Decoding-Strategien. Greedy Decoding nimmt immer den wahrscheinlichsten nächsten Token. Sampling wählt aus einer Verteilung aus. Parameter wie Temperature steuern, wie stark das Modell zwischen möglichen Fortsetzungen variiert. Hugging Face beschreibt Greedy Search als Strategie, die jeweils den wahrscheinlichsten nächsten Token auswählt, während Sampling zufällig aus der Verteilung auswählt. Quelle: Hugging Face Generation Strategies.

Decoding

Decoding ist das Verfahren, mit dem ein Sprachmodell aus Wahrscheinlichkeiten konkrete Tokens auswählt. Je nach Strategie entstehen nüchterne, wiederholbare, kreative oder überraschende Antworten.

Hier sitzt der Zufall, nicht im Netz. Das Netz liefert für jeden möglichen nächsten Token eine Wahrscheinlichkeit — dieser Schritt ist berechnet und wiederholbar. Erst die Auswahl entscheidet, ob immer der wahrscheinlichste Token genommen wird oder aus der Verteilung gezogen wird.

Das ist die praktisch wichtigste Stellschraube: Wer Varianz reduzieren will, ändert nicht das Modell, sondern das Auswahlverfahren.

Temperature

Temperature ist ein Parameter, der die Zufälligkeit der Ausgabe beeinflusst. Niedrige Werte machen Antworten stabiler und konservativer. Höhere Werte erhöhen Vielfalt, aber auch die Wahrscheinlichkeit unerwarteter oder falscher Ausgaben.

Technisch verändert Temperature die Wahrscheinlichkeitsverteilung, bevor gezogen wird: Niedrige Werte spitzen sie zu, hohe flachen sie ab und geben unwahrscheinlichen Fortsetzungen eine Chance.

Temperature 0 ist trotzdem keine Garantie für identische Antworten. Bei nahezu gleichen Wahrscheinlichkeiten entscheiden Rundungsdetails, und parallele Verarbeitung auf der Hardware kann die Reihenfolge verändern. Verwandte Parameter wie top_p und top_k schneiden die Verteilung zusätzlich zu.

Deshalb kann man ein LLM näher an deterministisches Verhalten bringen. Man setzt etwa temperature = 0, fixiert Parameter, nutzt feste Prompts und vermeidet Sampling. OpenAI erklärt, dass bei Temperature-Werten über 0 unterschiedliche Ausgaben erwartbar sind und für konsistentere Ergebnisse temperature = 0 verwendet werden soll. Quelle: OpenAI Help Center.

Aber das löst nicht alles. Schon ein anderes Modell, eine kleine Prompt-Änderung, eine neue Systemanweisung, ein anderer Kontext oder ein Update im Anbieter-System kann die Ausgabe verändern. Bei Agenten kommen weitere Faktoren hinzu: Suchergebnisse, externe APIs, Dateistände, Datenbanken, Zeitpunkte und Tool-Fehler.

KI-Agent

Ein KI-Agent ist ein System, das nicht nur Text erzeugt, sondern Aufgaben plant, Werkzeuge nutzt und Zwischenergebnisse verarbeitet. Dadurch wird es mächtiger, aber auch schwerer reproduzierbar.

Der Unterschied zum einzelnen Aufruf ist die Schleife: planen, ein Werkzeug aufrufen, das Ergebnis lesen, weiterentscheiden. Jeder dieser Schritte ist eine zusätzliche Quelle von Varianz.

Damit wird auch die Umwelt Teil des Ergebnisses. Suchergebnisse ändern sich, APIs antworten anders, Dateien und Datenbanken haben einen anderen Stand. Zwei Durchläufe sind dann nicht mehr direkt vergleichbar — selbst wenn Modell und Prompt identisch waren.

Determinismus ist nicht Vorhersagbarkeit

Hier liegt die philosophische Pointe. Determinismus bedeutet nicht, dass ein Mensch ein System leicht vorhersagen kann.

Das Wetter folgt physikalischen Gesetzen, ist aber langfristig schwer vorherzusagen. Ein Schachprogramm folgt Regeln, kann aber Züge finden, die Menschen überraschen. Ein LLM kann aus festen Gewichten berechnen, welcher Token wahrscheinlich ist, und trotzdem bleibt der konkrete Verlauf für uns schwer durchschaubar.

Vorhersagbarkeit

Vorhersagbarkeit ist eine epistemische Frage: Was können wir wissen oder berechnen? Determinismus ist eine ontologische Frage: Wie ist die Welt oder das System strukturiert? Ein System kann determiniert und trotzdem für uns unvorhersagbar sein.

Vorhersagbarkeit ist keine Ja-oder-Nein-Eigenschaft. Sie ist graduell und immer relativ: relativ zum Horizont, zur Genauigkeit der Ausgangsdaten und zu den verfügbaren Rechenmitteln.

Das Wetter ist das Standardbeispiel. Es folgt physikalischen Gesetzen und ist auf Stunden gut vorhersagbar, auf Wochen praktisch nicht. Nicht die Gesetze fehlen, sondern die Genauigkeit. Bei KI-Systemen ist es ähnlich: Der nächste Satz ist offen, das durchschnittliche Verhalten über viele Läufe ist gut abschätzbar.

David Hume sah im Streit um Freiheit und Notwendigkeit auch ein Problem der Begriffe. In seiner Enquiry schreibt er, die Kontroverse habe oft „merely upon words“ beruht. Quelle: Hume, Of Liberty and Necessity.

Bei KI passiert etwas Ähnliches. Wir sagen: „Das Modell entscheidet.“ Aber was meinen wir damit? Eine menschliche Entscheidung ist mit Gründen, Verantwortung und Selbstverständnis verbunden. Eine Modellentscheidung ist meist eine Berechnung, Klassifikation oder Auswahl unter Wahrscheinlichkeiten.

Entscheidung

Im technischen Sinn ist eine Entscheidung oft eine Auswahl: Klasse A statt Klasse B, Token X statt Token Y, Aktion 1 statt Aktion 2. Im philosophischen Sinn meint Entscheidung mehr: Gründe abwägen, sich zu einer Handlung bestimmen und Verantwortung übernehmen.

Das Wort trägt zwei Bedeutungen, die im Alltag verschmelzen. Technisch ist eine Entscheidung eine Auswahl aus berechneten Möglichkeiten. Normativ ist eine Entscheidung etwas, das jemand verantwortet und begründen muss.

Ein System kann das Erste, nicht das Zweite. Wer sagt „das Modell hat entschieden“, verschiebt sprachlich eine Verantwortung, die technisch gar nicht übergeben wurde. Genau deshalb lohnt es, im Prozess festzuhalten, wer die Freigabe erteilt.

Das Wort „Entscheidung“ verbindet also zwei Ebenen. Technisch geht es um Auswahl. Philosophisch geht es um Handlung, Gründe und Zurechnung.

Wo Startups Determinismus suchen

Viele Unternehmen haben erkannt, dass reine LLM-Systeme für regulierte Bereiche schwer einsetzbar sind. Banken, Versicherungen, Medizin, Recht und öffentliche Verwaltung brauchen Auditierbarkeit. Dort reicht „Das Modell hat es so gesagt“ nicht aus.

Deshalb entsteht ein Markt für deterministische KI-Systeme. Dabei gibt es drei Strategien.

Die erste Strategie lautet: Das LLM darf Vorschläge machen, aber nicht final entscheiden. Kapy beschreibt diesen Ansatz für Unternehmensdaten. Das LLM erstellt einen validierten Forschungsplan. Die eigentliche Ausführung läuft danach als SQL. Der Anspruch: gleicher Plan, gleiche Abfrage, gleiches Ergebnis. Quelle: Kapy.

Die zweite Strategie lautet: Natürliche Sprache wird in Entscheidungsgraphen übersetzt. Memintel positioniert sich als Entscheidungsschicht für agentische KI. Es verspricht versionierte, typisierte und auditierbare Ausführung ohne LLM auf dem kritischen Pfad. Quelle: Memintel.

Die dritte Strategie lautet: Man verbindet neuronale Modelle mit symbolischen Strukturen. Symbolica AI arbeitet an Architekturen, die formale Logik, Typentheorie und symbolisches Schließen stärker in KI-Systeme einbauen wollen. Quelle: Symbolica AI.

Neurosymbolische KI

Neurosymbolische KI verbindet neuronale Netze mit symbolischen Verfahren. Neuronale Modelle erkennen Muster. Symbolische Systeme arbeiten mit Regeln, Typen, Logik oder Wissensgraphen. Ziel ist eine KI, die flexibel und zugleich überprüfbarer ist.

Die Arbeitsteilung ist der Kern: Das neuronale Modell übernimmt, was schwer zu formalisieren ist — Sprache, Wahrnehmung, Mustererkennung. Der symbolische Teil übernimmt, was exakt sein muss — Regeln, Bedingungen, Berechnungen, Prüfungen.

Der Gewinn sind nachvollziehbare Schritte an den Stellen, die eine Abnahme tragen müssen. Der Preis ist Vorarbeit: Die Regeln müssen ausformuliert werden. Wer den Prozess nicht sauber beschreiben kann, kann ihn auch nicht symbolisch absichern.

Andere Firmen setzen bei Speicher, Governance oder Faktenprüfung an. Damba spricht von deterministischer, auditierbarer Erinnerung. 1729 AI Labs formuliert die These, dass man aus probabilistischen LLMs durch Systemarchitektur verlässliche Systeme bauen kann. Hialara, Glare9 und QGI verwenden ebenfalls stark den Begriff deterministischer KI. Diese Fälle sollte man besonders kritisch lesen, weil Website-Versprechen nicht automatisch technische Evidenz sind.

Der gemeinsame Nenner ist klar: Die Branche versucht nicht unbedingt, das Sprachmodell selbst vollständig deterministisch zu machen. Sie versucht, den riskanten Teil einzuhegen. Das LLM wird zum Generator, Übersetzer oder Vorschlagsmacher. Die Entscheidung selbst wandert in Regeln, Datenbanken, SQL, Workflows, formale Grammatiken oder überprüfbare Speicherstrukturen.

Auditierbarkeit

Auditierbarkeit bedeutet, dass eine Entscheidung später nachvollzogen und geprüft werden kann. Man muss sehen können, welche Daten, Regeln, Modellversionen und Zwischenschritte beteiligt waren.

Auditierbarkeit und Reproduzierbarkeit werden oft verwechselt. Ein Durchlauf kann nachvollziehbar dokumentiert sein, ohne sich exakt wiederholen zu lassen — und er kann sich exakt wiederholen lassen, ohne dass jemand nachvollziehen kann, warum er so ausging.

Praktisch heißt Auditierbarkeit: Eingaben, Modellversion, Parameter, Zwischenschritte, Werkzeugaufrufe und Freigaben werden mitgeschrieben. Das ist eine Entwurfsentscheidung am Anfang, kein Logging, das man am Ende ergänzt.

Was die KI-Debatte vom Determinismus lernt

KI zeigt, dass wir drei Begriffe trennen müssen.

Erstens: kausale Bestimmtheit. Ein Modelloutput hat Ursachen. Er entsteht nicht aus dem Nichts.

Zweitens: praktische Vorhersagbarkeit. Auch wenn ein Output verursacht ist, können wir ihn oft nicht einfach vorhersagen.

Drittens: normative Verantwortung. Selbst wenn ein System „entscheidet“, heißt das nicht, dass es verantwortlich ist. Verantwortung liegt bei den Menschen und Institutionen, die Daten auswählen, Modelle trainieren, Systeme einsetzen und Folgen akzeptieren.

Genau hier wird Spinoza wieder aktuell. Wir sehen die Ausgabe und nennen sie Entscheidung. Aber die Ursachen bleiben verborgen. Die philosophische Aufgabe besteht darin, diese Ursachen sichtbar zu machen.

KI widerlegt den Determinismus nicht. Sie macht ihn komplizierter. Sie zeigt, dass ein vollständig berechnetes Ergebnis für Menschen trotzdem überraschend, instabil und schwer kontrollierbar sein kann.

Das ist kein Beweis für Freiheit. Es ist ein Beweis dafür, dass Vorhersagbarkeit viel anspruchsvoller ist als Kausalität.

Quellen und weiterführende Lektüre

Jetzt kennenlernen