KI kann mehr als Sprache: Was neue Modelle lösen sollen

Welche Probleme KI jenseits der LLMs lösen soll, sortiere ich danach, was heutigen Systemen fehlt. Für Unternehmen, die KI schon einsetzen, zählen davon vier Dinge:

1. Entscheiden: schnelle, prüfbare Entscheidungen, ohne dass dafür Text erzeugt wird.

2. Verlässlichkeit: ein Modell, das erkennt, wenn es unsicher ist, und den Fall dann an einen Menschen gibt.

3. Effizienz: kleine, spezialisierte Modelle, die bei Antwortzeit, Kosten und Energie günstiger sind.

4. Zusammenspiel: mehrere Modelle, die zusammenarbeiten, statt eines Modells, das alles können soll.

Der Rest ist heute vor allem Forschung: wie eine KI ihre Umgebung versteht, Ursache und Wirkung trennt, über viele Schritte plant und dazulernt, ohne Altes zu vergessen.

Muss ein Modell die Welt Bild für Bild erzeugen können, um sie zu verstehen? JEPA (Joint Embedding Predictive Architecture) antwortet mit Nein. Der Ansatz geht auf Yann LeCun und Meta zurück. Ein Encoder übersetzt Bilder oder Videos in abstrakte Merkmale. Ein zweiter Teil, der Predictor, sagt aus dem sichtbaren Kontext voraus, wie die Merkmale der verdeckten oder zukünftigen Teile aussehen. Das Modell muss also nicht jedes Blatt am Baum nachzeichnen, nur das, was für die Aufgabe zählt. Quelle: A Path Towards Autonomous Machine Intelligence.

Damit ist JEPA ein Baustein für ein Weltmodell: ein gelerntes inneres Modell einer Umgebung, mit dem ein System vorhersagt, was eine Handlung verändert, bevor es sie ausführt. Meta hat das ab 2024 auf Video übertragen und 2025 mit V-JEPA 2 um Vorhersage und Planung erweitert. Für Roboter braucht das Modell zusätzlich Daten darüber, welche Handlung welche Veränderung auslöst. Und dass es Merkmale gut vorhersagt, heißt noch nicht, dass es Physik versteht. Quelle: Meta AI – V-JEPA 2.

Braucht jede Entscheidung ein Modell, das Text generiert? TypeSafe AI sagt Nein und stellt mit JEV ein sogenanntes „System One Model“ vor. Es ordnet Eingaben in festgelegte Antwortmöglichkeiten ein und gibt Wahrscheinlichkeiten aus. Der Hersteller nennt Aufgaben wie Klassifizieren, Weiterleiten, Bewerten und Extrahieren sowie das Prüfen von LLM-Ausgaben. Quelle: Introducing System One Models & Jev.

Ein konstruiertes Beispiel: Ein Maschinenbauer bekommt täglich 200 Mails an die Service-Adresse. Ein Modell ordnet jede einer von acht Kategorien zu und gibt an, wie sicher es ist. Liegt die Sicherheit unter einem vorher festgelegten Wert, landet die Mail bei einem Menschen.

Vor einem solchen Test legen wir bei Kopfwelt grundsätzlich fest, welche Trefferquote die Einordnung erreichen muss und woran wir die Entlastung messen, etwa an der Zahl der Mails, die noch von Hand verteilt werden.

Die Zahlen zu Geschwindigkeit und Kosten hat der Hersteller selbst gemessen. Dass JEV nicht halluzinieren könne, begründet er ausdrücklich nicht mit Messungen, sondern damit, dass jede Ausgabe ins vorgegebene Schema passen muss. Eine formal gültige Antwort kann aber inhaltlich falsch sein.

Inzwischen gibt es eine erste unabhängige Auswertung. Forschende der Universität Bonn und des Lamarr-Instituts haben im September 2026 Ergebnisse zu 37 Datensätzen mit rund 346.000 Anfragen veröffentlicht. Bei verbreiteten Standardtests, etwa der zweistufigen Stimmungsanalyse von Filmkritiken (IMDB, SST-2) und Fragen zu Allgemeinwissen und Alltagslogik (ARC, HellaSwag), erreicht JEV 95 bis 99 Prozent. Gegen das offene Modell Qwen3.8-27B gewinnt es auf 27 von 37 Datensätzen. Bei der Auswahl unter festen Antworten sind seine Wahrscheinlichkeiten gut kalibriert, eignen sich also für die Regel „unter X Prozent prüft ein Mensch“. Quelle: Evaluating and Benchmarking the System One Model Jev.

Dieselbe Auswertung zeigt die Grenzen. Bei 77 feinen Anliegen aus dem Bankkundendienst trifft JEV rund 80 Prozent, knapp vor Qwen, aber deutlich unter den einfachen Aufgaben. Bei unfairen Klauseln in Nutzungsbedingungen liegt es mit Standardeinstellungen klar hinter Qwen und zieht erst mit abgestimmten Schwellenwerten fast gleich. Die Autoren weisen außerdem darauf hin, dass Trainingsdaten und Architektur nicht öffentlich sind. Sie können deshalb nicht ausschließen, dass Testdaten im Training steckten.

Wer Übersichten zu „KI nach den LLMs“ liest, findet Transformer, Mamba, JEPA und Robotik-Modelle oft in einer Liste, als wären es Alternativen. Sie liegen aber auf unterschiedlichen Ebenen: Lernprinzip, Netzwerkarchitektur, Planungsverfahren, Anwendung.

Mamba, ein State Space Model, ist etwa eine Alternative zur Transformer-Architektur, kann selbst aber ein Sprachmodell sein. Quelle: Mamba – arXiv. Diffusion wiederum, bekannt aus der Bildgenerierung, erzeugt in der Robotik inzwischen Bewegungsabläufe. Mit JEPA hat das nichts zu tun.

Am deutlichsten zeigt sich die Grenze reiner Sprachmodelle dort, wo KI etwas anfassen soll. Ein Roboter muss Kamera, Tastsinn und die Lage der eigenen Gelenke zusammenführen. Er braucht kurze Regelzyklen, fließende Bewegungen und eine sichere Reaktion auf Unvorhergesehenes.

Mehrere Ansätze arbeiten daran:

• Google DeepMind Gemini Robotics verbindet das Sprach- und Bildverständnis von Gemini mit Roboteraktionen (Vision-Language-Action, kurz VLA). Quelle: Gemini Robotics.

• Physical Intelligence π0 erzeugt fließende Bewegungsabläufe statt einzelner Schritte und zielt auf vielseitiges Greifen und Handhaben. Quelle: Physical Intelligence.

• NVIDIA Isaac GR00T soll als Grundmodell auf humanoide Roboter übertragbar sein. Quelle: NVIDIA Isaac GR00T.

• Figure Helix trennt zwei Ebenen: Ein System versteht Szene und Anweisung mit 7 bis 9 Durchläufen pro Sekunde, ein zweites steuert die Bewegung mit 200. Quelle: Figure – Helix.

• DreamerV3 ist kein Robotik-Modell, sondern ein allgemeines Lernverfahren: Es übt in einem eigenen Weltmodell und plant mit simulierten Erfahrungen. Quelle: DreamerV3 – Nature.

Die meisten VLA-Systeme bauen auf einem Vision-Language-Modell auf, also einem Sprachmodell, das auch Bilder versteht, und lernen zusätzlich Bewegungen. Offen bleibt, wie gut das außerhalb des Labors trägt: Was in der Simulation funktioniert, scheitert oft an der echten Welt, Daten aus Vorführungen sind teuer, und eine gelungene Demo zeigt noch keine Alltagstauglichkeit.

Abseits der Robotik sind spezialisierte Modelle teils schon im Einsatz. Die folgende Übersicht nennt Beispiele, keine vollständige Bewertung:

• Biologie: AlphaFold 3 sagt molekulare Strukturen und ihre Wechselwirkungen vorher. Quelle: AlphaFold. RFdiffusion aus dem Baker Lab der University of Washington entwirft neue Proteinstrukturen.

• Wetter und Klima: GraphCast und GenCast von Google DeepMind sowie Aurora von Microsoft berechnen den Zustand der Atmosphäre über Raum und Zeit. Schwierig bleiben Extremereignisse und die Frage, wie sicher eine Vorhersage ist. Quelle: GraphCast.

• Medizinische Bildgebung: nnU-Net und MedSAM grenzen Organe und Befunde in Bildern ab. Die Herausforderung ist, dass ein Modell auch mit Bildern einer anderen Klinik oder eines anderen Geräts zurechtkommt.

• Materialforschung: GNoME und MatterGen schlagen neue Materialien vor. Ob sie sich herstellen lassen, entscheidet weiterhin das Labor.

• Industrie: Vortrainierte Zeitreihenmodelle wie Chronos sagen Messreihen vorher, ohne für jeden Datensatz neu trainiert zu werden. Quelle: Chronos – arXiv. Denkbar ist, damit Ausfälle früh zu erkennen oder die Qualitätskontrolle zu unterstützen. Voraussetzung sind Messdaten, die regelmäßig und sauber erfasst werden.

• Simulation: Fourier Neural Operators nähern nach dem Training die Lösungen bestimmter physikalischer Gleichungen an, laut den Autoren bis zu tausendmal schneller als klassische Löser. Quelle: Fourier Neural Operator – arXiv. Die Ergebnisse bleiben Näherungen und sind nur so gut wie die Trainingsdaten.

Für die meisten Unternehmen ist davon heute vor allem eines greifbar: Zeitreihenmodelle wie Chronos, denn die Messdaten liegen oft schon vor. Dazu kommt die Einordnung von Anfragen, wie im Abschnitt zu JEV beschrieben.

Wer über solche Modelle entscheidet, braucht ein paar feste Regeln. Für mich sind es fünf:

1. Herstellerangaben von Befunden trennen. Drei Fragen an jede Zahl: Wer hat sie gemessen? Auf welchen Daten und gegen welche Vergleichsbasis? Lässt sie sich mit hundert eigenen Fällen nachprüfen, bevor ihr unterschreibt?

2. An der Aufgabe vergleichen. Gleiche Daten, gleiche Qualitätsanforderung. Gemessen werden Antwortzeit, Kosten, Energie und die Frage, wie gut das Modell seine eigene Unsicherheit einschätzt. Warum Vorhersagbarkeit dabei eine eigene Größe ist, steht im Artikel zu Determinismus und Vorhersagbarkeit bei KI.

3. Nicht mehr behaupten, als belegt ist. Selbstüberwachtes Lernen beweist kein Verständnis von Ursache und Wirkung. Umgekehrt gilt das auch für Schwächen: Eine Studie von 2025 zeigt, dass selbst fortgeschrittene LLMs schon einfache Regeln kaum aus Beispielen ableiten. Das gilt für die getesteten Modelle und Aufgaben. Ein Argument für eine andere Architektur ist es noch nicht. Quelle: InductionBench – Hua et al..

4. Ebenen nicht vermischen. Ein Lernprinzip ist kein Konkurrent einer Netzwerkarchitektur.

5. Verantwortung festlegen. Wer bestimmt Ziel und Grenzen? Wann übernimmt ein Mensch? Wie wird eine Entscheidung protokolliert? Wie wir das bei Kopfwelt handhaben, steht unter wann ein Mensch prüft und entscheidet.

Zum Gegencheck gehört auch, dass das neueste Modell nicht immer die wirtschaftlichste Wahl ist. Bei der Textklassifikation reicht oft ein kleines Modell. In vier Anwendungsfällen schnitten RoBERTa und DeBERTa, auf die Aufgabe trainiert, durchweg besser ab als GPT-4 oder Claude ohne eigenes Training. Voraussetzung war eine moderate Menge an Trainingsbeispielen. Quelle: Bucher und Martini, 2024. Eine Untersuchung von 2026 kommt auf ähnliche oder bessere Ergebnisse bei ein bis zwei Größenordnungen niedrigeren Kosten und Antwortzeiten. Quelle: Cost-Aware Model Selection for Text Classification.

Bei Tabellendaten war ein gezielt angepasstes Gradient-Boosting-Verfahren mit wachsender Zahl an Beispielen konkurrenzfähig und deutlich schneller. Sprachmodelle hatten nur bei acht oder weniger Beispielen einen Vorteil. Quelle: Huertas, 2024. Zum Vergleich gehört außerdem, wer das Modell betreibt und aktualisiert und ob es so dokumentiert ist, dass ein anderes Team oder ein anderer Dienstleister es übernehmen kann. Wenn ein kleines, trainiertes Modell oder eine feste Regel reicht, empfehlen wir das, auch wenn es weniger nach Zukunft klingt.

Was kommt nach ChatGPT? Für mich ist die wichtigere Frage, wie Wahrnehmung, Vorhersage, Entscheidung und Handlung zusammenarbeiten. Ein Sprachmodell nimmt die Anweisung entgegen. Ein spezialisiertes Modell ordnet ein. Ein Weltmodell spielt Folgen durch. Ein Mensch prüft und entscheidet.

Die erste Frage an jedes neue Modell bleibt deshalb: Welchen Schritt in eurem Ablauf übernimmt es, und wer prüft das Ergebnis? Wie sich solche Bausteine zu einem Ganzen fügen, beschreibt der Artikel zur Systementscheidung bei der Softwareintegration.

Stand dieses Artikels ist der 11. November 2026. Versionen, Benchmarks und Verfügbarkeit ändern sich in diesem Feld schnell.