Weltmodell (World Model)

Track
Modelle
Eingeordnet
Mär 2018

Inhalt

Ein Weltmodell spielt durch, was eine Handlung verändert, bevor ein System sie ausführt.

Ein Weltmodell (World Model) ist ein gelerntes inneres Modell einer Umgebung, mit dem ein KI-System vorhersagt, was eine Handlung verändert, bevor es sie ausführt. Das System lernt dazu aus Beobachtungen, wie sich Zustände entwickeln. Mit diesem Modell kann es Handlungsfolgen gedanklich durchspielen, bewerten und die beste auswählen, ohne jede Variante in der echten Umgebung auszuprobieren.

Die Seite richtet sich an Teams, die einordnen wollen, was Hersteller meinen, wenn sie ein Produkt „Weltmodell“ nennen. Ein Weltmodell ist kein Sprachmodell mit mehr Wissen über die Welt. Es ist ein Vorhersagemodell für Zustände und ihre Veränderung durch Handlungen.

Üben im Modell statt in der echten Umgebung

Ein Agent, der durch Handeln lernt, braucht viele Versuche. Im Videospiel ist das billig, bei einem Roboterarm teuer. Ein Weltmodell lernt aus aufgezeichneten Erfahrungen, wie die Umgebung auf Handlungen reagiert. Danach macht der Agent einen Teil seiner Versuche im Modell.

Der Ablauf wiederholt sich in einer Schleife:

  1. Der Agent handelt in der echten Umgebung und sammelt Beobachtungen.

  2. Das Weltmodell lernt daraus, welcher Zustand und welche Belohnung auf eine Handlung folgen.

  3. Im Modell spielt der Agent viele mögliche Handlungsfolgen durch. Fachleute nennen das einen Rollout.

  4. Aus diesen vorgestellten Verläufen verbessert der Agent sein Verhalten und handelt wieder real.

David Ha und Jürgen Schmidhuber haben das im März 2018 unter dem Titel „World Models“ gezeigt. Ihr Agent für das Spiel VizDoom wurde vollständig im „Traum“ des Modells trainiert und danach in das echte Spiel übertragen. Quelle: World Models, arXiv 1803.10122.

Wichtig ist der Rückweg. Erst neue Daten aus der echten Umgebung korrigieren das Modell.

React Flow
  • Echte Umgebung → Beobachtungen sammeln
  • Beobachtungen sammeln → Weltmodell lernen
  • Weltmodell lernen → Handlungen im Modell durchspielen
  • Handlungen im Modell durchspielen → Verhalten verbessern
  • Verhalten verbessern → Echte Umgebung
Ein Weltmodell spart Versuche in der echten Umgebung, braucht aber den Rückweg dorthin, damit es nicht an der Wirklichkeit vorbeilernt.

Woraus ein Weltmodell besteht

Ha und Schmidhuber teilen die Arbeit in drei Teile, V, M und C. DreamerV3 ergänzt einen vierten.

  • Wahrnehmung (Encoder): Verdichtet ein Kamerabild oder einen Messwert zu einer kompakten Darstellung, bei Ha und Schmidhuber mit einem Variational Autoencoder.

  • Vorhersage (Dynamikmodell): Sagt aus der aktuellen Darstellung und einer Handlung den nächsten Zustand voraus. Bei DreamerV3 kommen Vorhersagen für Belohnung und für das Ende einer Episode dazu.

  • Steuerung (Controller oder Actor): Wählt die Handlung. Bei Ha und Schmidhuber ist dieser Teil absichtlich klein.

  • Bewertung (Critic): Schätzt bei DreamerV3, wie gut ein Zustand auf lange Sicht ist.

Entscheidend ist, wo die Vorhersage stattfindet. Manche Modelle sagen ganze Bilder voraus. Andere, etwa Ansätze nach dem Prinzip JEPA, sagen nur abstrakte Merkmale voraus und sparen sich die Details, die für die Aufgabe nicht zählen.

DreamerV3: ein Verfahren für über 150 Aufgaben

Ein gut dokumentiertes Beispiel für Lernen im Weltmodell ist DreamerV3 von Danijar Hafner, Jurgis Pasukonis, Jimmy Ba und Timothy Lillicrap. Die erste Fassung erschien im Januar 2023 auf arXiv, die Fachfassung im April 2025 in Nature. Quelle: Mastering Diverse Domains through World Models, arXiv 2301.04104.

Ansatz: DreamerV3 lernt ein Weltmodell aus Erfahrungen. Actor und Critic trainieren nur auf vorgestellten Verläufen von 16 Schritten Länge.

Ergebnis: Mit einer einzigen, festen Konfiguration schlägt das Verfahren laut den Autoren spezialisierte Methoden in über 150 Aufgaben. In Minecraft sammelte es als erstes Verfahren Diamanten, ohne menschliche Vorführdaten und ohne vorgegebenen Lehrplan. Der erste Diamant kam nach rund 30 Millionen Umgebungsschritten. Trainiert wurde je Agent auf einer einzelnen Nvidia-A100-Grafikkarte.

Für Roboter zeigt V-JEPA 2 von Meta einen anderen Weg. Das Modell lernte zuerst ohne Handlungen aus über einer Million Stunden Internetvideo. Danach kam ein Zusatztraining auf weniger als 62 Stunden Robotervideo. Damit plante es Greifaufgaben auf ein Zielbild hin. Getestet wurde in zwei Laboren, aus denen keine Trainingsdaten stammten. Quelle: V-JEPA 2, arXiv 2506.09985.

Wann ein Weltmodell den Aufwand rechtfertigt

Ein Weltmodell lohnt sich, wenn ein System handeln soll und echte Versuche teuer, langsam oder riskant sind, etwa bei Robotern. Drei Fragen helfen:

  • Gibt es Handlungen mit Folgen? Wer nur einordnet oder vorhersagt, ohne einzugreifen, braucht kein Weltmodell. Ein Zeitreihenmodell oder ein Klassifikator reicht.

  • Sind Daten über Handlung und Wirkung vorhanden? Ohne solche Aufzeichnungen fehlt die Grundlage.

  • Gibt es schon einen Simulator? Wo ein physikalischer Simulator die Umgebung gut abbildet, muss sie niemand neu lernen.

Für die meisten Unternehmen ist ein Weltmodell heute Forschung und kein Baustein, den man einkauft.

Wo Weltmodelle an der Wirklichkeit scheitern

Der Agent nutzt Fehler des Modells aus. Ha und Schmidhuber beschreiben, dass ihr Agent im Traum eine Strategie fand, bei der die Gegner nie schießen. Das Modell hatte diese Lücke, das echte Spiel nicht. Bei zu wenig Zufall im Modell erreichte ein Agent im Traum 2.086 Punkte, im echten Spiel 193. Quelle: worldmodels.github.io.

Fehler summieren sich in langen Rollouts. Jeder vorhergesagte Schritt baut auf dem vorigen auf. Eine kleine Abweichung wird mitgeschleppt und kann sich mit jedem Schritt verstärken. Deshalb arbeiten viele Verfahren mit kurzen Verläufen: DreamerV3 mit 16 Schritten, das Verfahren MBPO mit kurzen Rollouts, die von echten Daten abzweigen. Quelle: When to Trust Your Model, arXiv 1906.08253.

Von der Simulation in die echte Welt. Was in einer simulierten oder gelernten Umgebung funktioniert, muss auf echter Hardware nicht funktionieren. Fachleute nennen diese Lücke sim-to-real.

Gute Vorhersage ist kein Verständnis. Ein Modell, das Bilder oder Merkmale treffend vorhersagt, hat damit noch nicht Ursache und Wirkung verstanden. Es hat gelernt, was in seinen Daten häufig aufeinander folgt.

Woher der Begriff kommt

Die Idee ist älter als das Paper von 2018. Im Februar 1990 veröffentlichte Jürgen Schmidhuber den Bericht „Making the World Differentiable“. Darin sagt ein Netz die Folgen der Handlungen eines zweiten Netzes voraus. Der Controller plant damit mehrere Schritte voraus. Quelle: Schmidhuber, Rückblick auf FKI-126-90. Im selben Jahr stellte Richard Sutton die Dyna-Architekturen vor, die Lernen durch Versuch und Irrtum mit Planen auf einem gelernten Modell der Welt verbinden. Quelle: Sutton, NeurIPS 1990.

Das Feld heißt modellbasiertes Reinforcement Learning. Ha und Schmidhuber haben 2018 den Namen „World Models“ geprägt und gezeigt, dass ein neuronales Weltmodell aus Bildern lernt und ein Agent vollständig darin trainiert werden kann. Deshalb steht diese Seite im Zeitstrahl bei März 2018.

  • Sprachmodell: sagt das nächste Wortstück voraus, nicht den nächsten Zustand einer Umgebung nach einer Handlung.

  • Simulator: ist von Menschen nach physikalischen Regeln programmiert. Ein Weltmodell ist aus Daten gelernt.

  • [JEPA](/wissen/jepa): ein Lernprinzip, das in einem abstrakten Merkmalsraum vorhersagt. Es kann Baustein eines Weltmodells sein.

Ein Begriff für sehr verschiedene Dinge

Unter dem Namen „Weltmodell“ laufen inzwischen Systeme, die wenig gemeinsam haben. Drei Beispiele mit Primärquelle:

  • DreamerV3 ist ein inneres Modell, in dem ein Agent übt und plant. Es erzeugt nichts, was ein Mensch ansehen soll.

  • Genie 3 von Google DeepMind, vorgestellt am 5. August 2025, erzeugt aus einer Textbeschreibung eine begehbare Umgebung mit 24 Bildern pro Sekunde in 720p. Sie bleibt einige Minuten lang stimmig. DeepMind beschreibt Weltmodelle als Systeme, die „simulate aspects of it“, also Teile der Welt simulieren. Zugang gibt es nur als begrenzte Forschungsvorschau. Quelle: Genie 3.

  • Cosmos von NVIDIA, vorgestellt im Januar 2025, ist eine Plattform aus vortrainierten Videomodellen, die Entwickler zu eigenen Weltmodellen für Roboter und andere Maschinen weitertrainieren. Die Gewichte sind offen. Quelle: Cosmos, arXiv 2501.03575.

Das erste ist ein Planungswerkzeug, das zweite eine interaktive Videoerzeugung, das dritte ein Ausgangspunkt für Trainingsdaten und eigene Modelle. Alle drei sagen vorher, was als Nächstes passiert. Was danach mit der Vorhersage geschieht, unterscheidet sich grundlegend.

Bei Herstellerangaben helfen deshalb vier Fragen. Reagiert das Modell auf Handlungen, oder erzeugt es nur einen plausiblen Verlauf? Plant ein Agent damit, oder schaut ein Mensch zu? Wurde gegen die echte Umgebung gemessen oder nur nach Augenschein bewertet? Und wie lange bleibt die Vorhersage stimmig? Bei Genie 3 sind es Minuten, für eine Steuerung im Dauerbetrieb reicht das nicht.

Wo Weltmodelle zwischen Sprachmodellen, Robotik und spezialisierten Entscheidungsmodellen stehen, ordnet der Artikel KI kann mehr als Sprache ein.

Häufige Fragen

Was ist ein Weltmodell in der KI?

Ein Weltmodell ist ein gelerntes inneres Modell einer Umgebung. Ein KI-System sagt damit vorher, was eine Handlung verändert, bevor es sie ausführt.

Ist ein Sprachmodell ein Weltmodell?

Nicht im Sinn dieses Begriffs. Ein Sprachmodell sagt das nächste Wortstück voraus, ein Weltmodell den nächsten Zustand nach einer Handlung.

Wer hat den Begriff World Models geprägt?

David Ha und Jürgen Schmidhuber mit dem Paper „World Models“, eingereicht am 27. März 2018. Die Idee selbst reicht bis 1990 zurück, zu Schmidhuber und zu Suttons Dyna-Architekturen.

Ist ein Videogenerator wie Genie 3 ein Weltmodell?

Google DeepMind nennt Genie 3 so, weil es auf Eingaben reagiert und vorhersagt, wie eine Umgebung weiterläuft. Anders als bei DreamerV3 plant darin aber kein Agent von sich aus. Es erzeugt eine Umgebung, in der Menschen oder Agenten handeln können.

Kann ein Unternehmen heute ein Weltmodell einsetzen?

Als fertiges Produkt kaum. Offene Bausteine wie NVIDIA Cosmos oder V-JEPA 2 richten sich an Forschungs- und Robotikteams.

Quellen

Stand: 11. November 2026.

KI-Projekt einordnen lassen