JEPA (Joint Embedding Predictive Architecture)

Track
Modelle
Eingeordnet
Jun 2022
Praxis
ab Jun 2025

Inhalt

Ein Lernprinzip, das verdeckte Teile eines Bildes nicht nachzeichnet, sondern ihre Merkmale vorhersagt.

JEPA (Joint Embedding Predictive Architecture) ist ein Lernprinzip für selbstüberwachtes Training, das Yann LeCun am 27. Juni 2022 in einem Positionspapier vorgeschlagen hat. Zwei Encoder übersetzen einen sichtbaren und einen verdeckten Teil der Daten in abstrakte Merkmale. Ein Predictor sagt aus den Merkmalen des sichtbaren Teils die Merkmale des verdeckten voraus. Pixel werden dabei nicht erzeugt.

JEPA ist weder ein Sprachmodell noch ein fertiges Produkt. Es beschreibt, wie ein Modell lernt, nicht was es ausgibt. Die Seite richtet sich an Teams, die Begriffe wie Weltmodell oder V-JEPA einordnen wollen und wissen möchten, was davon heute über die Forschung hinausreicht.

Vorhersagen im Merkmalsraum statt im Bild

Ein Modell, das Bilder oder Videos verstehen soll, kann man auf zwei Arten trainieren. Die eine: Teile verdecken und das Modell die fehlenden Pixel rekonstruieren lassen. Die andere ist JEPA.

Bei JEPA laufen zwei Eingaben durch zwei Encoder. Der Kontext x ist der sichtbare Teil, das Ziel y der verdeckte oder zukünftige. Beide werden in Merkmale übersetzt, LeCun nennt sie Repräsentationen. Der Predictor sagt aus den Merkmalen von x die Merkmale von y voraus. Der Fehler dieser Vorhersage ist das Trainingssignal. LeCun nennt ihn Energie: je kleiner, desto besser passen Kontext und Ziel zusammen.

Der Vorteil steht im Papier selbst. Weil die Vorhersage im Merkmalsraum stattfindet, muss das Modell nicht jedes Detail von y vorhersagen. Der Encoder darf Unwichtiges weglassen. LeCuns Beispiel ist ein Auto vor einer Weggabelung: Position, Richtung und Geschwindigkeit zählen, die Bäume am Straßenrand und die Struktur des Gehwegs nicht.

Ob das Auto links oder rechts abbiegt, lässt sich aus dem Bild davor nicht ablesen. Für solche Unsicherheit sieht JEPA eine latente Variable z vor. Je nach Wert von z liefert der Predictor eine andere plausible Vorhersage.

React Flow
  • Verdeckter Teil y → Ziel-Encoder
  • Ziel-Encoder → Merkmale von y
  • Sichtbarer Teil x → Kontext-Encoder
  • Kontext-Encoder → Predictor mit Variable z
  • Merkmale von y → Abstand im Merkmalsraum
  • Predictor mit Variable z → Abstand im Merkmalsraum
JEPA vergleicht die vorhergesagten Merkmale mit den tatsächlichen Merkmalen des verdeckten Teils, nie mit dessen Pixeln.

Encoder, Predictor und ein Schutz gegen Kollaps

Eine JEPA hat drei Bausteine und ein Problem, das gelöst werden muss.

  • Kontext-Encoder: übersetzt den sichtbaren Teil in Merkmale. In I-JEPA ist das ein Vision Transformer, der nur die sichtbaren Bildausschnitte verarbeitet.

  • Ziel-Encoder: übersetzt den verdeckten Teil. Laut LeCun müssen die beiden Encoder weder gleich gebaut sein noch Parameter teilen. So könnten x und y sogar verschiedene Datenarten sein, etwa Video und Ton.

  • Predictor: sagt die Merkmale des Ziels voraus, wahlweise mit Hilfe der latenten Variable z.

Das Problem heißt Kollaps. Wenn beide Encoder lernen, jede Eingabe auf denselben Wert abzubilden, ist der Vorhersagefehler immer null und das Modell hat nichts gelernt. LeCun unterscheidet zwei Gegenmittel: kontrastive Verfahren, die falsche Paare gezielt abwerten, und regularisierte Verfahren, die den Informationsgehalt der Merkmale hochhalten. Er hält die regularisierten für aussichtsreicher, weil kontrastive in hohen Dimensionen sehr viele Gegenbeispiele brauchen. In I-JEPA wird der Ziel-Encoder laut Meta als gleitender Mittelwert des Kontext-Encoders nachgeführt, statt eigenständig trainiert zu werden.

V-JEPA 2-AC: ein Roboterarm plant im Merkmalsraum

Das bisher konkreteste Beispiel stammt von Meta selbst und ist ein Forschungsergebnis, kein Praxiseinsatz. Es zeigt, was der Satz „ein Weltmodell spielt Folgen durch“ technisch bedeutet.

Ausgangslage: V-JEPA 2, veröffentlicht am 11. Juni 2025, wurde laut Paper mit über einer Million Stunden Internetvideo vortrainiert, ohne Handlungsdaten. Das Modell sagt vorher, wie sich eine Szene entwickelt. Was eine bestimmte Bewegung bewirkt, weiß es nicht.

Nachtraining: Für die Variante V-JEPA 2-AC (action-conditioned) haben die Autoren einen Predictor mit weniger als 62 Stunden unbeschrifteter Robotervideos aus dem Droid-Datensatz nachtrainiert. Er sagt die Merkmale des nächsten Videobilds voraus, gegeben eine Bewegung des Greifarms.

Planung: Das Ziel ist ein Foto des gewünschten Endzustands. Das Modell probiert viele mögliche Bewegungsfolgen im Merkmalsraum durch und bewertet jede danach, wie nah die vorhergesagten Merkmale an den Merkmalen des Zielbilds liegen. Ausgeführt wird nur die erste Bewegung. Danach plant das Modell neu.

Ergebnis: Auf Franka-Roboterarmen in zwei Laboren gelang das Greifen und Absetzen einer Tasse in 80 Prozent der Versuche, bei einer Schachtel im Mittel in 65 Prozent. Aus diesen Laboren stammten keine Trainingsdaten, eine Belohnung für die Aufgabe gab es nicht. Ein Vergleichsmodell, das Videos Pixel für Pixel erzeugt (Cosmos), brauchte vier Minuten pro Bewegung, V-JEPA 2-AC 16 Sekunden.

Wann JEPA für ein Vorhaben eine Rolle spielt

Für ein Projekt, das heute startet, ist JEPA kein Baustein, den man auswählt wie ein Sprachmodell. Es gibt keinen JEPA-Dienst, den man für eine Fachaufgabe bucht.

Relevant wird der Ansatz in drei Fällen. Erstens, wenn ein Anbieter ein Weltmodell für Robotik oder Videoanalyse anbietet und mit JEPA wirbt: Dann lohnt die Frage, ob nur der Encoder oder auch Planung mit Handlungsdaten gemeint ist. Zweitens bei Videoaufgaben mit wenig beschrifteten Beispielen, denn V-JEPA hat seine Merkmale ohne Beschriftung gelernt und wurde mit eingefrorenem Encoder getestet. Drittens bei der Frage, ob ein System die Folgen einer Handlung abschätzen soll, bevor es sie ausführt.

Wo Daten in Tabellen oder als Text vorliegen, reicht ein anderes Verfahren fast immer.

Wo die Ergebnisse aufhören

Gute Vorhersage ist kein Physikverständnis. Meta hat mit V-JEPA 2 drei Tests zum physikalischen Schlussfolgern veröffentlicht: IntPhys 2, MVPBench und CausalVQA. Menschen erreichen dort 85 bis 95 Prozent. Laut Meta liegen die besten Modelle deutlich darunter, V-JEPA 2 eingeschlossen. Bei IntPhys 2 erreichen sie etwa Zufallsniveau.

Die Kamera bestimmt mit. Die Autoren berichten, dass V-JEPA 2-AC empfindlich auf die Kameraposition reagiert. Ist die Basis des Roboters nicht im Bild, wird das Koordinatensystem der Bewegungen unklar. Sie haben die Position von Hand ausprobiert.

Lange Pläne werden unzuverlässig. Jede Vorhersage baut auf der vorigen auf, Fehler summieren sich. Die Zahl möglicher Bewegungsfolgen wächst mit dem Planungshorizont exponentiell.

Ziele als Bild. Ein Zielfoto ist unhandlicher als eine Anweisung in Sprache. Die Verbindung mit Sprachmodellen nennen die Autoren als künftige Arbeit.

Laborbedingungen. Getestet wurden einfache Greifaufgaben in zwei Laboren. Über Einsätze in Produktion oder Logistik sagen die Zahlen nichts.

Wovon sich JEPA unterscheidet

Masked Autoencoder (MAE). Das 2021 vorgestellte Verfahren verdeckt einen großen Teil der Bildausschnitte, im Paper 75 Prozent, und rekonstruiert die fehlenden Pixel. JEPA verdeckt ebenfalls, sagt aber Merkmale voraus. Laut Meta halten sich pixelbasierte Verfahren oft mit unwichtigen Details auf.

Kontrastives und invarianzbasiertes Lernen. Diese Verfahren erzeugen mehrere veränderte Fassungen eines Bildes, etwa zugeschnitten oder umgefärbt, und bringen ihre Merkmale zur Deckung. I-JEPA kommt ohne solche von Hand festgelegten Veränderungen aus, V-JEPA ohne Negativbeispiele und ohne Rekonstruktion.

Sprachmodelle. Ein LLM erzeugt Text, Token für Token. Eine JEPA erzeugt gar nichts Sichtbares, sie lernt Merkmale. Beides schließt sich nicht aus. Für Fragen zu Videos wurde V-JEPA 2 mit einem Sprachmodell verbunden.

Herkunft. Die Linie reicht vom Positionspapier (Juni 2022) über I-JEPA für Bilder (Januar 2023) und V-JEPA für Video (Februar 2024) zu V-JEPA 2 mit Planung (Juni 2025).

Was man nicht sieht, muss man anders prüfen

LeCun schreibt es selbst: Mit JEPA verliert man die Fähigkeit, Ausgaben zu erzeugen. Das ist der Preis für Merkmale ohne unwichtige Details, und er betrifft jeden, der so ein Modell prüfen muss.

Ein Modell, das Videobilder erzeugt, kann man ansehen. Wenn die vorhergesagte Szene falsch aussieht, fällt das auf. Eine JEPA liefert Zahlenvektoren. Ob ihre Vorhersage stimmt, sieht man nur an dem, was danach passiert: an der Trefferquote eines nachgeschalteten Klassifikators oder daran, ob der Greifarm die Tasse absetzt. Genau so werten auch die Autoren aus, mit eingefrorenem Encoder und kleinen aufgesetzten Modellen oder mit Erfolgsquoten am Roboter.

Für Unternehmen mit Video- oder Sensordaten heißt das: Die Prüfung muss von Anfang an an der Aufgabe hängen, nicht am Modell. Vor einem Test steht fest, welche Erfolgsquote erreicht werden muss und wer bei Abweichungen entscheidet. Der Vorteil des Ansatzes zeigt sich im V-JEPA-2-Paper an anderer Stelle: 16 Sekunden statt vier Minuten pro geplanter Bewegung. Wer Folgen schnell durchspielen will, muss sie nicht als Bild sehen können. Wer sie kontrollieren will, braucht dafür einen eigenen Messpunkt.

Wo JEPA zwischen Sprachmodellen, Robotik und spezialisierten Entscheidungsmodellen stehen, ordnet der Artikel KI kann mehr als Sprache ein.

Häufige Fragen

Was ist JEPA?

JEPA (Joint Embedding Predictive Architecture) ist ein Lernprinzip für selbstüberwachtes Training, das Yann LeCun 2022 vorgeschlagen hat. Ein Modell sagt die abstrakten Merkmale verdeckter oder zukünftiger Teile von Bildern oder Videos voraus, statt deren Pixel zu rekonstruieren.

Ist JEPA ein Sprachmodell?

Nein. JEPA beschreibt, wie ein Modell Repräsentationen lernt, und erzeugt keinen Text. Die bisher veröffentlichten Modelle I-JEPA, V-JEPA und V-JEPA 2 arbeiten mit Bildern und Videos. Für Fragen zu Videos wurde V-JEPA 2 zusätzlich mit einem Sprachmodell verbunden.

Was ist der Unterschied zwischen V-JEPA und V-JEPA 2?

V-JEPA (Februar 2024) lernt Merkmale aus rund zwei Millionen Videos. V-JEPA 2 (Juni 2025) wurde mit über einer Million Stunden Video vortrainiert. Die Variante V-JEPA 2-AC ist zusätzlich mit Robotervideos nachtrainiert und kann Greifbewegungen planen.

Versteht V-JEPA 2 Physik?

Das ist nicht belegt. In drei von Meta veröffentlichten Tests zum physikalischen Schlussfolgern liegen die besten Modelle deutlich unter Menschen, die 85 bis 95 Prozent erreichen. Das gilt auch für V-JEPA 2. Gute Vorhersage von Merkmalen ist kein Verständnis von Ursache und Wirkung.

Kann man JEPA-Modelle schon einsetzen?

Für Forschung und eigene Experimente ja, als fertigen Dienst für eine Fachaufgabe nein. Die Robotik-Ergebnisse stammen aus einfachen Greifaufgaben in zwei Laboren.

Quellen

Stand: 11. November 2026. Benchmarks und Modellversionen ändern sich in diesem Feld schnell.

KI-Projekt einordnen lassen