Vision-Language-Action-Modell (VLA)

Track
Modelle
Eingeordnet
Jul 2023

Inhalt

Ein Modell, das sieht, eine Anweisung versteht und daraus Roboterbewegungen erzeugt.

Ein Vision-Language-Action-Modell (VLA) ist ein KI-Modell für Roboter, das Kamerabilder und eine Anweisung in Alltagssprache aufnimmt und daraus Steuerbefehle für Arme, Greifer oder Gelenke erzeugt. Grundlage ist ein vortrainiertes Vision-Language-Modell, das zusätzlich auf Robotikdaten trainiert wird. Den Begriff prägte Google DeepMind im Juli 2023 mit dem Modell RT-2.

Die Seite richtet sich an Teams, die Robotik-Ankündigungen einordnen wollen, ohne selbst Roboter zu bauen. Ein VLA ist kein fertiges Produkt und kein Sprachmodell mit Roboterarm. Es ist eine Modellfamilie, an der Forschungslabore und Hersteller seit 2023 arbeiten.

Vom Satz zur Gelenkbewegung

Ein Vision-Language-Modell (VLM) ist ein Sprachmodell, das auch Bilder verarbeitet. Es hat aus großen Mengen Bild- und Textdaten aus dem Netz gelernt, was eine Tasse ist und was „auf den Tisch stellen“ bedeutet. Ein VLA nutzt dieses Wissen und hängt eine Ausgabe an, die ein Roboter ausführen kann.

Für diese Ausgabe gibt es zwei Wege, und an ihnen lässt sich die Entwicklung seit 2023 ablesen.

  1. Aktionen als Tokens. RT-2 schreibt jede Bewegung als kurze Zahlenfolge. Position und Drehung des Greifers werden dafür in 256 Stufen eingeteilt und wie Text ausgegeben. Das Modell bleibt ein Sprachmodell, nur sein Vokabular enthält jetzt Bewegungen.

  2. Ein eigener Aktionsteil. Neuere Modelle geben die Bewegung an einen zusätzlichen Baustein ab, den Aktionsexperten. Er erzeugt fließende Bewegungsabläufe mit Verfahren aus der Bildgenerierung, etwa Flow Matching oder Diffusion. Physical Intelligence hat das mit π0 im Oktober 2024 vorgestellt: ein VLM mit 3 Milliarden Parametern, dazu ein Aktionsexperte mit 300 Millionen.

Der zweite Weg löst ein Zeitproblem. RT-2 lief laut Paper in der Cloud. Das größte Modell erreichte dort 1 bis 3 Steuerbefehle pro Sekunde. π0 steuert laut den Autoren mit bis zu 50 Hz und berechnet dafür jeweils 50 Schritte im Voraus. Figure trennt die Ebenen bei Helix vollständig: Ein VLM versteht Szene und Anweisung mit 7 bis 9 Hz, ein kleines Steuermodell setzt das mit 200 Hz in Bewegung um.

React Flow
  • Kamerabild → VLM, langsam
  • Anweisung in Sprache → VLM, langsam
  • VLM, langsam → Aktionsexperte, schnell
  • Gelenkstellung und Sensoren → Aktionsexperte, schnell
  • Aktionsexperte, schnell → Motorbefehle
  • Motorbefehle → Gelenkstellung und Sensoren
Das Sprachmodell entscheidet langsam, was zu tun ist, ein kleinerer Aktionsteil regelt schnell, wie es ausgeführt wird, und bekommt dafür laufend den Zustand des Roboters zurück.

Die Bausteine eines VLA

Fast alle veröffentlichten VLA-Systeme setzen sich aus denselben Teilen zusammen. Sie unterscheiden sich darin, wie groß die Teile sind und wie eng sie gekoppelt werden.

  • Bild-Encoder. Übersetzt Kamerabilder in Merkmale. OpenVLA kombiniert dafür zwei Encoder, SigLIP und DINOv2.

  • Sprachmodell als Rückgrat. Bei OpenVLA ist es Llama 2 mit 7 Milliarden Parametern, bei π0 PaliGemma, bei Gemini Robotics das Modell Gemini 2.0.

  • Aktionsausgabe. Entweder als Tokens im Sprachmodell (RT-2, OpenVLA) oder als eigener Aktionsexperte (π0, GR00T N1, Helix).

  • Robotikdaten. Aufgezeichnete Bewegungen, meist per Fernsteuerung durch Menschen. OpenVLA lernte aus 970.000 Demonstrationen des Open-X-Embodiment-Datensatzes. π0 nutzte über 10.000 Stunden Roboterdaten von sieben Robotertypen.

  • Zustand des Roboters. Gelenkwinkel und Greiferstellung fließen als zusätzliche Eingabe in die Steuerung ein.

Fünf Stationen seit 2023

Die folgenden Modelle zeigen, wie sich das Konzept verschoben hat. Alle Zahlen stammen aus den Papers oder von den Herstellerseiten und sind Angaben der Entwickler, keine unabhängigen Messungen.

RT-2 (Google DeepMind, Juli 2023). Das Paper führt den Begriff ein. Basis sind die VLMs PaLI-X mit 5 und 55 Milliarden Parametern sowie PaLM-E mit 12 Milliarden. Bewegungen werden als Text-Tokens ausgegeben. Die Autoren berichten von rund 6.000 Testläufen. Das Modell kam danach besser mit neuen Gegenständen und Anweisungen zurecht.

OpenVLA (Kim, Pertsch, Karamcheti u. a., Juni 2024). Ein offenes Modell mit 7 Milliarden Parametern, Gewichte und Code öffentlich. Laut Paper übertrifft es das geschlossene RT-2-X mit 55 Milliarden Parametern um 16,5 Prozentpunkte Erfolgsquote über 29 Aufgaben. Es lässt sich mit LoRA auf handelsüblichen Grafikkarten nachtrainieren.

π0 (Physical Intelligence, Oktober 2024). Die Autoren beschreiben die Kombination aus vortrainiertem VLM und Flow Matching als neue Architektur. Die Autoren zeigen Wäsche falten, Tisch abräumen und Kartons zusammenbauen, auf ein- und zweiarmigen Robotern sowie auf mobilen Plattformen.

Helix (Figure, Februar 2025). Laut Hersteller ein VLM mit 7 Milliarden Parametern als System 2 und ein Steuermodell mit 80 Millionen als System 1. Es steuert den ganzen Oberkörper eines Humanoiden mit 35 Freiheitsgraden und wurde mit rund 500 Stunden ferngesteuerter Daten trainiert. Der Beitrag verlinkt kein Paper und keinen technischen Bericht.

GR00T N1 (NVIDIA, März 2025) und Gemini Robotics (Google DeepMind, März 2025). GR00T N1 übernimmt die Zweiteilung, mit einem Diffusion Transformer als schnellem Teil, und mischt echte Roboterdaten, Videos von Menschen und synthetisch erzeugte Daten. Gemini Robotics baut auf Gemini 2.0 auf. Die Autoren berichten, dass sich neue kurze Aufgaben mit 100 Demonstrationen nachtrainieren lassen. Auf der Modellseite nennt Google DeepMind inzwischen Gemini Robotics 2.5, eine Version für den Betrieb direkt auf dem Roboter und ein Modell für räumliches Planen.

Wann ein VLA die richtige Wahl ist

Ein VLA lohnt sich, wo Aufgaben wechseln und sich nicht vorab programmieren lassen. Ein Industrieroboter, der seit Jahren dieselbe Schweißnaht setzt, braucht kein Sprachverständnis. Feste Programmierung ist dort genauer und leichter abzunehmen.

Interessant wird es, wenn Gegenstände, Positionen oder Anweisungen variieren: Kommissionieren unbekannter Teile, Sortieren in wechselnden Umgebungen, Handhabung im Haushalt oder in der Pflege. Hier spielt das Vorwissen aus dem Sprachmodell seine Stärke aus.

Für Unternehmen außerhalb der Robotik ist der Begriff vor allem zum Einordnen nützlich. Wer eine Ankündigung liest, kann fragen: Welches VLM steckt darin, wie wird die Bewegung erzeugt, mit welcher Frequenz, und auf wie vielen Stunden welcher Daten wurde trainiert?

Wo VLA heute an Grenzen stößt

Teure Daten. Sprachmodelle lernen aus Texten, die es im Netz schon gibt. Roboterbewegungen muss jemand aufzeichnen, meist ein Mensch, der den Roboter fernsteuert. Über 10.000 Stunden für π0 sind für Robotik viel und im Vergleich zu Textdaten wenig.

Simulation und echte Welt. Synthetische Daten wie bei GR00T N1 sind günstiger. Was in der Simulation gelingt, scheitert aber oft an echter Reibung, Beleuchtung und Materialien. Diese Lücke heißt sim-to-real und ist nicht geschlossen.

Demo ist nicht Alltag. Veröffentlichte Videos zeigen ausgewählte Durchläufe. Erfolgsquoten werden auf Aufgaben gemessen, die die Entwickler selbst festlegen. Über Dauerbetrieb, Fehlerraten pro Stunde oder Wartungsaufwand sagen sie wenig.

Sicherheit. Ein Sprachmodell, das falsch antwortet, erzeugt einen falschen Satz. Ein VLA, das falsch handelt, bewegt einen Arm im Raum. Google DeepMind widmet dem Thema im Gemini-Robotics-Bericht einen eigenen Teil. Wie lernende Robotersteuerungen abgenommen werden, ist noch offen.

Woher der Begriff kommt

Den Begriff „vision-language-action model“ führt das RT-2-Paper von Brohan und 53 weiteren Autoren ein, eingereicht am 28. Juli 2023. Die Autoren schreiben dort ausdrücklich, dass sie diese Modellkategorie so nennen.

Vision-Language-Modell. Versteht Bild und Text und antwortet mit Text. Ein VLA ist ein VLM, das zusätzlich Bewegungen ausgibt.

Diffusion Policy. Erzeugt Roboterbewegungen per Diffusion, aber ohne Sprachmodell als Rückgrat. Der Aktionsexperte in π0 oder GR00T N1 übernimmt diese Idee.

[Weltmodell](/wissen/weltmodell). Sagt voraus, wie sich eine Umgebung durch eine Handlung verändert. Ein VLA handelt direkt, ohne die Folgen vorher durchzuspielen. Beide Ansätze lassen sich kombinieren.

Was „jenseits der LLMs“ bei VLA wirklich heißt

Legt man die fünf Stationen nebeneinander, fällt eines auf: In jedem dieser Modelle steckt ein Sprachmodell. RT-2 nutzt PaLI-X, OpenVLA Llama 2, π0 PaliGemma, Gemini Robotics Gemini 2.0, und Helix wie GR00T N1 ein vortrainiertes VLM. Der Begriff „KI jenseits der LLMs“ beschreibt hier also keinen Ersatz.

Was sich verschiebt, ist die Rolle des Sprachmodells. Bei RT-2 erzeugte es die Bewegung selbst, Token für Token, mit 1 bis 3 Befehlen pro Sekunde aus der Cloud. Bei π0 übergibt es an einen Aktionsexperten. Bei Helix und GR00T N1 arbeitet es als langsamer Planer neben einem eigenen schnellen Steuermodell. In zwei Jahren ist die Bewegung aus dem Sprachmodell herausgewandert.

Ein Sprachmodell versteht Absichten gut, liefert aber keine präzise Ausgabe in hoher Frequenz. Die Ausführung übernimmt deshalb ein spezialisierter Baustein.

Für das Lesen von Robotik-Demos ergibt sich daraus eine einfache Prüffrage: Mit welcher Frequenz läuft die Steuerung, und wo läuft sie? Ein Modell, das 1 bis 3 Befehle pro Sekunde aus einem Rechenzentrum schickt, eignet sich für andere Aufgaben als eines, das 200 Befehle pro Sekunde auf dem Roboter rechnet. Dazu kommt eine zweite Frage: Wer hat die Zahl gemessen?

Wo VLA-Modelle zwischen Sprachmodellen, Robotik und spezialisierten Entscheidungsmodellen stehen, ordnet der Artikel KI kann mehr als Sprache ein.

Häufige Fragen

Was ist ein Vision-Language-Action-Modell?

Ein Vision-Language-Action-Modell (VLA) ist ein KI-Modell für Roboter, das Kamerabilder und eine sprachliche Anweisung aufnimmt und daraus Steuerbefehle erzeugt. Es baut auf einem vortrainierten Vision-Language-Modell auf und wird zusätzlich mit aufgezeichneten Roboterbewegungen trainiert.

Wer hat den Begriff VLA geprägt?

Google DeepMind im Paper zu RT-2, eingereicht am 28. Juli 2023. Die Autoren nennen die Kategorie dort ausdrücklich „vision-language-action models (VLA)“.

Ist ein VLA ein Sprachmodell?

Es enthält eines. Das Sprachmodell liefert das Verständnis von Bild und Anweisung. Neuere VLA-Systeme erzeugen die eigentliche Bewegung aber in einem eigenen, schnelleren Baustein.

Gibt es offene VLA-Modelle?

Ja. OpenVLA von 2024 ist mit Gewichten und Code veröffentlicht. NVIDIA beschreibt GR00T N1 als offenes Grundmodell für humanoide Roboter.

Kann man VLA heute im Betrieb einsetzen?

Für die meisten Unternehmen nicht als fertiges Produkt. Die veröffentlichten Ergebnisse stammen aus Laboren und Vorführungen der Entwickler. Unabhängige Zahlen zum Dauerbetrieb fehlen bisher.

Quellen

KI-Projekt einordnen lassen