State Space Models (Mamba)

Track
Modelle
Eingeordnet
Okt 2021
Praxis
ab Dez 2023

Inhalt

Eine Bauweise für Sprachmodelle, die lange Texte in einem Zustand fester Größe verdichtet, statt auf alle bisherigen Wörter zurückzublicken.

State Space Models (SSM) sind eine Netzwerkarchitektur, die eine Folge von Eingaben Wort für Wort in einen Zustand fester Größe verdichtet. Der Rechenaufwand wächst dadurch linear mit der Länge des Textes. Mamba, 2023 von Albert Gu und Tri Dao vorgestellt, ergänzt eine Auswahl: Was in den Zustand kommt, hängt von der jeweiligen Eingabe ab.

Ein State Space Model ist damit kein Ersatz für ein Sprachmodell, sondern eine andere Bauweise für eines. Die Seite richtet sich an Teams, die Modelle für lange Dokumente auswählen und wissen wollen, was „Mamba“ oder „Hybrid“ in einem Datenblatt für Kosten und Ergebnis bedeutet.

Ein Zustand, der mitläuft, statt eines Blicks zurück

Heutige Sprachmodelle wie GPT oder Claude bauen auf dem Transformer auf. Sein Kernstück ist Attention: Für jedes neue Wort vergleicht das Modell, welche der bisherigen Wörter dafür wichtig sind. Dafür hält es alle bisherigen Wörter im Speicher. Verdoppelt sich die Länge der Eingabe, wächst dieser Speicher mit, und die Zahl der Vergleiche wächst quadratisch.

Ein State Space Model geht anders vor. Es liest die Eingabe der Reihe nach und führt einen Zustand mit, eine Art laufende Notiz. Jedes neue Wort verändert diese Notiz, ihre Größe bleibt gleich. Für das nächste Wort braucht das Modell nur die Notiz und das Wort selbst, nicht den ganzen bisherigen Text. Der Aufwand wächst linear mit der Länge.

Frühere Modelle dieser Art behandelten jedes Wort nach denselben festen Regeln. Gu und Dao sehen darin den Grund, warum sie bei Sprache hinter Attention zurückblieben: Ihnen fehle die Fähigkeit, nach Inhalt zu entscheiden. Mamba macht die Parameter des Zustands deshalb von der Eingabe abhängig. Das Modell kann ein Füllwort fast ignorieren und einen Namen fest in den Zustand schreiben. Das ist mit „selektiv“ gemeint.

React Flow
  • Neues Wort → Auswahl durch die Eingabe
  • Zustand fester Größe → Auswahl durch die Eingabe
  • Auswahl durch die Eingabe → Aktualisierter Zustand
  • Aktualisierter Zustand → Ausgabe für dieses Wort
  • Aktualisierter Zustand → Zustand fester Größe
Ein State Space Model trägt nur seinen Zustand fester Größe von Wort zu Wort weiter, und bei Mamba entscheidet jedes Wort selbst mit, was davon erhalten bleibt.

Drei Schritte von S4 zu Mamba-2

Die Architektur ist in wenigen Arbeiten entstanden. Die meisten stammen aus derselben Forschungsgruppe:

  1. S4 (Oktober 2021). Albert Gu, Karan Goel und Christopher Ré zeigen, dass sich strukturierte Zustandsraummodelle effizient genug berechnen lassen, um sehr lange Folgen zu verarbeiten. S4 löst die Testaufgabe Path-X mit 16.000 Schritten. Laut den Autoren waren alle früheren Ansätze daran gescheitert.

  2. Mamba (Dezember 2023). Gu und Dao machen den Zustand selektiv und entwickeln dafür einen Rechenweg, der auf die Grafikkarte zugeschnitten ist. Mamba kommt ohne Attention aus. Die Autoren berichten fünfmal höheren Durchsatz als Transformer. Ihr Modell mit 3 Milliarden Parametern soll Transformer gleicher Größe übertreffen.

  3. Mamba-2 (Mai 2024). Dao und Gu beschreiben eine mathematische Verwandtschaft zwischen Zustandsraummodellen und Attention, die sie State Space Duality nennen. Daraus entsteht Mamba-2, laut den Autoren zwei- bis achtmal schneller als Mamba.

Für die Auswahl eines Modells zählen drei Bestandteile. Der Zustand verdichtet das bisher Gelesene. Die Selektion bestimmt, was hineinkommt. Bei Hybridmodellen greifen die verbliebenen Attention-Schichten gezielt auf frühere Stellen zurück.

Ein langes Vertragswerk auf eigener Hardware

Ein konstruiertes Beispiel: Ein Unternehmen will Rahmenverträge, Anlagen und Schriftwechsel zu einem Lieferanten mit einem Sprachmodell durchsuchen lassen. Aus Datenschutzgründen soll das Modell auf eigener Hardware laufen. Zusammen kommen mehrere hunderttausend Tokens zusammen.

Bei einem reinen Transformer wird hier der Speicher zum Engpass. Das Modell muss für jedes gelesene Token Zwischenwerte vorhalten, den sogenannten KV-Cache. Das Jamba-Paper von AI21 rechnet das für 256.000 Tokens Kontext vor: Llama-2 braucht dafür 128 GB, Mixtral 32 GB, Jamba 4 GB. Jamba ist ein Hybrid mit einer Attention-Schicht auf sieben Mamba-Schichten, und das Modell passt laut den Autoren auf eine einzelne Grafikkarte mit 80 GB.

Damit ist die Rechnung aber nicht fertig. Fragt das Team „Fasse die Haftungsregeln zusammen“, spielt ein State Space Model seine Stärke aus: Es muss den Inhalt verdichten, nicht wörtlich wiedergeben. Fragt es „Wie lautet Paragraph 14.3 im Wortlaut?“, muss das Modell eine exakte Stelle wiederfinden. Genau das gelingt einem fest großen Zustand schlechter als Attention (siehe nächster Abschnitt).

Für die Auswahl folgt daraus eine Testfrage, die sich vor jedem Projekt stellen lässt: Welcher Anteil der Aufgaben verlangt Zusammenfassen und Einordnen, welcher exaktes Zitieren aus einer langen Quelle? Beide Arten von Fragen gehören in den Test, bevor eine Architektur gewählt wird.

Wann sich die Architektur bemerkbar macht

Bei kurzen Eingaben wie einer Mail spielt die Architektur kaum eine Rolle. Der Unterschied zwischen linearem und quadratischem Wachstum ist dort klein.

Spürbar wird er bei langen Eingaben, bei vielen gleichzeitigen Anfragen und bei begrenztem Speicher. IBM gibt für seine Granite-4.0-H-Modelle, Hybride mit neun Mamba-2-Schichten auf eine Transformer-Schicht, über 70 Prozent weniger Arbeitsspeicher an als bei herkömmlichen Transformern, gemessen bei langen Eingaben und mehreren gleichzeitigen Anfragen. Das ist eine Herstellerangabe. NVIDIA berichtet für seine Nemotron-H-Modelle bis zu dreimal schnellere Antworten als vergleichbare offene Transformer wie Llama-3.1 und Qwen-2.5.

Interessant ist das vor allem für Teams, die Modelle selbst betreiben. Wer ein Modell über eine API bucht, sieht die Architektur meist nur indirekt, über Preis und Antwortzeit.

Wo ein fester Zustand an Grenzen stößt

Exaktes Kopieren und Abrufen. Samy Jelassi und Kollegen haben 2024 gezeigt: Beim wörtlichen Kopieren und beim Abrufen aus dem Kontext schneiden Transformer deutlich besser ab als Zustandsraummodelle. Ihre Begründung ist grundsätzlich: Ein Zustand fester Größe kann nicht beliebig viel wörtlich festhalten. Ein Transformer hat dagegen alle Wörter noch vor sich.

Lernen aus Beispielen im Prompt. Eine Studie von NVIDIA mit Gu und Dao als Mitautoren kommt 2024 zum selben Befund. Reine Mamba-Modelle liegen bei vielen Aufgaben gleichauf mit Transformern. Sie fallen zurück, wenn Kopieren oder Lernen aus Beispielen im Prompt gefragt ist, etwa beim Test MMLU mit fünf Beispielen.

Herstellerzahlen. Die Angaben zu Speicher und Geschwindigkeit stammen fast alle von den Entwicklern selbst. Bei der NVIDIA-Studie ist der Faktor acht für die Erzeugung ausdrücklich eine Vorhersage, keine Messung.

Werkzeuge. Ob ein bestimmtes Hybridmodell in der eigenen Betriebsumgebung so gut läuft wie ein Transformer, muss im Einzelfall geprüft werden.

Woher die Hybride kommen und wovon sie sich unterscheiden

Transformer. Die vorherrschende Architektur heutiger Sprachmodelle. Attention vergleicht jedes Wort mit allen bisherigen, mit Aufwand, der quadratisch mit der Länge wächst. State Space Models verdichten stattdessen in einen Zustand.

Rekurrente Netze. Auch sie lesen Wort für Wort und führen einen Zustand mit. Im Mamba-Paper zählen sie zu den Vorläufern, die bei Sprache hinter Attention zurückblieben.

Hybridmodelle. Die Antwort auf die Grenzen beider Seiten: wenige Attention-Schichten für das exakte Abrufen, viele Mamba-Schichten für den günstigen Durchlauf. Die NVIDIA-Studie von 2024 kam mit 7 Prozent Attention-Schichten aus. Ihr Hybrid mit 8 Milliarden Parametern übertraf den gleich großen Transformer in allen zwölf Standardaufgaben. Jamba (März 2024), Nemotron-H (April 2025) und Granite 4.0 (Oktober 2025) folgen diesem Muster.

Eine Alternative zum Transformer, nicht zum Sprachmodell

In Übersichten zu „KI nach den LLMs“ steht Mamba oft neben Weltmodellen und Robotik-Modellen, als wäre es ein Gegenentwurf zu Sprachmodellen. Das stimmt nicht. Mamba ersetzt einen Baustein im Inneren, Attention. Was herauskommt, ist wieder ein Sprachmodell: Es bekommt Text, sagt das nächste Wort voraus und wird per Prompt gesteuert.

Ein Blick auf die Modelle, die heute tatsächlich angeboten werden, bestätigt das. Jamba, Nemotron-H und Granite 4.0-H sind Sprachmodelle für dieselben Aufgaben wie andere auch. Und keines davon ist ein reines Mamba-Modell. Alle drei behalten Attention-Schichten, wenn auch wenige: eine auf sieben bei Jamba, eine auf neun bei Granite.

Für die Auswahl heißt das: Die Frage lautet nicht „Mamba oder LLM?“, sondern „Welches Sprachmodell erfüllt unsere Aufgabe bei vertretbarem Speicher und Preis?“. Die Architektur ist ein Grund, warum ein Modell bei langen Dokumenten günstiger sein kann. Sie ist kein eigener Anwendungsfall. Ein Prompt, der mit einem Transformer funktioniert, funktioniert mit einem Hybrid im Prinzip genauso. Ob die Ergebnisse gleich gut sind, zeigt nur ein Test mit den eigenen Dokumenten.

Wo State Space Models zwischen Sprachmodellen, Robotik und spezialisierten Entscheidungsmodellen stehen, ordnet der Artikel KI kann mehr als Sprache ein.

Häufige Fragen

Was ist Mamba?

Mamba ist eine Netzwerkarchitektur für Sprachmodelle, die Albert Gu und Tri Dao im Dezember 2023 veröffentlicht haben. Sie verarbeitet Text über einen Zustand fester Größe und entscheidet je nach Eingabe, was darin erhalten bleibt. Ihr Aufwand wächst linear mit der Länge des Textes.

Ist Mamba eine Alternative zu ChatGPT?

Nein. Mamba ist eine Alternative zur Transformer-Architektur, auf der Modelle wie GPT aufbauen. Ein Modell mit Mamba-Schichten ist selbst ein Sprachmodell. Es wird genauso per Prompt genutzt.

Warum enthalten die meisten Mamba-Modelle noch Attention?

Ein Zustand fester Größe kann nicht beliebig viel wörtlich festhalten. Studien zeigen, dass reine Zustandsraummodelle beim exakten Kopieren und Abrufen aus dem Kontext hinter Transformern liegen. Wenige Attention-Schichten gleichen das aus. Der Großteil des Modells bleibt günstig.

Welche Modelle nutzen State Space Models?

Beispiele sind Jamba von AI21 (2024), Nemotron-H von NVIDIA (2025) und Granite 4.0-H von IBM (2025). Alle drei sind Hybride aus Mamba- und Attention-Schichten.

Lohnt sich ein Mamba-Hybrid für kurze Texte?

Bei kurzen Eingaben ist der Unterschied zum Transformer gering. Der Vorteil zeigt sich bei langen Dokumenten, vielen gleichzeitigen Anfragen und knappem Speicher auf eigener Hardware.

Quellen

Stand: 11. November 2026.

KI-Modell einordnen lassen