Next-Concept Modeling (NCM)

Track
Modelle
Eingeordnet
Okt 2026

Inhalt

Ein Verfahren, das Text vom Groben zum Feinen erzeugt: erst die Grundzüge, dann die Formulierung, jede Ebene in einem einzigen Rechenschritt.

Next-Concept Modeling (NCM) ist ein Forschungsverfahren zur Texterzeugung, das eine Gruppe um die Stanford-Forschenden Simran Arora, Azalia Mirhoseini und Christopher Ré am 9. Oktober 2026 veröffentlicht hat. Ein Sprachmodell schreibt dabei nicht Wort für Wort von links nach rechts. Es sagt eine Hierarchie von Codes voraus, Ebene für Ebene, und berechnet alle Codes einer Ebene gleichzeitig.

Die Zahl der Rechenschritte hängt damit an der Zahl der Ebenen, nicht an der Länge des Textes. NCM ist kein Produkt und kein Modell, das man heute einsetzt. Die Seite richtet sich an Teams, die einordnen wollen, was hinter dem Begriff steckt und was davon für eigene KI-Projekte zählt.

Wie NCM Text erzeugt

Heutige Sprachmodelle wie GPT oder Claude arbeiten autoregressiv: Sie sagen das nächste Token voraus, hängen es an und rechnen erneut. Ein Text mit 500 Tokens braucht 500 Durchgänge. Das ist das Prinzip der Next-Token Prediction, auf das der Name NCM anspielt.

NCM teilt die Arbeit in zwei Stufen, die nacheinander trainiert werden:

  1. Tokenizer. Ein mehrstufiger, residual quantisierter Autoencoder (multiscale residual VQ-VAE) übersetzt Text in eine Hierarchie diskreter Codes. Jede Ebene hat ihr eigenes Codebuch. Die oberen Ebenen halten grobe Merkmale fest, jede weitere Ebene ergänzt, was der vorherigen noch fehlt.

  2. Generator. Ein Transformer sagt die Ebenen nacheinander voraus. Grundlage ist jeweils, was die bisherigen Ebenen zusammen schon rekonstruieren. Innerhalb einer Ebene entstehen alle Codes in einem Durchgang.

  3. Decoder. Aus der vollständigen Hierarchie setzt der Decoder des Tokenizers den fertigen Text zusammen.

Das „Concept“ im Namen meint die groben Ebenen. Sie legen fest, worum es geht, bevor die genaue Formulierung entsteht. Im Übersetzungsbeispiel der Autoren (Deutsch nach Englisch) sind es elf Ebenen.

React Flow
  • Eingabe → Ebene 1: Grundzüge
  • Ebene 1: Grundzüge → Ebene 2: Struktur
  • Ebene 2: Struktur → Ebene 3 bis 10: Details
  • Ebene 3 bis 10: Details → Ebene 11: Formulierung
  • Ebene 11: Formulierung → Fertiger Text
Ein Durchgang je Ebene, alle Codes einer Ebene gleichzeitig. Elf Ebenen wie im Übersetzungsbeispiel der Autoren bedeuten elf Durchgänge, egal wie lang der Satz ist.

Was die Autoren gemessen haben

Die Autoren vergleichen NCM vor allem mit Diffusions-Sprachmodellen, die ebenfalls viele Stellen parallel berechnen. Laut Paper und Projektblog, Stand Oktober 2026:

  • LM1B: bessere generative Perplexity als das stärkste Diffusionsmodell gleicher Größe, bei 21-facher Geschwindigkeit.

  • OpenWebText: vergleichbare Qualität, 10-mal schneller.

  • XSum (Zusammenfassungen): gleicher ROUGE-L-Wert, bis zu 31-mal schneller.

  • Training: 4,9-mal (LM1B) beziehungsweise 4-mal (OpenWebText) weniger Trainings-Tokens, Tokenizer und Generator zusammengerechnet.

  • Sudoku: bei schweren Rätseln mit 30 Vorgaben 86,1 Prozent gelöst. Die autoregressive Vergleichsbaseline kam auf 1,0 Prozent.

Die Modelle haben 97, 317 und 725 Millionen Parameter. Gemessen wurde auf einer einzelnen NVIDIA H100. Code und Auswertungsskripte stehen unter MIT-Lizenz auf GitHub, die Modelldateien auf Hugging Face. Trainingscode enthält das Repository nicht.

Wo die Ergebnisse aufhören

Kleine Modelle. Alle Ergebnisse stammen von Modellen unter einer Milliarde Parametern. Die Autoren nennen ihre Skalierungsversuche selbst vorläufig. Ob der Vorsprung bei der Größe heutiger Sprachmodelle hält, ist offen.

Andere Vergleichsbasis. Die Geschwindigkeitszahlen beziehen sich auf Diffusionsmodelle, nicht auf große autoregressive Modelle, wie sie in Produkten laufen.

Viele gleichzeitige Anfragen. MindStudio hat NCM Ende Oktober 2026 nachgemessen. Bei einer einzelnen Anfrage war NCM zwei- bis viermal schneller als ein gleich großes autoregressives Modell. Bei 64 gleichzeitigen Anfragen lag das autoregressive Modell vorn, weil dann Rechenleistung der Engpass ist und nicht die Zahl der Durchgänge.

Genauigkeit im Detail. Im selben Test gab NCM gelegentlich Namen und Zahlen falsch wieder. Beim Sudoku kam ein Diffusionsmodell mit angepasster Reihenfolge nah an NCM heran. Beides sind Befunde eines einzelnen Anbieters, nicht der Autoren.

Feste Hierarchie. Jedes Beispiel durchläuft dieselbe Zahl von Ebenen, und Tokenizer und Generator werden getrennt trainiert. Beides nennen die Autoren als Punkte für die nächste Version.

Abgrenzung zu verwandten Verfahren

Next-Token Prediction. Das Verfahren hinter GPT, Claude und Gemini. Ein Wortstück nach dem anderen, ein Durchgang je Wortstück. NCM rechnet einen Durchgang je Ebene.

Diffusions-Sprachmodelle. Sie setzen alle Stellen eines Textes gleichzeitig an und entrauschen sie in vielen Schritten. NCM ist ebenfalls parallel, kommt aber mit einem Schritt je Ebene aus.

Large Concept Models (Meta). Meta hat im Dezember 2024 Modelle vorgestellt, die ganze Sätze als Einbettungen vorhersagen. Der Name klingt ähnlich, das Prinzip ist ein anderes: Dort ist ein „Konzept“ ein Satz, bei NCM eine grobe Ebene über den ganzen Text.

Visual Autoregressive Modeling (VAR). Das Vorbild aus der Bildgenerierung, vorgestellt im April 2024. VAR erzeugt Bilder von niedriger zu hoher Auflösung statt Pixel für Pixel. NCM überträgt diese Idee auf Text.

Was NCM für KI-Projekte heute bedeutet

Für ein Projekt, das jetzt startet, ändert NCM nichts. Es gibt kein Modell, das man per API buchen könnte, und keines in einer Größe, die mit heutigen Sprachmodellen vergleichbar ist.

Interessant ist die Richtung. Wenn sich das Verfahren skalieren lässt, sinkt die Wartezeit auf eine Antwort, und zwar dort, wo sie heute am meisten stört: bei einzelnen, langen Ausgaben wie Übersetzungen oder Zusammenfassungen. Für Systeme mit vielen gleichzeitigen Anfragen spricht der Nachtest bisher dagegen.

Wer KI-Funktionen baut, sollte deshalb nicht auf ein bestimmtes Generierungsverfahren setzen. Eine Anwendung, die das Modell hinter einer klaren Schnittstelle austauschbar hält, kann ein schnelleres Verfahren übernehmen, sobald es eines gibt.

Häufige Fragen

Was ist Next-Concept Modeling?

Next-Concept Modeling (NCM) ist ein Forschungsverfahren zur Texterzeugung von Stanford-Forschenden, veröffentlicht im Oktober 2026. Ein Modell erzeugt Text als Hierarchie von Codes vom Groben zum Feinen und berechnet alle Codes einer Ebene gleichzeitig, statt Wort für Wort zu schreiben.

Worin unterscheidet sich NCM von einem Large Language Model?

Ein klassisches Large Language Model braucht einen Rechenschritt pro Token, ein Text mit 500 Tokens also 500 Schritte. NCM braucht einen Schritt pro Ebene, im Übersetzungsbeispiel der Autoren elf, unabhängig von der Textlänge.

Ist NCM schneller als ChatGPT oder Claude?

Das ist nicht gemessen. Die Autoren vergleichen NCM mit Diffusions-Sprachmodellen. Ein Nachtest von MindStudio fand bei einzelnen Anfragen einen zwei- bis vierfachen Vorsprung gegenüber einem gleich großen autoregressiven Modell, bei 64 gleichzeitigen Anfragen einen Rückstand. Die getesteten Modelle sind viel kleiner als die hinter ChatGPT oder Claude.

Ist NCM dasselbe wie Metas Large Concept Models?

Nein. Metas Large Concept Models sagen ganze Sätze als Einbettungen voraus, Satz für Satz. NCM erzeugt den ganzen Text Ebene für Ebene, von groben Merkmalen zu Details.

Kann man NCM schon nutzen?

Nur zu Forschungszwecken. Auswertungscode und Modelldateien sind unter MIT-Lizenz veröffentlicht, Trainingscode fehlt. Ein Modell für den Produktiveinsatz oder eine API gibt es nicht.

Quellen

KI-Projekt einordnen lassen