Human in the Loop: Wer prüft Code, den KI-Agenten schreiben?

Was ein Agent allein darf, wo ein Mensch freigibt und wie man das nachvollziehbar macht

Veröffentlicht
Kategorien
Entwicklung

Inhalt

Ein Coding-Agent hat über Nacht drei Pull Requests geöffnet. Die Tests sind grün, die Vorschau sieht gut aus. Am Morgen stellt sich die Frage, die kein Werkzeug beantwortet: Wer entscheidet, ob diese Änderungen live gehen, und wer steht dafür ein, wenn eine davon einen Fehler enthält?

Die kurze Antwort: Ein Agent darf Code schreiben, testen und als Vorschau bereitstellen. Was live geht, entscheidet ein Mensch, und dieser Mensch trägt die Verantwortung. Je größer die möglichen Folgen einer Änderung, desto genauer wird geprüft. Diese Prüfung lässt sich so dokumentieren, dass später nachvollziehbar ist, wer was wann freigegeben hat.

Dieser Artikel zeigt eine Stufenleiter, was ein Agent allein darf, erklärt, was ein KI-Code-Review leisten kann, und ordnet Haftung und Nachvollziehbarkeit für mittelständische Unternehmen ein. Er gibt keine Rechtsberatung; der Stand ist der 22. November 2026. Er gehört zur Serie Agentic Software Factory.

Human in the Loop heißt: Ein Mensch entscheidet an festgelegten Stellen

Human in the Loop bedeutet, dass ein automatisierter Ablauf an bestimmten Stellen anhält, bis ein Mensch geprüft und entschieden hat. Der Mensch begleitet nicht jeden Schritt. Er sitzt an den Stellen, an denen eine Entscheidung Folgen hat, die sich schwer zurücknehmen lassen.

In der Softwareentwicklung ist die wichtigste dieser Stellen das Zusammenführen einer Änderung in den Hauptzweig und die Veröffentlichung. Davor kann ein Agent viel allein tun, weil alles, was er tut, in einem eigenen Branch und einer eigenen Vorschau bleibt. Danach betrifft die Änderung alle, die die Software nutzen.

Das Sicherheitsprojekt OWASP beschreibt das Risiko, das dahinter steht, als Excessive Agency: Ein System mit Sprachmodell richtet Schaden an, weil es zu viele Funktionen, zu weitreichende Rechte oder zu viel Selbstständigkeit hat. Eine der empfohlenen Gegenmaßnahmen ist, dass ein Mensch folgenreiche Aktionen genehmigt, bevor sie ausgeführt werden. Quelle: OWASP, LLM06:2025 Excessive Agency.

Wie viel ein Agent allein darf: eine Stufenleiter nach Folgen

Ob ein Agent etwas allein tun darf, hängt nicht davon ab, wie schwierig es ist. Es hängt davon ab, was passiert, wenn es schiefgeht, und ob jemand es rechtzeitig bemerkt. Daraus ergibt sich eine Stufenleiter. Sie ist ein Vorschlag, den jedes Team an seine Lage anpassen sollte.

Stufe 1: Der Agent arbeitet allein

  • Code lesen, durchsuchen und erklären.

  • In einem eigenen Branch oder Worktree Code ändern.

  • Tests, Linter und Build lokal ausführen.

  • Einen Pull Request mit Beschreibung öffnen und eine Vorschau bauen lassen.

Nichts davon erreicht Nutzerinnen oder Nutzer. Was misslingt, wird verworfen.

Stufe 2: Ein Mensch prüft und führt zusammen

  • Änderungen an Darstellung, Texten und Funktionen, die durch Tests und Vorschau abgedeckt sind.

  • Kleine Fehlerkorrekturen mit einem Test, der den Fehler zeigt.

Hier sieht sich ein Mensch die Vorschau und die Änderung an, bevor er sie zusammenführt. Bei kleinen, gut getesteten Änderungen dauert das wenige Minuten.

Stufe 3: Ein Mensch prüft genau, mit Fachwissen

  • Anmeldung, Rechte und alles, was mit Zugangsdaten zu tun hat.

  • Zahlungen, Abrechnung und personenbezogene Daten.

  • Änderungen an Datenbankstrukturen und Migrationen.

  • Neue Abhängigkeiten und Schnittstellen zu anderen Systemen.

Sonar empfiehlt genau hier, also bei Authentifizierung, Abrechnung und öffentlichen Schnittstellen, die menschliche Prüfung zu konzentrieren. Quelle: Sonar, What is an agentic software factory?, 2. November 2026.

Stufe 4: Der Agent bekommt keinen Zugang

  • Produktive Datenbanken mit echten Kundendaten.

  • Zugangsdaten zu Produktivsystemen, Zahlungsanbietern und Domains.

  • Die Veröffentlichung selbst, wenn sie nicht über einen geprüften Pull Request läuft.

Was ein Agent nicht erreichen kann, kann er auch nicht beschädigen. Vercel lässt die Agenten seiner Software Factory deshalb in eigenen Sandboxen laufen, die nur die Zugänge enthalten, die ihre Aufgabe braucht. Quelle: Vercel, Building a software factory for AI SDK, 12. August 2026.

Warum Prüfung nötig bleibt

Man könnte meinen, gute Tests machten die menschliche Prüfung überflüssig. Drei Beobachtungen sprechen dagegen.

Erstens enthält KI-generierter Code oft Sicherheitslücken. Veracode hat 80 Programmieraufgaben von mehr als 100 Sprachmodellen lösen lassen; in rund 45 Prozent der Fälle enthielt der Code eine Schwachstelle aus den OWASP Top 10. Die Studie stammt von einem Anbieter von Prüfwerkzeugen und folgt dessen eigenem Testdesign. Quelle: Veracode, GenAI Code Security Report, 30. Juli 2025.

Zweitens prüfen Tests, die der Agent selbst schreibt, oft nur, ob sein Code mit seinen Annahmen übereinstimmt. Sonar formuliert es knapp: Bestandene Tests, die der Agent selbst geschrieben hat, reichen nicht.

Drittens entsteht ohne Prüfung eine Verständnisschuld. Wenn niemand die Änderungen liest, versteht irgendwann niemand im Team mehr den Code, für den das Unternehmen geradesteht. Das fällt erst auf, wenn ein Fehler gefunden oder das System übergeben werden muss.

Es gibt auch die Gegenposition. Ein Team bei OpenAI hat Pull Requests überwiegend von Agenten prüfen lassen; Menschen konnten prüfen, mussten aber nicht. Quelle: OpenAI, Harness engineering, 11. Februar 2026. Für ein internes Produkt eines KI-Labors mag das passen. Für ein Unternehmen, das seine Software über Jahre betreibt und dafür haftet, halte ich es für das falsche Vorbild.

KI-Code-Review: was Werkzeuge prüfen und was ein Mensch prüft

KI-Code-Review heißt, dass ein Sprachmodell eine Änderung liest und Anmerkungen macht, so wie es eine Kollegin in einem Pull Request täte. Das ist nützlich, aber es ersetzt den Menschen nicht. Es verteilt die Arbeit anders.

Was Werkzeuge zuverlässig prüfen:

  • Ob die Tests bestehen und der Build gelingt.

  • Ob Stil, Typen und bekannte Fehlermuster stimmen, über Linter und statische Analyse.

  • Ob bekannte Sicherheitslücken in Abhängigkeiten stecken.

  • Ob die Änderung offensichtliche Fehler enthält, über ein KI-Review, das Auffälligkeiten markiert.

Was ein Mensch prüft:

  • Ob die Änderung tut, was gemeint war, und nicht nur, was im Issue stand.

  • Ob das Risiko zur Bedeutung der Änderung passt.

  • Ob er den Code einem anderen Menschen erklären könnte. Simon Willison übernimmt nach eigener Aussage keinen Code, bei dem das nicht der Fall ist. Quelle: Simon Willison, 19. März 2025.

  • Ob die Änderung in der Vorschau so aussieht und sich so verhält, wie sie soll.

Sonar nennt den menschlichen Review den einen teuren Schritt, der nicht mitwächst. Darum lohnt es sich, alles Prüfbare vorher automatisch prüfen zu lassen. Je mehr ein Werkzeug abfängt, desto mehr Aufmerksamkeit bleibt für die Fragen, die nur ein Mensch beantworten kann. Wie man die automatischen Prüfungen aufbaut, beschreibt der Artikel Agent Harness.

Haftung und Nachvollziehbarkeit im Mittelstand

Ein KI-Agent kann keine Verantwortung übernehmen. Wer Software anbietet oder betreibt, bleibt für sie verantwortlich, gleichgültig, ob ein Mensch oder ein Agent sie geschrieben hat. Für Unternehmen, die Software herstellen oder in eigene Produkte einbauen, wird das ab Dezember 2026 deutlicher.

Die neue EU-Produkthaftungsrichtlinie (EU) 2024/2853 bezieht Software ausdrücklich in den Produktbegriff ein, KI-Systeme eingeschlossen. Nach Darstellung der IHK Frankfurt am Main soll das neue deutsche Produkthaftungsgesetz am 9. Dezember 2026 in Kraft treten und für Produkte gelten, die danach in Verkehr gebracht werden. Auch Updates und fehlende Sicherheitsupdates können danach haftungsrelevant sein. Quelle: IHK Frankfurt am Main, Neue Regelungen zur Produkthaftung 2026.

Was das für ein bestimmtes Unternehmen bedeutet, hängt davon ab, was es herstellt, an wen es liefert und was vertraglich vereinbart ist. Das muss eine Anwältin oder ein Anwalt beurteilen.

Unabhängig von der Rechtslage hilft eine Sache immer: nachweisen zu können, wie eine Änderung entstanden ist und wer sie freigegeben hat. Eine Agentic Software Factory liefert dafür vieles von selbst, wenn man es nutzt:

  • Ein Issue, in dem steht, was die Änderung leisten sollte.

  • Die Git-Historie, die jede Zeile einer Änderung und einem Zeitpunkt zuordnet.

  • Ein Pull Request mit Beschreibung, Testergebnissen und Vorschau-URL.

  • Die Freigabe, also wer den Pull Request zusammengeführt hat und wann.

  • Eine Kennzeichnung, welche Änderungen ein Agent erstellt hat, etwa über eine Co-Autoren-Zeile im Commit.

Diese Spur ist auch dann wertvoll, wenn nie ein Haftungsfall eintritt. Sie zeigt einem neuen Teammitglied, warum etwas so gebaut ist, und sie macht eine Übergabe an andere Fachleute möglich.

So halten wir es bei Kopfwelt

Für unsere Arbeit gilt eine einfache Regel: KI arbeitet mit, Menschen prüfen und verantworten. Auf welche Daten ein Agent zugreift, was er ausführen darf und wo ein Mensch prüft oder entscheidet, legen wir für jede Anwendung vorher fest. Wie das im Einzelnen aussieht, beschreibt unser Human-AI-Framework.

An kopfwelt.com selbst lässt sich das nachprüfen. Agenten schreiben die Änderungen und öffnen Pull Requests, jeder mit einer Vorschau auf Vercel. Alle 286 bis zum 22. November 2026 zusammengeführten Pull Requests sind über das Konto des Inhabers gemergt. Das Werkzeug, mit dem unsere Agenten Pull Requests anlegen und prüfen, endet ausdrücklich beim geprüften Pull Request; zusammenführen gehört nicht zu seinen Aufgaben.

Wie ein solcher Ablauf vom Issue bis zur Freigabe aussieht, zeigt der Fallbericht So entsteht kopfwelt.com mit KI-Agenten. Wenn ihr eure eigene Entwicklung so einrichten wollt, findet ihr auf der Seite KI-gestützte Softwareentwicklung, wie wir dabei vorgehen.

Häufige Fragen zu Human in the Loop und KI-Code-Review

Was bedeutet Human in the Loop bei KI-Agenten?

Ein automatisierter Ablauf hält an festgelegten Stellen an, bis ein Mensch geprüft und entschieden hat. In der Softwareentwicklung ist die wichtigste Stelle das Zusammenführen einer Änderung und ihre Veröffentlichung: Der Agent schreibt und testet, ein Mensch gibt frei.

Darf ein KI-Agent Code selbst veröffentlichen?

Technisch ist das möglich, und manche Teams machen es. Für Software, die ein Unternehmen über Jahre betreibt und für die es geradesteht, empfehle ich es nicht. Der Agent darf einen Pull Request mit Vorschau vorbereiten, zusammenführen und veröffentlichen sollte ein Mensch.

Kann ein KI-Code-Review den menschlichen Review ersetzen?

Nein. Ein KI-Review findet Auffälligkeiten und entlastet den Menschen bei Routinefehlern. Ob eine Änderung das Gemeinte tut, ob das Risiko vertretbar ist und ob jemand den Code erklären kann, beurteilt ein Mensch.

Wie sicher ist Code, den KI-Agenten schreiben?

Nicht sicherer als ungeprüfter Code von Menschen, eher im Gegenteil. In einer Studie von Veracode aus dem Jahr 2025 enthielt in rund 45 Prozent der Fälle der erzeugte Code eine Schwachstelle aus den OWASP Top 10. Automatische Sicherheitsprüfungen und ein menschlicher Blick auf kritische Stellen sind deshalb Pflicht.

Wer haftet für Fehler in Code, den eine KI geschrieben hat?

Nicht die KI. Verantwortlich bleiben die Menschen und Unternehmen, die die Software herstellen, anbieten oder betreiben. Wie die Haftung im Einzelfall verteilt ist, hängt von Rolle, Produkt und Verträgen ab und gehört in eine rechtliche Beratung. Dieser Artikel ersetzt sie nicht.

Wie dokumentiert man, wer eine Änderung freigegeben hat?

Über die Werkzeuge, die ohnehin im Spiel sind: Issue, Git-Historie, Pull Request mit Testergebnissen und Vorschau und die Angabe, wer ihn zusammengeführt hat. Wer zusätzlich kennzeichnet, welche Commits ein Agent erstellt hat, kann später jede Änderung ihrer Entstehung zuordnen.

Quellen

  1. OWASP Gen AI Security Project: LLM06:2025 Excessive Agency.

  2. Sonar: What is an agentic software factory?, 2. November 2026.

  3. Lars Grammel, Eric Dodds, Vercel: Building a software factory for AI SDK, 12. August 2026.

  4. Veracode: AI-Generated Code Poses Major Security Risks in Nearly Half of All Development Tasks, 30. Juli 2025.

  5. Ryan Lopopolo, OpenAI: Harness engineering: leveraging Codex in an agent-first world, 11. Februar 2026.

  6. Simon Willison: Not all AI-assisted programming is vibe coding (but vibe coding rocks), 19. März 2025.

  7. IHK Frankfurt am Main: Neue Regelungen zur Produkthaftung 2026, abgerufen am 22. November 2026. Bezieht sich auf die Richtlinie (EU) 2024/2853.