RAG im Unternehmen: Aufbau, Datenschutz, wann es sich lohnt

Wie ein KI-Assistent in euren eigenen Dokumenten sucht und was dafür stimmen muss

Veröffentlicht
Kategorien
KI

Inhalt

RAG (Retrieval-Augmented Generation) heißt: Bevor die KI antwortet, sucht sie die passenden Stellen in euren eigenen Dokumenten und antwortet nur auf dieser Grundlage, mit Quellenangabe. Damit das funktioniert, muss euer Wissen auffindbar sein: aktuelle Dokumente, klare Zuständigkeit für jeden Bereich und ein Termin, an dem Veraltetes gelöscht wird. Die Rechte aus euren Systemen müssen bis in die Suche greifen, sonst liest der Assistent vor, was jemand nicht sehen darf.

Die Frage kommt jede Woche: Wie war das noch mit der Reisekostenregel? Welche Version des Wartungsvertrags gilt für diesen Kunden? Die Antwort steht irgendwo, in einem Wiki, einem Laufwerk, einer Mail von vor zwei Jahren. Wer sie findet, ist meistens dieselbe Person.

Ein RAG-System soll genau diese Suche übernehmen. Dieser Artikel beschreibt, wie es aufgebaut ist, was die deutschen Datenschutzbehörden dazu sagen und woran sich zeigt, ob sich der Aufwand lohnt.

So funktioniert RAG: erst suchen, dann antworten

Ein Sprachmodell weiß nur, was in seinen Trainingsdaten stand. Eure internen Richtlinien, Verträge und Handbücher gehören nicht dazu. RAG löst das, ohne das Modell neu zu trainieren: Zu jeder Frage werden passende Textstellen gesucht und dem Modell mitgegeben. Das Modell formuliert die Antwort, das Wissen kommt aus den Dokumenten.

Der Ansatz geht auf eine Forschungsarbeit von Patrick Lewis und Kollegen aus dem Jahr 2020 zurück. Quelle: Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

Die Datenschutzkonferenz (DSK) beschreibt ein typisches RAG-System in vier Bausteinen: Retriever, Embedding-Modell, Vektordatenbank und Sprachmodell. Der Ablauf:

  1. Die Dokumente werden vorab in kurze Abschnitte zerlegt, sogenannte Chunks.

  2. Ein Embedding-Modell übersetzt jeden Abschnitt in einen Zahlenvektor, der seine Bedeutung abbildet.

  3. Die Vektoren landen mit den Abschnitten in einer Vektordatenbank.

  4. Bei einer Frage wird auch die Frage in einen Vektor übersetzt. Der Retriever sucht die Abschnitte mit der größten inhaltlichen Nähe.

  5. Frage und gefundene Abschnitte gehen gemeinsam an das Sprachmodell, das daraus die Antwort formuliert.

Quelle: DSK, Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode, Version 1.0, Oktober 2025.

Embedding

Eine Darstellung von Text als Folge von Zahlen. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen. Dadurch findet die Suche auch Abschnitte, die andere Wörter verwenden als die Frage.

Aufbau: was ein RAG-System im Unternehmen braucht

Die Technik für die vier Bausteine ist verfügbar. Der Aufwand steckt in den Schritten davor und danach.

  • Quellen auswählen und anbinden. Welche Laufwerke, Wikis und Systeme gehören hinein, welche ausdrücklich nicht? Je klarer die Auswahl, desto besser die Antworten.

  • Dokumente aufbereiten. Die DSK empfiehlt, Kopf- und Fußzeilen und Seitenzahlen vor dem Zerlegen zu entfernen und Abschnitte so zu schneiden, dass sie möglichst abgeschlossene Sinneinheiten enthalten. Personenbezogene Daten, die für den Zweck nicht nötig sind, werden entfernt oder anonymisiert.

  • Ein passendes Embedding-Modell wählen. Für deutschsprachige Dokumente sollte es mit deutschen Texten trainiert sein, sonst findet die Suche weniger passende Stellen. Auch das steht in der Orientierungshilfe der DSK.

  • Rechte übernehmen. Wer eine Akte im Laufwerk nicht öffnen darf, darf sie auch nicht über den Assistenten lesen. Die Rechte müssen in der Suche greifen, nicht erst in der Antwort.

  • Mit Quellen antworten. Jede Antwort zeigt, aus welchen Dokumenten sie stammt. Das macht sie prüfbar, und es zeigt, wenn eine Quelle veraltet ist.

  • Testen, bevor es losgeht. Eine Liste echter Fragen aus dem Alltag, jeweils mit der richtigen Antwort, zeigt, ob das System taugt. Dieselbe Liste wird nach jeder größeren Änderung erneut geprüft.

Nicht jedes RAG-System braucht eine Vektordatenbank. Die DSK weist selbst darauf hin, dass es auch Umsetzungen über API-Abfragen oder klassische Datenbanken gibt. Für Fragen nach Zahlen aus einem ERP-System ist eine gezielte Abfrage meist verlässlicher als eine Textsuche.

Ohne gepflegtes Wissen hilft die beste Suche nicht

Ein RAG-System ist so gut wie die Dokumente, aus denen es schöpft. Die DSK formuliert es nüchtern: Die Zuverlässigkeit hängt stark von Qualität, Aktualität und Vollständigkeit der Referenzdokumente ab, und die verantwortliche Stelle muss das regelmäßig prüfen.

Liegen drei Versionen der Reisekostenregel im Laufwerk, findet die Suche alle drei. Die KI kann nicht wissen, welche gilt. In der Praxis ist deshalb die Pflege der Dokumente der größere Teil der Arbeit:

  • Für jeden Wissensbereich gibt es eine zuständige Person.

  • Veraltete Fassungen werden gelöscht oder eindeutig als ungültig markiert.

  • Neue Dokumente kommen über einen festen Weg in den Bestand, nicht per Zufall.

  • In festen Abständen wird geprüft, was gelöscht werden kann.

Das ist kein Nebeneffekt, sondern oft der eigentliche Gewinn. Wer ein RAG-System einführt, räumt dabei sein Wissen auf.

Datenschutz: was die DSK zu RAG sagt

Im Oktober 2025 hat die Datenschutzkonferenz eine eigene Orientierungshilfe zu RAG-Systemen veröffentlicht. Sie betrachtet ein System, das vollständig beim Verantwortlichen betrieben wird, und geht die Grundsätze der DSGVO einzeln durch. Die wichtigsten Punkte in Kurzform:

  • Richtigkeit: RAG kann Halluzinationen verringern, weil die Antwort auf konkreten Dokumenten beruht. Ausschließen lässt sich eine falsche Ausgabe nicht. Ein Vorteil: Fehlerhafte oder veraltete Daten in den Dokumenten lassen sich löschen oder berichtigen.

  • Transparenz: Werden die Quellen einer Antwort angezeigt, wird nachvollziehbar, was das Modell als Grundlage bekam. Wie das Modell selbst zu seiner Antwort kommt, bleibt intransparent.

  • Vertraulichkeit: In der Datenbank lassen sich bewährte Maßnahmen wie Rollen- und Rechtekonzepte und Mandantentrennung umsetzen. Im Sprachmodell selbst lässt sich nicht steuern, wer welche Information sehen darf.

  • Zweckbindung: Wer den Assistenten für verschiedene Zwecke nutzt, braucht verschiedene Rollen. Die DSK warnt außerdem, dass sich Daten aus den Dokumenten mit Daten im Modell verknüpfen können, ohne dass man es der Antwort ansieht.

  • Löschung: Einträge in Dokumenten und Vektordatenbank sind gezielt löschbar. Für Daten, die im Sprachmodell selbst stecken, bleibt das Problem bestehen.

  • Rechtmäßigkeit: Ein rechtswidrig trainiertes Modell bleibt rechtswidrig trainiert, auch wenn es in einem RAG-System arbeitet.

Zwei praktische Folgen nennt die DSK ebenfalls. Weil das Wissen aus den Dokumenten kommt, kann ein kleineres Modell genügen, das sich unter Umständen im eigenen Haus betreiben lässt. Und eine angebundene Websuche erfüllt die Anforderungen an Rechtmäßigkeit und Richtigkeit der Quellen in der Regel nicht.

Die Orientierungshilfe ersetzt keine Prüfung des Einzelfalls. Welche Fragen bei Verträgen, Auftragsverarbeitung und Datentransfer dazukommen, beschreibt der Leitfaden KI im Unternehmen DSGVO-konform nutzen. Für die konkrete Bewertung gehört euer Datenschutzbeauftragter an den Tisch.

Grenzen: was RAG nicht kann

RAG findet, was inhaltlich nah an der Frage liegt. Das ist seine Stärke und seine Grenze. Die DSK beschreibt das so: Zusammenhänge, die sich über lange Textpassagen erstrecken, liegen womöglich nicht nah beieinander und landen nur unvollständig in der Anfrage.

Ein Beispiel für solche Fragen: Welche Kunden sind von der neuen Lieferbedingung betroffen? Die Antwort steht in keinem einzelnen Dokument. Sie ergibt sich aus Verträgen, Kundenliste und Rundschreiben zusammen.

Für solche Fragen gibt es Erweiterungen. GraphRAG, 2024 von Microsoft Research vorgestellt, baut aus den Dokumenten zuerst einen Graphen aus Begriffen und Beziehungen und fasst zusammengehörige Gruppen vorab zusammen. Das hilft bei Fragen, die den ganzen Bestand betreffen, etwa nach den Hauptthemen. Quelle: Edge et al., From Local to Global: A Graph RAG Approach to Query-Focused Summarization. Der Aufbau ist aufwendiger und lohnt sich erst, wenn einfaches RAG an genau diesen Fragen scheitert.

Zwei weitere Grenzen gehören in jede Planung:

  • Widersprüchliche Dokumente: Das Modell neigt laut DSK je nach Aufbau dazu, bei Widersprüchen auf sein Trainingswissen zurückzufallen. Eine klare Anweisung, nur mit den gefundenen Quellen zu antworten, hilft, ersetzt aber keine Pflege.

  • Manipulierte Inhalte: Wer Dokumente in den Bestand einschleusen kann, kann die Antworten beeinflussen. Die DSK nennt solche Angriffe auf die Daten im RAG-System ausdrücklich. Deshalb gehört nur in den Bestand, was aus bekannten Quellen kommt.

GraphRAG

Eine Erweiterung von RAG, die aus den Dokumenten einen Wissensgraphen aus Begriffen und ihren Beziehungen erzeugt. Sie beantwortet Fragen, die über viele Dokumente hinweg zusammenhängen, besser als die reine Ähnlichkeitssuche.

Wann sich RAG lohnt und wann nicht

RAG lohnt sich, wenn diese Bedingungen zusammenkommen:

  • Es gibt viele Dokumente, und dieselben Fragen kommen immer wieder.

  • Die Antworten stehen tatsächlich in Dokumenten, nicht nur in Köpfen.

  • Jemand ist bereit, den Bestand zu pflegen.

  • Antworten müssen belegbar sein, etwa im Kundendienst, im Vertrieb oder bei internen Richtlinien.

Weniger geeignet ist RAG in diesen Fällen:

  • Wenige Dokumente: Passt das gesamte Material in die Eingabe des Modells, ist eine Suche davor überflüssig.

  • Zahlen und Datensätze: Fragen nach Umsätzen, Beständen oder Terminen beantwortet eine Datenbankabfrage oder ein Dashboard verlässlicher.

  • Seltene Fragen: Wenn eine Frage zweimal im Jahr gestellt wird, ist ein gut sortiertes Wiki günstiger.

Und Fine-Tuning? Die DSK zitiert das Fraunhofer IESE mit der Einschätzung, Fine-Tuning solle nicht dafür eingesetzt werden, einem Modell Wissen anzutrainieren. Es kann helfen, einen Antwortstil zu prägen. Für aktuelles, änderbares Wissen ist RAG der passendere Weg.

Mit einem Wissensbereich anfangen

Ein guter Anfang ist ein einzelner, abgegrenzter Bereich: die internen Richtlinien, die Produktdokumentation oder die Antworten des Kundendienstes. Dann in dieser Reihenfolge:

  1. Echte Fragen sammeln, die heute Zeit kosten, mit den richtigen Antworten.

  2. Den Bestand für diesen Bereich aufräumen und eine zuständige Person benennen.

  3. Rechte und Zweck festlegen und mit dem Datenschutz abstimmen.

  4. Einen Prototyp bauen und mit der Fragenliste prüfen.

  5. Erst wenn die Antworten tragen, weitere Bereiche anbinden.

Wie ein KI-Assistent für eure eigenen Unterlagen aussehen kann, beschreiben wir auf der Seite KI-Wissensassistent. Wenn ein Assistent nicht nur lesen, sondern auch in Systemen arbeiten soll, hilft der Artikel MCP-Server erklärt weiter.

Häufige Fragen

Was ist RAG einfach erklärt?

RAG steht für Retrieval-Augmented Generation. Bevor die KI antwortet, sucht sie passende Textstellen in euren eigenen Dokumenten und formuliert die Antwort auf dieser Grundlage, mit Angabe der Quellen. Das Modell muss dafür nicht neu trainiert werden.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

RAG gibt dem Modell bei jeder Frage passende Dokumente mit, das Modell selbst bleibt unverändert. Fine-Tuning trainiert das Modell nach. Für aktuelles Wissen, das sich ändert, ist RAG geeigneter, weil sich Dokumente löschen und aktualisieren lassen.

Ist RAG DSGVO-konform?

Das hängt vom konkreten Einsatz ab. Die Datenschutzkonferenz sieht in RAG Vorteile, etwa für Richtigkeit, Rechtekonzepte und gezielte Löschung, nennt aber auch neue Risiken, etwa für die Zweckbindung. Ihre Orientierungshilfe vom Oktober 2025 ist ein guter Ausgangspunkt für die Prüfung im Einzelfall.

Kann ein RAG-System trotzdem falsche Antworten geben?

Ja. RAG verringert Halluzinationen, schließt sie aber nicht aus. Deshalb sollte jede Antwort ihre Quellen zeigen, damit sie sich prüfen lässt.

Kann man ein RAG-System im eigenen Haus betreiben?

Oft ja. Weil das Wissen aus den Dokumenten kommt, genügt laut Datenschutzkonferenz in vielen Fällen ein kleineres Modell, das sich unter Umständen auf eigenen Servern betreiben lässt. Dann müssen keine Daten an Anbieter großer Sprachmodelle gehen.