KI-Assistentmit euren Daten.Antworten aus eurenUnterlagen, mit Quelle.

Interner KI-Assistent und RAG für Unternehmen und Institutionen

Ein interner KI-Assistent beantwortet Fragen eures Teams aus euren eigenen Unterlagen: Handbücher, Verträge, Protokolle, Produktdaten, frühere Angebote. Zu jeder Antwort nennt er die Stelle, aus der sie stammt. So lässt sich prüfen, ob sie stimmt.

Die Technik dahinter heißt RAG (Retrieval-Augmented Generation). Bevor die KI antwortet, sucht sie die passenden Abschnitte in euren Dokumenten und antwortet auf dieser Grundlage. Das lohnt sich, wenn viele Menschen immer wieder dasselbe suchen und die Antworten in gepflegten Unterlagen stehen.

Wir nennen das Angebot AI Knowledge Layer: eine Wissensschicht über euren vorhandenen Systemen. Sie übernimmt eure Zugriffsrechte und ist so dokumentiert, dass euer Team oder andere Fachleute sie übernehmen können.

Was ein Wissensassistent beantwortet. Und was nicht.

Fragen, deren Antwort irgendwo steht

Wie läuft eine Reklamation ab? Welche Kündigungsfrist steht im Rahmenvertrag? Was haben wir dem Kunden im letzten Angebot zugesagt? Solche Fragen kosten heute Suchzeit oder eine Rückfrage bei der Kollegin, die es weiß.

Mit Quelle statt aus dem Gedächtnis

Ein Sprachmodell allein antwortet aus seinem Training und erfindet dabei manchmal etwas. Ein RAG-System antwortet aus euren Dokumenten und zeigt die Fundstelle. Ganz ausschließen lässt sich eine falsche Antwort auch so nicht. Darum zeigt der Assistent, worauf er sich stützt.

Er bereitet vor, er entscheidet nicht

Was nach außen geht, an Kunden, Behörden oder Bewerberinnen, prüft vorher ein Mensch. Wo diese Grenze liegt, legen wir mit euch fest. Mehr dazu: Human in the Loop: unsere Prinzipien für KI.

Ein Wissensassistent lohnt sich, wenn …

  • viele Menschen dieselben Fragen stellen, im Team oder im Kundenservice,

  • die Antworten in Dokumenten stehen und nicht nur in Köpfen,

  • jemand für jeden Wissensbereich zuständig ist und Veraltetes aussortiert,

  • sich messen lässt, was er spart: Suchzeit, Rückfragen, Einarbeitung.

Lasst es bleiben, wenn …

  • eure Unterlagen veraltet, widersprüchlich oder verstreut sind. Dann kommt zuerst das Aufräumen,

  • eine gute Suche im vorhandenen System dasselbe leistet,

  • ein fertiges Produkt mit euren Systemen schon gut funktioniert,

  • Antworten ungeprüft an Kunden gehen sollen und ein Fehler teuer wäre.

Rechte, Löschung, Prüfung: was ein Unternehmens-RAG können muss

Die Datenschutzkonferenz hat im Oktober 2025 eine Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode veröffentlicht. Daraus und aus unserer Arbeit ergeben sich vier Anforderungen, die wir vor dem Bau mit euch klären.

Rechte greifen bis in die Suche

Wer ein Dokument im Original nicht öffnen darf, darf es auch über den Assistenten nicht lesen. Die DSK nennt dafür ein Rechte- und Rollenkonzept und eine Trennung der Daten, etwa nach Abteilung. Im Sprachmodell lässt sich das nicht steuern, in der Suche davor schon.

Löschen heißt auch im Index löschen

Wird ein Dokument gelöscht oder berichtigt, muss es auch aus dem Suchindex verschwinden. Bei RAG geht das, weil jeder Eintrag einzeln ansprechbar ist. Aufbewahrungsfristen gelten dann für Dokumente und Index gleichermaßen.

Jede Antwort ist prüfbar

Der Assistent nennt zu jeder Antwort die Quelle. Wie das Sprachmodell zu seiner Formulierung kommt, bleibt nach Einschätzung der DSK aber schwer nachvollziehbar. Deshalb prüft ein Mensch, bevor eine Antwort etwas auslöst.

Nur gepflegte Quellen

Veraltete oder unvollständige Dokumente führen zu falschen Antworten. Jeder Wissensbereich braucht deshalb eine zuständige Person und einen festen Termin, an dem Veraltetes aussortiert wird.

Was die DSGVO sonst für KI im Unternehmen verlangt, steht in unserem Leitfaden KI und DSGVO. Stand dieses Abschnitts: 22. November 2026. Er ersetzt keine Rechtsberatung.

Erst ein Pilot. Dann der Betrieb.

1. Fragen und Unterlagen sammeln

Mit den Menschen, die heute suchen und antworten, sammeln wir typische Fragen und die Unterlagen, in denen die Antworten stehen. Dabei klären wir, welche Daten der Assistent lesen darf, wo sie verarbeitet werden und wer Zugriff hat.

2. Messlatte festlegen

Vor dem Test legen wir fest, wie oft eine Antwort stimmen muss und woran wir die Entlastung messen: Suchzeit, Rückfragen, Einarbeitung. Den Ausgangswert halten wir fest, bevor der Assistent läuft.

3. Pilot an echten Fragen

Ein begrenzter Bereich, eine kleine Gruppe, echte Fragen. Die Arbeit für Prüfung und Korrektur zählt mit. Trägt der Pilot nicht, sagen wir das. Ihr entscheidet, ob es weitergeht.

4. Einführung und Betrieb

Trägt er, binden wir den Assistenten dort ein, wo euer Team arbeitet: im Intranet, in Microsoft Teams oder in einem Kundenportal. Für den Betrieb vereinbaren wir Pflege der Quellen, Prüfung der Qualität und Updates.

Der Pilot folgt dem Ablauf unserer KI-Beratung für den Mittelstand.

Fragen zum KI-Wissensassistenten

Was ist ein RAG-System?

RAG steht für Retrieval-Augmented Generation. Das System sucht zu einer Frage zuerst die passenden Abschnitte in euren Dokumenten und gibt sie dem Sprachmodell mit. Das Modell formuliert die Antwort auf dieser Grundlage und nennt die Quelle. Euer Wissen bleibt in euren Dokumenten und im Suchindex, es wird nicht in das Modell trainiert. Aufbau, Datenschutz und Pflege beschreibt unser Artikel RAG im Unternehmen.

Was unterscheidet einen KI-Chatbot von einem Wissensassistenten?

Ein allgemeiner KI-Chatbot antwortet aus seinem Training. Ein Wissensassistent antwortet aus euren Unterlagen und zeigt, woher die Antwort stammt. Für Fragen zu euren Abläufen, Verträgen oder Produkten braucht es das Zweite.

Können wir einen Chatbot für unsere Website entwickeln lassen?

Ja, wenn seine Antworten aus gepflegten Inhalten kommen und klar ist, was er nicht beantworten soll. Wer mit einem Chatbot spricht, muss nach der EU-KI-Verordnung in der Regel erkennen können, dass es eine KI ist. Was das heißt, steht in unserem Leitfaden zur KI-Kennzeichnungspflicht.

Reicht nicht ein fertiges KI-Produkt?

Manchmal ja. Liegen eure Unterlagen schon in einem System, das eine solche Funktion mitbringt, und stimmen die Rechte dort, ist das oft der kürzere Weg. Eine eigene Lösung lohnt sich, wenn mehrere Systeme angebunden werden oder ihr bestimmen wollt, wo die Daten verarbeitet werden. Das klären wir, bevor gebaut wird.

Wo werden unsere Daten verarbeitet?

Das legen wir vor dem Pilot fest. Je nach Schutzbedarf kommen Anbieter mit Verarbeitung in der EU oder ein Betrieb auf eigener Infrastruktur infrage. Daran richtet sich aus, welche Sprachmodelle überhaupt infrage kommen.

Wer pflegt das Wissen?

Ihr, mit unserer Hilfe beim Aufsetzen. Der Assistent ist so gut wie die Unterlagen, aus denen er antwortet. Wir richten ein, dass neue und geänderte Dokumente in den Index kommen, und legen mit euch fest, wer für welchen Bereich zuständig ist.

Wovon hängt der Aufwand ab?

Davon, wie viele Systeme angebunden werden, wie viele Menschen den Assistenten nutzen und wo die Daten verarbeitet werden. Umfang und Preis des Pilots vereinbaren wir vorher. Was Einführung und laufender Betrieb kosten, steht in der Empfehlung nach dem Pilot.

Kostenloses Erstgespräch. Wo sucht euer Team am längsten?

Erzählt uns in 30 Minuten, welche Fragen bei euch immer wieder auftauchen und wo die Antworten liegen. Ihr bekommt eine erste Einschätzung, ob sich ein Wissensassistent lohnt und womit ein Pilot anfangen sollte.

Lieber schreiben? hallo@kopfwelt.com. Wir antworten innerhalb eines Werktags.