KI-Berechtigungen im Unternehmen: RAG, DSGVO & Architektur

Wer darf in einer Unternehmens-KI welche Daten sehen? Die meisten lokalen KI-Systeme scheitern an dieser Frage. Was Geschäftsführer über Berechtigungen, DSGVO und RAG-Architektur wissen müssen.

Das Szenario, das niemand auf dem Schirm hat

Stellen Sie sich vor, Sie führen eine lokale KI in Ihrem Unternehmen ein. DSGVO-konform, datensouverän, alles bleibt im Haus. Sie laden Ihre Mitarbeiter ein, das System zu testen. Und dann passiert Folgendes:

Eine Mitarbeiterin aus der Buchhaltung fragt die KI beiläufig: "Was verdient eigentlich unser Geschäftsführer?" Die KI antwortet präzise und freundlich. Sie hat die Information aus einer Personalakte, die in der Wissensbasis liegt – und niemand hatte daran gedacht, dass diese Akte für die Buchhaltungsmitarbeiterin nicht zugänglich sein dürfte.

Das ist kein theoretisches Szenario. Das passiert in der Praxis. Und es ist nicht nur peinlich, sondern ein handfester DSGVO-Verstoß nach Artikel 32 – "Sicherheit der Verarbeitung" – der mit empfindlichen Bußgeldern geahndet werden kann.

Die ernüchternde Wahrheit: Die meisten der aktuell verkauften "lokalen KI-Lösungen" für KMU haben dieses Problem. Nicht weil die Anbieter unfähig wären, sondern weil das Thema Berechtigungen in RAG-Systemen technisch anspruchsvoll ist und im Verkaufsgespräch oft unter den Tisch fällt. Wer eine KI für sein Unternehmen plant, muss das Thema verstehen, bevor das System steht – nicht danach.

Dieser Artikel zeigt, worauf es ankommt.

Was RAG ist – und warum das Berechtigungsproblem überhaupt entsteht

Die meisten Unternehmens-KI-Systeme basieren auf RAG: Retrieval Augmented Generation. Vereinfacht gesagt funktioniert das so:

Sie laden Ihre Unternehmensdokumente in eine spezielle Datenbank (eine sogenannte Vektordatenbank)
Wenn ein Mitarbeiter eine Frage stellt, sucht das System zuerst in dieser Datenbank nach relevanten Textstellen
Diese Textstellen werden zusammen mit der Frage an das Sprachmodell geschickt
Das Sprachmodell formuliert eine Antwort, die sich auf die gefundenen Stellen stützt

Das ist eine elegante Lösung mit zwei großen Vorteilen: Erstens "halluziniert" das Modell weniger, weil es konkrete Quellen hat. Zweitens müssen Sie kein eigenes Modell trainieren, sondern können ein vorhandenes Open-Source-Modell wie Llama oder Gemma verwenden und es einfach mit Ihren Daten "füttern".

Die Datenschutzkonferenz (DSK) hat im Oktober 2025 eine ausführliche Orientierungshilfe zu RAG-Systemen veröffentlicht und betont darin ausdrücklich, dass diese Architektur den datenschutzkonformen Einsatz von KI erleichtern kann – insbesondere beim Betrieb auf eigenen Servern.

Aber – und das ist der entscheidende Punkt – RAG löst das Berechtigungsproblem nicht von alleine. Im Gegenteil: Es schafft ein neues. Denn was passiert, wenn alle Unternehmensdokumente in einer einzigen Vektordatenbank liegen? Genau: Jeder, der die KI fragen darf, kann theoretisch an alle Informationen kommen. Auch an die, die er gar nicht sehen sollte.

Vier Ebenen von Berechtigungen, die Sie unterscheiden müssen

Wenn Geschäftsführer das Wort "Berechtigung" hören, denken die meisten an ein einziges Konzept: "Wer darf was sehen?" In Wirklichkeit sind es vier verschiedene Ebenen, die unabhängig voneinander gelöst werden müssen. Wer sie nicht trennt, baut ein lückenhaftes System.

Ebene 1: Wer darf das System überhaupt nutzen?

Das ist die einfachste Ebene und entspricht dem klassischen Login. Jeder Mitarbeiter bekommt einen Account, idealerweise über die bestehende Identitätsverwaltung des Unternehmens – also Microsoft 365, Google Workspace oder ein internes Active Directory. Single Sign-On löst diesen Teil sauber.

Bei dieser Ebene gibt es technisch wenig zu diskutieren. Alle gängigen lokalen KI-Plattformen wie Open WebUI, AnythingLLM oder LibreChat unterstützen moderne Authentifizierungsverfahren.

Ebene 2: Wer darf welches KI-Modell nutzen?

Schon weniger offensichtlich, aber relevant: In einem ausgereiften Setup gibt es nicht ein Modell, sondern mehrere. Vielleicht ein Standardmodell für die meisten Anfragen, ein leistungsstärkeres für komplexe Analysen, ein speziell trainiertes für branchenspezifische Aufgaben.

Nicht jeder Mitarbeiter muss Zugang zu allen Modellen haben – schon allein, weil Rechenleistung Geld kostet. Hier hilft eine Rollenstruktur: Standard-Mitarbeiter nutzen das Basismodell, Führungskräfte und Fachexperten haben Zugang zu spezialisierten Modellen.

Ebene 3: Welche Dokumente sieht welcher Nutzer?

Das ist die zentrale Ebene – und der Punkt, an dem die meisten Systeme scheitern. Wenn die Personalakte des Geschäftsführers in derselben Wissensbasis liegt wie das Bürohandbuch, muss das System pro Nutzer entscheiden, welche Inhalte überhaupt für eine Antwort herangezogen werden dürfen.

Diese Entscheidung muss zu einem ganz bestimmten Zeitpunkt fallen – dazu kommen wir gleich. Vorher muss die wichtigste Erkenntnis für Geschäftsführer auf den Tisch.

Ebene 4: Was darf die KI mit den Daten tun?

Sobald die KI nicht nur Fragen beantwortet, sondern Aktionen ausführt – E-Mails schreibt, in Systeme schreibt, Termine vergibt – kommt eine vierte Ebene hinzu. Wir sprechen dann von KI-Agenten. Hier muss geregelt werden, welche Aktionen die KI im Namen welches Nutzers ausführen darf. Dieser Bereich ist 2026 noch im Aufbau und wird in den nächsten Jahren der spannendste Teil der Berechtigungsdiskussion werden.

Der entscheidende Architektur-Punkt: Filtern Sie vorher, nicht nachher

Hier kommt der Kern des Problems – und gleichzeitig die wichtigste technische Aussage dieses Artikels:

Berechtigungsprüfungen müssen stattfinden, bevor die KI die Daten sieht. Nicht danach.

Das klingt trivial, ist aber in der Praxis oft falsch umgesetzt. Viele Implementierungen versuchen, Berechtigungen durch Anweisungen an die KI zu regeln. Etwa so: "Du bist eine KI für Firma Müller. Der aktuelle Nutzer hat die Rolle Buchhalter. Antworte nur mit Informationen, die ein Buchhalter sehen darf."

Das funktioniert nicht zuverlässig. Sprachmodelle sind probabilistisch – sie folgen Anweisungen meistens, aber nicht immer. Mit geschickten Fragetechniken, paraphrasierten Anfragen oder schlichten Logikfehlern lassen sich solche Schutzanweisungen umgehen. Wenn die vertraulichen Daten erst einmal im Kontext des Modells angekommen sind, kann das Modell sie potenziell preisgeben.

Die einzig sichere Lösung: Was die KI nie zu sehen bekommt, kann sie auch nicht weitergeben. Die Berechtigungsfilterung muss bei der Vektorsuche passieren – bevor die relevanten Textstellen das Sprachmodell überhaupt erreichen.

In der Fachsprache heißt das Pre-Retrieval Filtering im Gegensatz zu Post-Generation Filtering. Wenn Sie als Geschäftsführer mit einem KI-Anbieter sprechen, ist das genau die Frage, die Sie stellen sollten: "Werden die Berechtigungen vor oder nach der KI-Verarbeitung geprüft?" Die Antwort verrät Ihnen, ob der Anbieter sein Handwerk versteht.

Drei Architekturmuster für Dokumenten-Berechtigungen

Wenn klar ist, dass die Filterung vor der KI stattfinden muss, stellt sich die Frage: Wie organisiert man das praktisch? Es haben sich drei Muster etabliert, die unterschiedlich aufwendig sind und unterschiedlich gut skalieren.

Muster A: Trennung nach Arbeitsbereichen

Der einfachste und für viele KMU völlig ausreichende Ansatz: Die Wissensbasis wird in mehrere getrennte Bereiche aufgeteilt – nennen wir sie Workspaces. Jeder Workspace hat seine eigene Vektordatenbank, seine eigenen Dokumente und seine eigene Zugriffsliste.

Ein typisches Setup für ein mittelständisches Unternehmen könnte so aussehen:

Workspace "Allgemein" – Mitarbeiterhandbuch, Prozessbeschreibungen, Unternehmenspräsentationen. Zugriff für alle Mitarbeiter.
Workspace "Vertrieb" – Angebotsdokumente, Preisbedingungen, Kundenliste. Zugriff nur für das Vertriebsteam.
Workspace "Personal" – Personalakten, Gehaltslisten, Verträge. Zugriff nur für Geschäftsführung und Personalverantwortliche.
Workspace "Geschäftsführung" – Strategiepapiere, Finanzplanung, vertrauliche Vorgänge. Zugriff nur für die Geschäftsführung.

Vorteil: Klar nachvollziehbar, einfach zu administrieren, leicht zu erklären. Die DSK nennt diesen Ansatz in ihrer Orientierungshilfe ausdrücklich als geeignete Maßnahme zur "Mandantentrennung".

Nachteil: Innerhalb eines Workspaces gibt es keine feinkörnige Trennung. Wenn im Workspace "Vertrieb" alle Verträge liegen, können auch alle Vertriebsmitarbeiter alle Verträge einsehen. Wenn das ein Problem ist – etwa weil bestimmte Großkunden nur von einzelnen Mitarbeitern betreut werden dürfen – reicht Muster A nicht.

Muster B: Filterung über Dokumenten-Metadaten

Die nächste Stufe: Jedes einzelne Dokument oder sogar jeder Textabschnitt bekommt Metadaten mitgegeben. Etwa: "Dieses Dokument darf nur von Personen mit der Rolle 'Steuerberater' UND der Berechtigungsgruppe 'Mandant XY' eingesehen werden."

Bei jeder Anfrage des Nutzers wird dieser Filter an die Vektordatenbank weitergegeben: "Suche nur in Dokumenten, deren Metadaten zu meinem Berechtigungsprofil passen." Erst die gefilterten Treffer werden an die KI weitergegeben.

Technisch unterstützen alle modernen Vektordatenbanken – Qdrant, Weaviate, pgvector – diese Art der Metadaten-Filterung nativ.

Vorteil: Maximale Flexibilität. Sie können auf Dokumentenebene exakt steuern, wer was sehen darf.

Nachteil – und der ist erheblich: Die Metadaten müssen gepflegt werden. Bei zehn Dokumenten ist das machbar. Bei tausenden wird es zur Vollzeitstelle. Wer entscheidet bei Dokument Nummer 3.847, welche Berechtigungen es bekommt? Wer aktualisiert das, wenn ein Mitarbeiter die Abteilung wechselt? Diese Fragen werden in der Realität meistens nicht sauber beantwortet – und dann kippt das System nach einigen Monaten in den Zustand "alle dürfen alles", weil niemand mehr durchblickt.

Muster C: Übernahme vorhandener Berechtigungen

Die professionellste und langfristig einzig wartbare Lösung: Die Berechtigungen werden gar nicht im KI-System gepflegt, sondern aus den Quellsystemen übernommen.

Ihr Unternehmen hat höchstwahrscheinlich bereits ein Berechtigungssystem – im Active Directory, in Ihrem Dokumentenmanagement (DocuWare, Nextcloud, SharePoint), in Ihrem ERP oder CRM. Diese Berechtigungen sind über Jahre gewachsen, sie spiegeln die tatsächliche Organisationsstruktur wider, und sie werden im Tagesgeschäft gepflegt.

Ein gut gebautes RAG-System übernimmt diese Berechtigungen automatisch. Wenn ein Dokument aus SharePoint indiziert wird, werden die Zugriffsrechte aus SharePoint mit übernommen. Ändert sich die Berechtigung im Quellsystem, aktualisiert sich auch die KI-Sicht. Das Konzept heißt ACL-Synchronisation – Access Control List Synchronisation.

Der Vorteil ist offensichtlich: Sie pflegen Berechtigungen weiterhin nur an einer Stelle – dort, wo sie schon immer gepflegt wurden. Das KI-System ist nur ein "Verbraucher" dieser Information.

Der Nachteil: Diese Lösung setzt voraus, dass Ihre bestehenden Berechtigungen sauber gepflegt sind. Bei vielen KMU ist das nicht der Fall – "alle haben Zugriff auf das gemeinsame Laufwerk" ist eine traurig häufige Realität. Dann wird die KI-Einführung zur Gelegenheit, die Berechtigungsstruktur grundsätzlich zu überarbeiten. Das ist viel Arbeit, aber es lohnt sich – nicht nur für die KI, sondern für die gesamte IT-Sicherheit.

Was die DSGVO konkret verlangt

Wer denkt, das alles sei "Best Practice, aber nicht zwingend": Falsch. Die Datenschutzkonferenz hat in ihrer Orientierungshilfe vom Oktober 2025 explizit festgestellt, dass strikte Zugriffs- und Rollenkonzepte für die Vektordatenbank nicht optional sind. Sie sind Voraussetzung für den datenschutzkonformen Einsatz von RAG-Systemen.

Die rechtliche Grundlage ist Artikel 32 DSGVO – Sicherheit der Verarbeitung. Demnach müssen Verantwortliche "geeignete technische und organisatorische Maßnahmen" treffen, um ein dem Risiko angemessenes Schutzniveau zu gewährleisten. Bei einer KI mit Zugriff auf Personaldaten, Mandantendaten oder Geschäftsgeheimnissen ist das Schutzbedürfnis hoch. Eine fehlende oder lückenhafte Berechtigungsstruktur ist ein klarer Verstoß.

Hinzu kommt Artikel 5 – Grundsätze für die Verarbeitung. Hier ist insbesondere die "Zweckbindung" relevant: Daten dürfen nur für den Zweck verarbeitet werden, für den sie erhoben wurden. Wenn Mandantendaten ursprünglich für die steuerliche Beratung erhoben wurden, dürfen sie nicht plötzlich für andere Zwecke abrufbar sein – und schon gar nicht von Personen, die nichts mit dem Mandat zu tun haben.

Bei besonderen Kategorien personenbezogener Daten (Gesundheitsdaten, weltanschauliche Überzeugungen, biometrische Daten) nach Artikel 9 DSGVO werden die Anforderungen noch strenger. Hier müssen die Schutzmaßnahmen entsprechend höher angesetzt werden.

Für bestimmte Berufsgruppen – Steuerberater, Anwälte, Ärzte – kommt noch das Berufsgeheimnis nach §203 StGB hinzu. Eine KI, die Mandanten- oder Patientendaten verarbeitet und nicht zwingend abgesichert ist, kann im Zweifel zu strafrechtlicher Verantwortung des Berufsträgers führen. Dieses Risiko wird in der Praxis dramatisch unterschätzt.

Was Geschäftsführer konkret entscheiden müssen

Wenn Sie die Einführung einer lokalen KI in Ihrem Unternehmen planen, sind das die Fragen, die auf Ihren Tisch gehören – nicht erst auf den Tisch der IT-Abteilung:

Frage 1: In welche Bereiche teilen wir unser Wissen ein?

Diese Frage hat nichts mit Technik zu tun, sondern mit Ihrer Unternehmensstruktur. Welche Informationsdomänen gibt es? Welche Personenkreise greifen worauf zu? Eine saubere Antwort darauf macht die Implementierung danach um Größenordnungen einfacher – und lässt sich auch ohne KI-Projekt bereits sinnvoll dokumentieren.

Frage 2: Wo wollen wir Berechtigungen pflegen?

Wenn Sie bereits ein gutes Active Directory oder DMS haben, sollte die KI sich daran anschließen (Muster C). Wenn nicht, ist die Workspace-Struktur (Muster A) der pragmatische Einstieg. Ein Mischmodell ist auch möglich – einfache Workspaces für die meisten Bereiche, ACL-Synchronisation für die sensibelsten.

Frage 3: Wer ist intern verantwortlich?

Eine KI mit Berechtigungsstruktur braucht jemanden, der sie pflegt. Wechselt ein Mitarbeiter die Abteilung, muss seine KI-Berechtigung mitgepflegt werden. Wer macht das? In welchem Prozess? Diese Frage zu klären, ist genauso wichtig wie die technische Implementierung.

Frage 4: Wie protokollieren wir den Zugriff?

Die DSGVO verlangt Nachvollziehbarkeit. Sie sollten in der Lage sein, im Zweifelsfall darzulegen, welcher Mitarbeiter wann auf welche Information zugegriffen hat. Moderne KI-Systeme bringen Audit-Logs mit – aber nur, wenn sie aktiviert und sinnvoll konfiguriert sind.

Frage 5: Wie testen wir die Berechtigungen?

Sie würden eine neue Tresoranlage nicht in Betrieb nehmen, ohne sie zu testen. Bei der KI gilt dasselbe. Bevor das System produktiv geht, sollte ein systematischer Test mit verschiedenen Nutzerprofilen stattfinden: Sieht jeder genau das, was er sehen soll – und nichts, was er nicht sehen soll? Diese Testphase ist Teil eines seriösen Implementierungsprojekts.

Der typische Fehler: Klein anfangen ohne Berechtigungs-Konzept

Die häufigste Falle in der KI-Einführung: Man fängt klein an. "Wir laden erstmal das Mitarbeiterhandbuch und die Prozessbeschreibungen hoch, um zu testen." Die KI funktioniert, alle sind begeistert, also lädt man weitere Dokumente nach. Vertriebsunterlagen. Kalkulationen. Und plötzlich liegen sensible Daten in einer offenen Wissensbasis, ohne dass die Berechtigungsfrage je systematisch geklärt wurde.

Dieser Pfad führt fast zwangsläufig in die Nachbesserung. Und Nachbesserung ist immer teurer als sauberes Aufsetzen. Wer ein RAG-System professionell einführt, klärt die Berechtigungsstruktur in der Konzeptphase – bevor das erste Dokument ingestiert wird.

Das heißt nicht, dass jedes Detail von Anfang an perfekt sein muss. Aber die Grundarchitektur muss stimmen. Sind die Workspaces sinnvoll geschnitten? Ist die Zuordnung zu Nutzergruppen klar? Gibt es einen Mechanismus, der sicherstellt, dass jedes neu hinzugefügte Dokument einer Berechtigungsklasse zugeordnet wird?

Diese Fragen lassen sich am Anfang in einer Stunde Workshop klären. Sie nachträglich aufzuräumen kostet Wochen.

Was Sie von einem KI-Anbieter verlangen sollten

Wenn Sie mit potenziellen Anbietern für eine Unternehmens-KI sprechen, sind das die Punkte, an denen Sie die Spreu vom Weizen trennen können:

Konkrete Architektur statt Marketing-Floskeln. "DSGVO-konform" sagt jeder. Lassen Sie sich erklären, wie genau die Berechtigungsfilterung technisch funktioniert. Wenn der Anbieter ins Schwimmen kommt oder allgemein bleibt, ist Vorsicht geboten.

Pre-Retrieval Filtering. Fragen Sie ausdrücklich, ob die Berechtigungsprüfung vor oder nach der KI-Verarbeitung stattfindet. Die richtige Antwort ist "vorher".

Integration in bestehende Systeme. Ein professioneller Anbieter kann erklären, wie sich die KI an Ihre bestehende Identitätsverwaltung anbinden lässt – sei es Microsoft 365, Google Workspace oder ein internes AD. Wer eine Insellösung anbietet, baut Ihnen langfristig Probleme.

Konzeptphase vor Implementierung. Ein seriöses Projekt beginnt nicht mit "wir installieren mal das System", sondern mit einem Workshop, in dem die Berechtigungsstruktur sauber definiert wird. Wenn ein Anbieter direkt mit der technischen Umsetzung loslegen will, ohne diese Frage zu stellen, springen Sie ab.

Audit-Logs und Nachvollziehbarkeit. Lassen Sie sich zeigen, wie das System protokolliert, wer worauf zugegriffen hat. Im Zweifelsfall – sei es bei einer Datenschutz-Anfrage oder einem internen Compliance-Vorfall – wird Sie diese Funktion retten.

Updates und Wartung. Eine KI ist kein Toaster. Sie braucht regelmäßige Aktualisierungen, sowohl der Modelle als auch der Berechtigungsstruktur. Der Anbieter sollte ein klares Wartungskonzept haben.

Fazit: Berechtigungen sind kein Detail, sondern die halbe Miete

Wer eine lokale KI für sein Unternehmen einführen will, hat zwei große Aufgaben vor sich. Die erste – die technische Implementierung – lässt sich heute in ein paar Tagen lösen. Open-Source-Komponenten wie Ollama, Open WebUI oder AnythingLLM haben das einfach gemacht.

Die zweite Aufgabe – das Berechtigungskonzept – ist die schwierigere. Sie ist organisatorisch, nicht technisch. Sie zwingt Sie, Ihre Unternehmensstruktur ehrlich anzuschauen, Verantwortlichkeiten zu klären und Datenflüsse zu dokumentieren. Diese Arbeit kostet Zeit und Aufwand. Aber sie zahlt sich mehrfach aus: in Datenschutz-Compliance, in Vertrauen Ihrer Mitarbeiter und Kunden, und in einem System, das tatsächlich nutzbar ist.

Die KI selbst ist Standardware geworden. Was den Unterschied macht, ist die saubere Integration in Ihre Unternehmensstruktur. Wer hier sorgfältig arbeitet, hat ein System, das echten Mehrwert liefert. Wer hier schludert, hat ein Datenschutzrisiko mit Chat-Interface.

KI-Berechtigungen im Unternehmen: Warum die meisten RAG-Systeme ein Datenschutzproblem haben – und wie Sie es richtig lösen