Interner KI-Chatbot: So wird Firmenwissen nutzbar, ohne dass Daten abfließen

In den meisten Mittelständlern ist Wissen vorhanden — nur verstreut. Die Verfahrensanweisung liegt im Wiki, die letzte Preisliste irgendwo auf dem Netzlaufwerk (in Ordner „Alt 2023“), und die Antworten auf die häufigsten Kundenfragen kennt nur die Kollegin, die seit zwölf Jahren dabei ist. Solange alle dieselben Fragen stellen wie früher, fällt das nicht auf. Spätestens wenn neue Mitarbeiter eingestellt werden oder die Kollegin in Urlaub ist, wird es teuer — in Zeit und in Fehlerquote.

Eine Volltextsuche löst das nur halb: Sie findet Dokumente, in denen ein Wort vorkommt, aber keine Antwort auf eine Frage in natürlicher Sprache. Genau hier setzt ein interner KI-Chatbot an.

Das Verfahren heißt RAG (Retrieval-Augmented Generation) und klingt komplizierter, als es ist. In drei Schritten:

• Indexieren: Ihre Dokumente werden eingelesen und in sinnvolle Abschnitte zerlegt. Aus Handbuch, Richtlinie und Ticket-Historie entsteht eine durchsuchbare Wissensbasis.
• Finden: Wenn jemand eine Frage stellt, sucht das System die Abschnitte, die inhaltlich passen — nicht nur nach Stichwort, sondern nach Bedeutung.
• Antworten mit Quelle: Aus den gefundenen Abschnitten formuliert das Sprachmodell eine Antwort — und belegt, aus welchem Dokument sie kommt. Wer möchte, kann die Stelle direkt öffnen und nachprüfen.

Der letzte Punkt ist der wichtigste: Ein Bot, der frei aus seinem „Bauchgefühl“ antwortet, ist im Unternehmen wertlos, weil niemand sich darauf verlassen kann. Ein Bot, der sagt „Das steht so in Verfahren X, Abschnitt 4.2, Stand März 2026“, ist ein Werkzeug. Quellenangabe ist keine nette Zusatzfunktion, sondern Grundvoraussetzung.

In der Praxis speisen sich interne Assistenten meist aus einer Mischung aus wikiartigen Systemen (Confluence, SharePoint, Intranet), dem Dokumentenmanagementsystem oder Netzlaufwerken, Ticketsystemen sowie älteren E-Mail-Archiven. Wichtig ist dabei weniger die Menge als die Ordnung: Ein Bot mit 200 gepflegten Dokumenten liefert bessere Antworten als einer, der acht Terabyte „Alles seit 2009“ indexiert. Dubletten, veraltete Versionen und PDFs ohne Struktur sind die eigentlichen Baustellen — oft steckt mehr Arbeit in der Datenqualität als in der Technik.

Das ist die Frage, die in jedem Projekt früh geklärt sein muss: Wenn die Gehaltslisten im selben Laufwerk liegen wie die Montageanleitungen — weiß der Bot dann, wer fragen darf? Ein seriöser interner Chatbot erfindet seine Rechte nicht selbst, sondern übernimmt die Ihren: Er prüft bei jeder Antwort, ob die gefundene Stelle für die Rolle oder Benutzergruppe des Fragenden freigegeben ist. Steht jemand nicht auf der Zugriffsliste, existiert das Dokument für ihn auch im Chat nicht — auch dass es dazu überhaupt etwas gibt, erfährt er nicht.

Technisch heißt das: Der Bot braucht einen Lesenzugriff auf Ihre Quellsysteme und eine Abbildung Ihrer bestehenden Ordner- und Rollenrechte. Wer das ignoriert, baut sich keinen Assistenten, sondern eine Leckschleuder.

„Läuft das über ChatGPT?“ ist die erste Frage des Datenschutzbeauftragten. Die ehrliche Antwort: Das muss nicht sein. Es gibt drei bewährte Wege:

• EU-API mit Vertragsbindung: Ein Sprachmodell eines Anbieters mit Serverstandort EU und Vereinbarung zur Auftragsverarbeitung — ohne Nutzung Ihrer Eingaben als Trainingsdaten und ohne Aufbewahrung über die Anfrage hinaus.
• On-Premises: Das Modell läuft auf eigener oder gemieteter Hardware bei Ihnen. Keine Daten verlassen das Haus — bei besonders sensiblen Inhalten der saubere Weg, aber mit dem höchsten Aufwand.
• Open-Source-Modelle: Freie Modelle sind heute so gut, dass sie viele interne Anwendungsfälle gut abdecken. Zusammen mit On-Premises-Betrieb eine realistische Alternative, nicht nur ein Notbehelf.

Welche Variante passt, entscheidet der Inhalt Ihrer Dokumente — nicht die Technik. Interne Montageanleitungen haben andere Anforderungen als Verträge mit Kundendaten.

• Alles auf einmal: Alle Quellen, alle Abteilungen, alle Fragen. Besser mit einem abgegrenzten Thema starten, das häufig nachgefragt wird, und daraus lernen.
• Altes Wissen mitindexieren: Wenn die Preisliste von 2024 noch im Index liegt, kommt die falsche Antwort mit überzeugender Quelle. Versionierung und Aufräumen sind Teil des Projekts.
• Kein Feedback-Kanal: Antworten müssen Nutzer als „half nicht“ markieren können. Ohne diese Rückkopplung versauert der Bot im Stillen.
• Rechte nachträglich denken: Zugriffsmodelle gehören an den Anfang, nicht in die Abnahme.
• Keinen Verantwortlichen benennen: Wer aktualisiert Inhalte, wenn eine Richtlinie sich ändert? Ohne Antwort auf diese Frage veraltet der Bot schneller, als er nutzbar war.

Ein interner KI-Chatbot ist kein Spielzeug, sondern ein Zugang zu Wissen, das Ihr Unternehmen ohnehin besitzt — vorausgesetzt, Quellenangaben, Rechtekonzept und Datenschutz stehen von Anfang an. Wie so ein Assistent für Ihren Betrieb aussehen kann — mit Anbindung an Wiki, DMS und Fachsysteme, wahlweise über EU-API oder On-Premises — zeigen wir auf unserer Seite zum internen KI-Assistenten für den Mittelstand. Wenn Sie wissen möchten, ob Ihre Datenquellen dafür geeignet sind, sprechen wir unverbindlich darüber.