Schluss mit Suchen: ein Wissens-Assistent auf Ihren Dokumenten

Das Konzept: fragen statt suchen, mit Beleg

Hören Sie auf, Wissen als Ablage zu denken, in der jeder selbst suchen muss. Denken Sie es als Kollegen, den man etwas fragt und der mit Quellenangabe antwortet. Ein Wissens-Assistent durchsucht nicht Ordner für Sie, sondern beantwortet eine Frage aus genau Ihren Unterlagen und sagt dazu, woher die Antwort stammt (Dokument und Stelle). Der Mensch kann jeden Beleg nachprüfen. Die Technik dahinter heißt RAG (Retrieval-Augmented Generation), das Modell antwortet also nur auf Basis abgerufener Textstellen, nicht aus dem Gedächtnis. Entscheidend ist aber nicht die Technik, sondern die Disziplin: nur belegte Antworten, und wenn etwas nicht in den Dokumenten steht, ein klares 'weiß ich nicht', statt zu raten.

Das Wichtigste in 60 Sekunden

• Ein Wissens-Assistent ist kein besserer Suchschlitz, sondern ein Kollege, den man fragt und der mit Quelle antwortet.
• Starten Sie mit einem sauberen, klar abgegrenzten Bereich (zum Beispiel die aktuellen Handbücher), nicht mit dem ganzen Datenbestand.
• Belegpflicht ist nicht verhandelbar: jede Antwort nennt Dokument und Stelle, sonst gilt sie als ungeprüft.
• Steht etwas nicht in den Dokumenten, sagt der Assistent das offen, statt eine plausible Antwort zu erfinden.
• Müll rein, Müll raus: veraltete oder widersprüchliche Dokumente schaden mehr, als der Assistent nützt.
• Bauen Sie ein kleines Prüfset aus echten Fragen mit bekannten Antworten, bevor Sie das Team heranlassen.
• Eine Zahl vorher (Suchzeit, Rückfragen an Kollegen), dieselbe Zahl nach zwei Wochen. Ohne Messung kein Urteil.

Drei Stufen: Suche, Assistent auf einem Bereich, vernetzter Assistent

Bevor Sie bauen, ordnen Sie ein, was Sie wirklich brauchen. Die Stufen unterscheiden sich darin, wie breit die Wissensbasis ist und wie viel Pflege dahintersteht. Viele Mittelständler brauchen Stufe 2 und sind damit besser bedient als mit einem überambitionierten Stufe-3-Projekt, das an der Datenpflege scheitert.

• Stufe 1, bessere Suche: eine Volltext- oder semantische Suche über Ihre Ablage. Gut, wenn die Leute vor allem das richtige Dokument finden wollen und es dann selbst lesen.
• Stufe 2, Assistent auf einem Bereich: der Assistent beantwortet Fragen aus einem gepflegten, abgegrenzten Bestand (Handbücher, Richtlinien, Prozesse) mit Beleg. Der richtige erste Schritt für die meisten.
• Stufe 3, vernetzter Assistent: er greift auf mehrere Quellen zu (Dateiablage, Wiki, Ticketsystem, Mailverläufe) und beachtet Zugriffsrechte je Nutzer. Mächtig, aber deutlich mehr Pflege und Rechte-Aufwand.
• Faustregel: je homogener und gepflegter Ihr Wissen, desto eher reicht Stufe 2. Je verstreuter und sensibler, desto sorgfältiger muss Stufe 3 geplant werden.

Phase 1: Den richtigen Wissensbereich wählen

Ziel: in zehn Minuten wissen, mit welchem Bereich Sie starten. Nehmen Sie nicht das größte, sondern das am häufigsten gefragte und am besten gepflegte Wissen. Ein sauberer kleiner Bereich schlägt das große Chaos.

• Fragen Sie: wonach suchen Mitarbeiter am häufigsten, und wo liegt die Antwort in Dokumenten (nicht in Köpfen)?
• Schätzen Sie grob: wie oft pro Woche wird gesucht oder rückgefragt, wie viele Minuten pro Fall? Das ist Ihr späterer Messwert.
• Prüfen Sie den Pflegezustand: sind die Dokumente aktuell, eindeutig und widerspruchsfrei? Wenn nicht, erst aufräumen.
• Beispiele: aktuelle Produkt- und Service-Handbücher, das Qualitätsmanagement-Handbuch, die Reisekosten- und HR-Richtlinien, technische Spezifikationen.

Wir überlegen, einen Wissens-Assistenten auf unseren eigenen Dokumenten aufzusetzen. Hier sind unsere Wissensbereiche und je eine kurze Beschreibung: [Bereiche auflisten, z. B. Service-Handbücher, HR-Richtlinien, Vertragsvorlagen, Projektdoku].
Bewerte jeden Bereich nach vier Kriterien:
1) Wie häufig wird darin gesucht?
2) Steht die Antwort klar in Dokumenten oder eher in Köpfen?
3) Wie aktuell und widerspruchsfrei ist der Bestand?
4) Wie sensibel sind die Inhalte (Zugriffsrechte)?
Gib je Bereich eine kurze Einschätzung und einen Gesamtvorschlag, mit welchem Bereich wir klein und risikoarm starten sollten.

Phase 2: Den Bereich aufräumen (die wichtigste Phase)

Ein Wissens-Assistent ist nur so gut wie die Dokumente, die er liest. Veraltete, doppelte oder widersprüchliche Inhalte führen zu falschen, aber selbstbewusst klingenden Antworten, und genau das zerstört das Vertrauen. Machen Sie deshalb eine Inventur, bevor Sie irgendetwas anbinden.

• Listen Sie alle Dokumente des Bereichs auf, mit Titel, Datum der letzten Pflege und Verantwortlichem.
• Markieren Sie: aktuell behalten, überarbeiten, archivieren (aus der Basis nehmen).
• Lösen Sie Widersprüche auf: wenn zwei Dokumente einander widersprechen, entscheiden Sie, welches gilt.
• Legen Sie pro Dokument fest, wer es pflegt und in welchem Rhythmus es geprüft wird.

Ich gebe dir eine Liste interner Dokumente mit Titel und letztem Änderungsdatum. Hilf mir bei einer Inventur für einen Wissens-Assistenten.
Schlage je Dokument eine Einordnung vor: 'aktuell behalten', 'überarbeiten' oder 'archivieren', und nenne deinen Grund (z. B. Alter, vermutete Dubletten, unklarer Titel).
Markiere Dokumente, die sich vermutlich widersprechen oder überschneiden, damit ich sie zuerst prüfe.
Liste am Ende offene Fragen auf, die nur ein Mensch klären kann.
Dokumente: [Liste einfügen].

Phase 3: Dokumente anbinden und Belegpflicht erzwingen

Jetzt verbinden Sie den gepflegten Bereich mit einem KI-Assistenten. Der entscheidende Schritt ist nicht das Hochladen, sondern die Anweisung: Der Assistent darf nur aus den bereitgestellten Dokumenten antworten, muss die Quelle nennen und bei fehlender Deckung passen. Diese Anweisung ist Ihre wichtigste Sicherung gegen Halluzinationen.

Du bist ein Wissens-Assistent für unser Unternehmen. Regeln, die du immer einhältst:
1) Beantworte Fragen ausschließlich auf Basis der bereitgestellten Dokumente. Nutze kein Allgemeinwissen.
2) Nenne zu jeder Aussage die Quelle: Dokumentname und, wenn möglich, Abschnitt oder Seite.
3) Steht die Antwort nicht oder nur teilweise in den Dokumenten, sage das klar (z. B. 'In den vorliegenden Unterlagen nicht gedeckt') und rate nicht.
4) Widersprechen sich Dokumente, weise darauf hin und nenne beide Quellen, statt eine auszuwählen.
5) Antworte formell in der Sie-Form, knapp und ohne Ausschmückung.
Bestätige diese Regeln kurz und warte dann auf die erste Frage.

Phase 4: Testen, messen, freigeben

Bevor das ganze Team heran darf, prüfen Sie an echten Fragen, ob der Assistent belegt und ehrlich antwortet. Bauen Sie dafür ein kleines Prüfset: Fragen, deren richtige Antwort Sie kennen, plus ein paar Fragen, deren Antwort absichtlich NICHT in den Dokumenten steht. So sehen Sie beides: ob er findet, was da ist, und ob er ehrlich passt, wenn nichts da ist.

• Sammeln Sie 15 bis 25 echte Fragen, davon einige ohne Antwort in der Basis (Fangfragen).
• Lassen Sie den Assistenten alle beantworten und prüfen Sie je Antwort: richtig, Quelle korrekt, und bei Fangfragen ehrlich 'weiß ich nicht'?
• Notieren Sie die Trefferquote und vor allem die Halluzinationsquote (erfundene oder falsch belegte Antworten).
• Schärfen Sie nach: fehlende Dokumente ergänzen, missverständliche Stellen klären, die Anweisung präzisieren.
• Geben Sie erst frei, wenn die Halluzinationsquote im Prüfset nahe null liegt.

Hilf mir, ein Prüfset für unseren Wissens-Assistenten zu erstellen.
Ich beschreibe dir den Wissensbereich: [Bereich beschreiben].
Schlage mir 20 realistische Testfragen vor, gemischt aus:
a) typischen Mitarbeiterfragen,
b) selteneren Detailfragen,
c) drei bis vier Fangfragen, deren Antwort vermutlich NICHT in einem normalen Handbuch steht.
Markiere je Frage die erwartete Art der richtigen Reaktion ('belegte Antwort' oder 'ehrlich passen').
Gib das als Tabelle aus, die ich als Prüfprotokoll nutzen kann.

Ein durchgerechnetes Beispiel: Service-Handbücher beim Maschinenbauer

Ein Maschinenbauer mit 80 Mitarbeitern hat den Außendienst und den telefonischen Support, die ständig in Handbüchern, Schaltplänen und Wartungsanleitungen nach Details suchen. Bisher ruft der Techniker im Zweifel einen erfahrenen Kollegen an. So sieht derselbe Bedarf mit einem Wissens-Assistenten auf Stufe 2 aus:

• Bereich: nur die aktuellen Service- und Wartungshandbücher der drei meistverkauften Maschinenreihen, sauber aufgeräumt.
• Frage des Technikers: 'Welches Anzugsmoment gilt für die Hauptspindel der Reihe X?'
• Antwort des Assistenten: der konkrete Wert plus Quelle ('Wartungshandbuch X, Abschnitt 4.2').
• Fangfall: Fragt jemand nach einer Maschine, deren Handbuch nicht eingebunden ist, antwortet der Assistent 'nicht gedeckt', statt zu raten.
• Freigabe: In der Pilotphase prüft ein erfahrener Techniker Stichproben, bevor Antworten als verlässlich gelten.
• Vorher rund 12 Minuten Suchen oder Rückfrage pro Fall, nachher rund 2 Minuten. Beispielzahlen, im Pilot mit Ihren echten Werten messen.

So setzen Sie es um (zwei Wege, ohne Programmierer)

Für die erste Version brauchen Sie keine Entwickler. Wählen Sie nach Sensibilität der Daten und danach, ob die Basis stabil oder ständig im Fluss ist.

• Weg A (ohne Technik, rund eine Stunde): In ChatGPT (Projects) oder Claude (Projects) ein Projekt anlegen, die aufgeräumten Dokumente des Bereichs hochladen und die Anweisung mit Belegpflicht als Projekt-Anweisung hinterlegen. Ideal, um an einem kleinen, stabilen Bereich zu beweisen, dass es trägt.
• Weg B (zentral für das Team, mit Rechten): Microsoft Copilot Studio (wenn Sie ohnehin Microsoft 365 nutzen) oder eine spezialisierte RAG-Lösung mit EU-Hosting. Hier binden Sie eine Dokumentenquelle an, können Zugriffsrechte abbilden und stellen den Assistenten dem Team bereit. Mehr Einrichtung, dafür aktuell und für alle nutzbar.
• Empfehlung: erst Weg A für den Beweis an einem Bereich, dann erst in Weg B investieren. Den Anbieter wechseln Sie später leichter als eine schlecht gepflegte Wissensbasis.

Für Fortgeschrittene: RAG sauber bauen (so betreiben wir es)

Wenn die erste Version trägt, trennen ein paar Techniken den brauchbaren Assistenten von einem, dem das Team wirklich vertraut. Genau diese nutzen wir in unseren eigenen dokumentengestützten Systemen. Wer technisches Personal hat, sollte hier ansetzen.

• Chunking (Zerlegen): Dokumente werden in Abschnitte zerlegt, bevor sie durchsuchbar werden. Schneiden Sie entlang der Bedeutung (Überschriften, Absätze), nicht stur nach Zeichenzahl, und lassen Sie Abschnitte leicht überlappen, damit kein Satz mitten im Gedanken abbricht. Richtwert: einige hundert Wörter je Abschnitt, im Pilot justieren.
• Embeddings und Vektorsuche: Jeder Abschnitt wird in einen Zahlenvektor übersetzt, der seine Bedeutung abbildet. Eine Frage wird ebenso übersetzt, und das System holt die Abschnitte mit der ähnlichsten Bedeutung. So findet es auch dann, wenn der Nutzer andere Worte verwendet als das Dokument.
• Retrieval mit Metadaten und Re-Ranking: Geben Sie jedem Abschnitt Metadaten (Quelle, Datum, Bereich, Freigabestatus) und filtern Sie darüber. Ein zweiter Schritt (Re-Ranking) sortiert die gefundenen Abschnitte nach echter Relevanz, bevor das Modell antwortet. Das hebt die Qualität spürbar.
• Belegpflicht und Quellen-Scoping: Erzwingen Sie technisch, dass nur die abgerufenen Abschnitte als Grundlage dienen und jede Antwort ihre Quelle mitführt. Grenzen Sie pro Anfrage den durchsuchbaren Bestand ein (Scoping), zum Beispiel auf den Bereich oder die Berechtigung des Nutzers.
• Eval-Set gegen Halluzinationen: Pflegen Sie ein festes Set aus Fragen mit bekannten Antworten plus Fangfragen ohne Deckung. Lassen Sie es nach jeder größeren Änderung automatisch durchlaufen und messen Sie Trefferquote, Quellen-Genauigkeit und Halluzinationsquote. Ohne Eval-Set merken Sie Verschlechterungen erst, wenn das Team das Vertrauen verliert.
• Aktualisierungs-Pipeline: Legen Sie fest, wie neue oder geänderte Dokumente in die Basis kommen und alte verschwinden. Sauber ist eine wiederkehrende Aktualisierung (zum Beispiel nächtlich oder bei Änderung), die nur freigegebene Dokumente aufnimmt und archivierte zuverlässig entfernt. Veraltetes, das im Index bleibt, ist die häufigste Quelle falscher Antworten.
• Zugriffsrechte (Berechtigungen je Nutzer): Spiegeln Sie Ihre bestehenden Berechtigungen in den Assistenten. Wer ein Dokument im Original nicht sehen darf, darf auch keine Antwort daraus bekommen. Technisch über Metadaten je Abschnitt und einen Rechte-Filter vor dem Retrieval. Sonst wird der Assistent zum Datenleck.

Werkzeuge und Kosten (Richtwerte, Stand 2026, aktuellen Tarif prüfen)

Erst der Bereich und die Datenpflege, dann das Werkzeug. Der größere Aufwand steckt fast immer in der Pflege, nicht in der Lizenz.

• Microsoft Copilot Studio: naheliegend, wenn Sie ohnehin Microsoft 365 nutzen und Rechte aus SharePoint abbilden wollen. Kosten je nach Microsoft-365- und Copilot-Tarif, im Lizenzmodell prüfen.
• Claude (Team) oder ChatGPT Team mit Projects: schnell für Weg A an einem abgegrenzten Bereich. Rund 25 bis 30 Euro pro Nutzer und Monat.
• Spezialisierte RAG-Lösung mit EU-Hosting: für sensible Inhalte und feinere Kontrolle über Chunking, Rechte und Aktualisierung. Preis stark abhängig von Volumen und Hosting, Angebote einholen.
• Beim Selbstbauen kommen Kosten für Embeddings und Modellabfragen hinzu, meist gering im Verhältnis zur gesparten Zeit. Im Pilot mit echtem Volumen messen.

Rechenbeispiel zum Nachrechnen

Beispielzahlen, im Pilot mit Ihren echten Werten ersetzen.

• 10 Mitarbeiter suchen oder fragen täglich rund 15 Minuten nach Informationen in Dokumenten.
• Das sind 150 Minuten pro Tag, also rund 12,5 Stunden pro Woche im Team.
• Halbiert der Assistent die Suchzeit, sparen Sie rund 6 Stunden pro Woche. Schon das ist deutlich spürbar.
• Werkzeug- und Pflegeaufwand stellen Sie diesen gesparten Stunden zu Ihrem internen Stundensatz gegenüber.
• Wichtig: Der eigentliche Wert liegt oft nicht nur in der Zeit, sondern darin, dass weniger Fehler aus veraltetem oder falsch erinnertem Wissen entstehen. Schwer zu beziffern, aber real.

Häufigste Fehler

• Den ganzen Datenbestand auf einmal anbinden. Klein und sauber starten, dann erweitern.
• Veraltete oder widersprüchliche Dokumente drinlassen. Falsche, selbstbewusst klingende Antworten zerstören das Vertrauen schneller, als gute Antworten es aufbauen.
• Antworten ohne Quelle akzeptieren. Belegpflicht ist nicht verhandelbar.
• Kein Eval-Set. Ohne feste Prüfung merken Sie Halluzinationen erst, wenn das Team sie längst bemerkt hat.
• Zugriffsrechte vergessen. Ein Assistent, der allen alles beantwortet, kann Vertrauliches verraten.
• Die Datenpflege nicht klären. Ohne Verantwortliche und Rhythmus verfällt die Basis und mit ihr die Qualität.

Häufige Fragen

• Brauche ich Programmierer? Für die erste Version an einem Bereich meist nein (Weg A). Für eine teamweite Lösung mit Rechten und Aktualisierung hilft technische Unterstützung.
• Erfindet die KI Antworten? Das ist das Hauptrisiko. Mit Belegpflicht, Quellen-Scoping und einem Eval-Set begrenzen Sie es stark. Ganz ausschließen lässt es sich nie, deshalb bleibt die Quellenangabe Pflicht.
• Was ist mit veralteten Dokumenten? Die sind die häufigste Fehlerquelle. Eine klare Aktualisierungs-Pipeline, die nur freigegebene Dokumente aufnimmt und alte entfernt, ist Pflicht, nicht Kür.
• Sehen alle Mitarbeiter alles? Nur, wenn Sie es zulassen. Spiegeln Sie Ihre bestehenden Zugriffsrechte in den Assistenten, sonst wird er zum Datenleck.
• Sind meine Dokumente sicher? Mit EU-gehosteten Werkzeugen, Auftragsverarbeitungsvertrag und der Zusage, dass nicht auf Ihren Daten trainiert wird: ja, mit den üblichen Sorgfaltspflichten.

DSGVO und EU AI Act in einem Absatz

Interne Dokumente enthalten oft Personenbezogenes und Vertrauliches. Prüfen Sie vor dem Start: EU-Hosting, ein Auftragsverarbeitungsvertrag und die ausdrückliche Zusage, dass Ihre Inhalte nicht zum Training des Anbieters verwendet werden. Bilden Sie Zugriffsrechte sauber ab, damit niemand über den Assistenten an Dokumente kommt, die er im Original nicht sehen dürfte. Dokumentieren Sie Zweck und Datenquellen. Weitere Pflichten des EU AI Act greifen ab Dezember 2027. Im DACH-Raum ist es ein Vorteil, das von Anfang an mitzudenken, statt es nachzurüsten.

Wann Sie es lassen sollten

Wenn Ihr Wissen unsortiert, veraltet oder voller Widersprüche ist, räumen Sie erst auf, sonst gilt: Müll rein, Müll raus. Wenn das relevante Wissen vor allem in Köpfen statt in Dokumenten steckt, bringt ein Assistent auf Dokumenten wenig, dann ist Verschriftlichung der erste Schritt. Und wo eine falsche Auskunft teuer oder gefährlich wäre (etwa sicherheitskritische oder rechtsverbindliche Auskünfte), bleibt die menschliche Prüfung Pflicht, der Assistent liefert dort höchstens den Entwurf mit Quelle.

Ihr 30-Tage-Start

• Woche 1: Einen Bereich wählen (Bereichs-Prompt), Inventur machen, aufräumen und Widersprüche auflösen.
• Woche 2: Weg A aufsetzen (ChatGPT- oder Claude-Projekt), Dokumente hochladen, die Anweisung mit Belegpflicht hinterlegen, erste Fragen testen.
• Woche 3: Prüfset aus echten Fragen plus Fangfragen bauen und durchlaufen lassen, Trefferquote und Halluzinationsquote messen, nachschärfen.
• Woche 4: An eine kleine Pilotgruppe freigeben, gesparte Suchzeit messen, entscheiden (ausbauen oder lassen). Bei Erfolg Weg B mit Rechten und Aktualisierung planen.

Woher das kommt

Dieses Playbook beruht nicht auf Theorie, sondern auf Systemen, die wir selbst betreiben. Wir arbeiten täglich mit dokumentengestützten Assistenten und kennen die Stolpersteine aus der Praxis, allen voran die Datenpflege, die Belegpflicht und das Eval-Set gegen Halluzinationen. Genau deshalb stehen diese Punkte hier so weit vorn. Was hier steht, haben wir an eigenen Wissensbeständen gebaut, gemessen und nachgeschärft. Wir reden nicht über KI, wir setzen sie selbst um.