Chatbot mit eigenen Daten: RAG erklärt

Ein Sprachmodell kennt Ihre Preislisten, Handbücher und internen Richtlinien nicht. Fragt ein Kunde danach, antwortet das Modell trotzdem, aber nach dem, was es beim Training gelernt hat, und nicht nach Ihren Unterlagen. Ein Chatbot mit eigenen Daten löst das Problem anders: Er sucht zuerst die passenden Stellen in Ihren Dokumenten und lässt das Modell erst danach antworten.

Dieses Verfahren heißt RAG, kurz für Retrieval-Augmented Generation. Frei übersetzt: durch Abruf ergänzte Textgenerierung. Das Modell bekommt vor der Antwort passende Textstellen aus einer Wissensquelle. In diesem Artikel erkläre ich, wie das funktioniert, was Sie davon erwarten können und was nicht.

Die Grundidee

Die Beschreibung von AWS und von Elastic deckt sich in einem Punkt: Das Modell bekommt vor der Antwort Informationen aus einer Wissensquelle außerhalb seines Trainings. Das Modell selbst wird dafür nicht neu trainiert. Das Verfahren geht auf eine Arbeit von Lewis und anderen aus dem Jahr 2020 zurück, die ein Sprachmodell mit einem durchsuchbaren Textspeicher koppelt.

Für Ihre Website heißt das: Ihre Unterlagen bilden die Grundlage der Antworten. Ändern Sie ein Dokument, ändert sich die Antwort, ohne dass jemand ein Modell neu trainiert.

So läuft eine Anfrage ab

Aus den Beschreibungen von AWS, Elastic und dem Leitfaden von Microsoft ergibt sich dieser Ablauf. Er hat zwei Teile.

Vorbereitung, einmal und bei jeder Änderung:

1. Ihre Dokumente werden in Abschnitte zerlegt.
2. Ein Embedding-Modell wandelt jeden Abschnitt in einen Vektor um, eine Zahlenreihe, die den Inhalt abbildet.
3. Die Vektoren landen in einer Vektordatenbank, die nach inhaltlicher Nähe suchen kann.

Bei jeder Frage:

1. Die Frage wird auf dieselbe Weise in einen Vektor umgewandelt.
2. Die Datenbank liefert die Abschnitte, die der Frage inhaltlich am nächsten liegen.
3. Diese Abschnitte werden zusammen mit der Frage an das Sprachmodell geschickt.
4. Das Modell formuliert die Antwort anhand dieser Abschnitte.

Dass die Abschnitte als Teil der Anfrage beim Modellanbieter ankommen, ist wichtig für den Datenschutz. Dazu unten mehr.

Was RAG gut kann

• Aktuell bleiben. Beide Beschreibungen nennen es als Vorteil: Die Wissensquelle lässt sich laufend aktualisieren, ohne das Modell anzufassen.
• Quellen nennen. Weil bekannt ist, aus welchen Abschnitten die Antwort stammt, kann der Chatbot sie angeben. Nutzer können nachlesen, statt blind zu vertrauen.
• Günstiger sein als Neutraining. AWS und Elastic führen übereinstimmend an, dass RAG den Aufwand für das erneute Trainieren oder Feinabstimmen eines Modells vermeidet.

Wo RAG an Grenzen stößt

Ich möchte keine falschen Erwartungen wecken. RAG macht einen Chatbot besser nachprüfbar, aber nicht fehlerfrei.

• Die Antwort ist nur so gut wie die Quelle. Elastic schreibt, dass falsche Quelleninformationen zu falschen Ergebnissen führen. Veraltete oder widersprüchliche Dokumente erzeugen entsprechende Antworten.
• Die falsche Textstelle führt zur falschen Antwort. Nach dem Leitfaden von Microsoft können irrelevante Informationen im Prompt zu ungenauen oder unpassenden Antworten führen.
• Abschnitte verlieren ihren Zusammenhang. Wird ein Dokument zerlegt, fehlt einem Abschnitt unter Umständen die Umgebung. Anthropic zeigt das an einem Satz über ein Umsatzwachstum, der weder Firma noch Zeitraum nennt. Der Leitfaden von Microsoft nennt zu kleine Abschnitte als Risiko.
• Die Suche kann danebenliegen. Neben der Suche nach inhaltlicher Nähe gibt es die klassische Volltextsuche, und beide lassen sich kombinieren. Anthropic und Microsoft führen diese Hybridsuche als Möglichkeit auf. Welche Mischung zu Ihren Dokumenten passt, zeigt nur ein Test.

Eine fehlerfreie Antwort kann deshalb niemand versprechen: falsche oder unpassend gefundene Textstellen führen zu falschen Antworten. Ich gebe keine Prozentzahlen für die Trefferquote an. Die KI liefert einen Vorschlag, die Entscheidung bleibt bei Ihnen.

Was vor dem Start zu klären ist

Welche Dokumente sollen hinein?

Eine Auswahl ist besser als alles. Entscheiden Sie, welche Unterlagen verbindlich gelten, und lassen Sie Entwürfe, Altversionen und Dubletten draußen.

In welchem Zustand sind sie?

Bei Scans und Dokumenten mit Tabellen oder Grafiken kommt zusätzlicher Aufbereitungsaufwand hinzu; Microsoft beschreibt das für Bilder. Die Aufbereitung kann deshalb ein eigenes Teilprojekt werden, siehe Was kostet ein KI-Chatbot?.

Wer darf was sehen?

Enthalten Ihre Unterlagen Inhalte, die nicht jeder Nutzer lesen soll, muss das im Aufbau berücksichtigt werden. Das gehört vor den Start, nicht danach.

Wie bleibt der Bestand aktuell?

Jemand muss entscheiden, wann ein geänderter Text in den Chatbot übernommen wird: automatisch, nach Freigabe oder in festen Abständen.

Welche Daten verlassen Ihr System?

Nutzen Sie einen Cloud-Dienst für Embeddings oder Sprachmodell, gehen Ihre Textabschnitte an diesen Anbieter. Ob Ihre Vorgaben zu Datenschutz und Sicherheit diesen Weg erlauben, sollten Sie vorher klären. Standort und Anbieter legen wir gemeinsam fest. Bei der technischen Umsetzung berücksichtige ich die Anforderungen der DSGVO; ob der Einsatz im Einzelfall rechtmäßig ist, bewertet Ihre Datenschutzberatung. Eine Rechtsberatung ist das nicht.

Woran messen wir, ob es funktioniert?

Sammeln Sie vorab echte Fragen Ihrer Kunden. Mit dieser Liste lässt sich die Lösung vor dem Livegang prüfen. Ohne sie bleibt der Eindruck subjektiv.

RAG oder Chatbot ohne eigene Daten?

Nicht jeder Chatbot braucht RAG. Beantwortet er nur allgemeine Fragen oder folgt einem festen Ablauf, reicht ein Sprachmodell mit guter Anweisung. RAG lohnt sich, wenn Antworten auf Ihren eigenen, veränderlichen Unterlagen beruhen sollen: Produktdokumentation, Richtlinien, Handbücher, Hilfeseiten.

Soll der Chatbot darüber hinaus handeln, etwa Daten abfragen oder Vorgänge anlegen, kommen KI-Agenten und MCP-Server ins Spiel. Geht es um das Auslesen und Prüfen einzelner Dokumente, ist Dokumenten-KI der passende Ansatz.

Wie die Umsetzung in Ihre Website kommt

RAG ist ein Baustein im Chatbot. Hinzu kommen die Oberfläche auf Ihrer Seite, die Schnittstelle zum Sprachmodell, der Umgang mit Gesprächsverläufen und eine Übergabe an eine Person, wenn der Bot nicht weiterkommt. Technische Hinweise zum Einbinden finden Sie in KI-Chatbot auf Website einbinden. Welche Pflichten bei einem Chatbot auf der Website in Betracht kommen, beschreibe ich in KI-Chatbot: Pflichten und Grenzen.

Ich setze auf bestehende KI-Dienste, also API- und Cloud-Anbieter, auch aus der EU. Den Aufbau, den Einbau in Ihre Website oder Webanwendung, Hosting, Updates und Weiterentwicklung auf Wunsch finden Sie unter KI-Chatbot entwickeln lassen. Eine Übersicht aller KI-Leistungen steht unter KI-Integration.

Ihr nächster Schritt

Ob RAG zu Ihrem Vorhaben passt, lässt sich nach einem kurzen Gespräch einschätzen. Dafür brauche ich drei Angaben: Welches System läuft bei Ihnen? Aus welchen Dokumenten soll der Chatbot antworten, und in welchem Format liegen sie vor? Gibt es Vorgaben zum Standort?

Schreiben Sie mir über das Kontaktformular und schildern Sie kurz Ihr Vorhaben. Ich melde mich mit Rückfragen.