Teil 3 der Reihe „KI verstehen“. In Teil 2 haben wir gesehen: Ein Sprachmodell schlägt nicht nach, es formuliert das Wahrscheinlichste. Daraus folgt direkt das größte Risiko im Alltag — Antworten, die überzeugend klingen und trotzdem falsch sind.
Eines meiner ersten KI-Themen bei SAP war ein Doku-Tool: Es durchsucht Dokumentation und beantwortet Fragen dazu. Bei so einem Werkzeug steht eine Frage über allen anderen — woher weiß ich, dass die Antwort stimmt? Genau darum geht es in diesem Beitrag.
Was „Halluzination“ bedeutet
Von Halluzination spricht man, wenn eine KI Dinge erfindet und sie so darstellt, als wären sie Tatsachen: ein Urteil, das es nie gab. Eine Studie mit falschem Autor. Eine Produkteigenschaft, die niemand gebaut hat. Das Tückische: Die falsche Antwort klingt genauso sicher wie eine richtige.
Die KI lügt dabei nicht. Sie hat keine Absicht und kein Wissen darüber, was wahr ist. Sie erzeugt Text, der zu den Mustern passt, die sie gelernt hat. Fehlt ihr die passende Information, füllt sie die Lücke mit etwas, das plausibel aussieht.
Eine KI weiß nicht, was sie nicht weiß. Deshalb klingt eine erfundene Antwort genauso überzeugt wie eine richtige.
Zwei Fälle, die zeigen, was auf dem Spiel steht
- Die erfundenen Urteile (2023, Mata v. Avianca): Ein New Yorker Anwalt reichte in einem Verfahren gegen die Fluggesellschaft Avianca einen Schriftsatz ein, dessen Präzedenzfälle ChatGPT erfunden hatte. Das Gericht verhängte eine Geldstrafe. Der Anwalt hatte die Fälle nicht geprüft — er hatte die KI sogar gefragt, ob sie echt seien, und ein Ja bekommen.
- Der Chatbot von Air Canada (2024, Moffatt v. Air Canada): Der Kundenchat der Airline gab einem Fluggast eine falsche Auskunft zu einem Trauerfall-Tarif. Die Airline argumentierte, sie sei für die Aussagen ihres Chatbots nicht verantwortlich. Ein kanadisches Schiedsgericht sah das anders — das Unternehmen haftet für das, was sein Chatbot sagt.
Beide Fälle haben dieselbe Lehre: Die Verantwortung bleibt beim Menschen und beim Unternehmen, nie bei der KI.
Warnsignale: Hier solltest du genauer hinschauen
- Exakte Zahlen, Daten und Zitate ohne Quelle — gerade die klingen besonders glaubwürdig.
- Quellenangaben, Paragrafen oder Links, die du nicht selbst geöffnet hast. Erfundene Quellen sind ein Klassiker.
- Sehr spezielle Details zu Nischenthemen, über die es kaum öffentliche Informationen gibt.
- Aktuelle Ereignisse, wenn das Werkzeug nicht im Internet sucht.
- Widersprüche, wenn du dieselbe Frage anders formulierst.
So prüfst du Antworten im Alltag
- Quellen verlangen — und öffnen. Lass dir sagen, woher eine Aussage stammt, und schau die Quelle selbst an. Existiert sie? Steht da wirklich das?
- Anders fragen. Stell dieselbe Frage mit anderen Worten oder in einem neuen Gespräch. Weichen die Antworten stark voneinander ab, ist Vorsicht geboten.
- Kritische Fakten unabhängig prüfen. Alles, was in ein Angebot, einen Vertrag oder eine Entscheidung fließt, gehört gegen eine verlässliche Quelle gecheckt.
- Nach Unsicherheit fragen. „Welche Teile deiner Antwort sind unsicher?“ hilft oft — ersetzt aber keine Prüfung, denn auch diese Einschätzung kann danebenliegen.
- Vier-Augen-Prinzip bei Wichtigem. Was nach außen geht oder Folgen hat, liest ein Mensch mit Fachwissen gegen.
Wie man Halluzinationen technisch deutlich reduziert
Die wirksamste Methode ist dieselbe, auf der auch Doku-Tools beruhen: Man lässt die KI nicht aus dem Gedächtnis antworten, sondern gibt ihr die passenden Dokumente mit. Fachleute nennen das Retrieval-Augmented Generation, kurz RAG. Das System sucht zuerst die relevanten Textstellen heraus und formuliert die Antwort nur daraus.
Gut gebaut, bringt das drei Vorteile:
- Die Antwort stützt sich auf deine geprüften Unterlagen statt auf allgemeines Trainingswissen.
- Das System kann die Fundstelle mitliefern, sodass du mit einem Klick nachprüfen kannst.
- Es darf ausdrücklich sagen: „Dazu steht nichts in den Unterlagen.“ Diese ehrliche Lücke ist mehr wert als eine erfundene Antwort.
Auf null bringt auch das die Fehlerquote nicht. Die KI kann eine Textstelle falsch zusammenfassen oder zwei Stellen unzulässig verbinden. Deshalb gehört die Fundstelle immer mit auf den Tisch.
Was das für Unternehmen heißt
Meine klare Empfehlung: Eine KI, die Fragen zu deinem Unternehmen beantwortet, sollte immer aus deinen eigenen, gepflegten Unterlagen schöpfen und ihre Fundstelle zeigen — alles andere ist ein Risiko, das man nicht eingehen muss. Lege fest, wo KI allein antworten darf und wo nicht. Ein interner Entwurf für eine E-Mail ist etwas anderes als eine verbindliche Auskunft an Kunden. Je größer die Folgen eines Fehlers, desto wichtiger sind geprüfte Quellen und ein Mensch, der freigibt.
Häufige Fragen
Kann man Halluzinationen ganz verhindern?
Nein. Man kann sie stark reduzieren — mit eigenen Dokumenten als Grundlage, Quellenangaben und klaren Regeln —, aber nicht vollständig ausschließen. Prüfen bleibt Pflicht.
Halluziniert eine KI mit Internetsuche weniger?
Meist ja, weil sie sich auf gefundene Seiten stützt. Sie kann diese Seiten aber falsch lesen oder unzuverlässige Quellen erwischen. Auch hier gilt: Quellen öffnen.
Woran erkenne ich eine erfundene Quelle?
Indem du sie aufrufst. Führt der Link ins Leere, gibt es den Titel nicht oder steht dort etwas anderes, war die Quelle erfunden oder falsch zugeordnet.
Die Reihe „KI verstehen“
Teil 1: Woher KI eigentlich kommt
Teil 2: Wie ein Sprachmodell funktioniert — ohne Mathematik
Teil 3: Warum KI halluziniert und wie du falsche Antworten erkennst (dieser Beitrag)
Teil 4: Was KI im Unternehmen heute wirklich kann
Teil 5: Daten, Datenschutz und der EU AI Act
Teil 6: KI einführen, ohne dass es ein IT-Projekt wird, das scheitert
Titelbild: KI-generiert mit Midjourney.
Über den Autor
Tino Kaufmann ist Gründer von TKC – Tino Kaufmann Consulting in Dresden und begleitet Unternehmen bei ERP-Einführung, Cloud-Architektur und dem sinnvollen Einsatz von KI. Nach zwölf Jahren SAP- und Cloud-Architektur — zuletzt als Development Manager bei der SAP SE — und sieben Jahren in Führung und Teamentwicklung gründete er im Januar 2026 sein eigenes Unternehmen. Er ist zertifizierter Ausbilder (AdA) und Odoo Learning Partner.
→ Website · LinkedIn · Erstgespräch buchen