Klingt vielleicht etwas plakativ, aber doch ganz nett, nicht wahr? Einziges Problem: Das Buch existiert nicht, auch wenn es keine Mühe kostet, sich auch noch das passende Cover generieren zu lassen.
Das hübsche Cover ist nach einem von mir erstellten, ausführlich beschreibenden Prompt pflichtgetreu entworfen. Für die Inhaltszusammenfassung liegen die Dinge allerdings anders. ChatGPT hat schlicht und einfach eine Handlung erfunden, einzig und allein auf Grundlage des angegebenen Titels „Uschi und das Drachenbaby“ und des – angesichts des Titels allerdings schon überflüssigen – Hinweises, dass es sich um ein Kinderbuch handeln soll. Überdies verbindet es, wie für eine einfache Rezension typisch, die rudimentäre Inhaltsangabe mit einer Leseempfehlung, wobei es sogar noch die Illustrationen des nicht existenten Buches preist.
Warum und wie es zu solchen „Halluzinationen“ – im Extremfall zu einer kompletten Erfindung von Inhalten ohne jeden realen Hintergrund – kommt, versteht man am besten, wenn man sich etwas gründlicher mit der Funktionsweise von Large Language Models auseinandersetzt, ganz grob sei es aber auch hier erklärt. Man könnte es auf die einfache Formel bringen: „Die Masse macht’s“. Neuer Text wird grundsätzlich auf der Basis alter Texte generiert, die das System als sogenannte Trainingsdaten „gelesen“ hat, wobei ich „gelesen“ in Anführungszeichen setze, weil man sich keinesfalls vorstellen darf, dass das System inhaltliche Informationen aufnimmt – es stellt lediglich Berechnungen mit den Wörtern und ihrer Aufeinanderfolge an. Bei den Trainingsdaten handelt es sich um eine gigantische Datenmenge. Die Generierung neuen Texts folgt dann ganz einfach dem Prinzip der Wahrscheinlichkeit: Das System „liest“ den Input und sortiert alle Wörter, die für den Beginn seiner Antwort zur Verfügung stehen, nach Wahrscheinlichkeiten. Bestimmte Mechanismen steuern, dass nicht immer das wahrscheinlichste Wort gewählt wird, sondern nur eines der wahrscheinlichsten (andernfalls hätten wir ein deterministisches System, das auf dieselbe Frage immer exakt dieselbe Antwort geben würde). Einmal begonnen, bezieht das Tool das erste gewählte Wort der Antwort mit ein und entscheidet auf der Grundlage dieses erweiterten Inputs erneut, wie der Output weitergeht, entscheidet also über das zweite Wort usw. usf. Das alles allerdings in einer Geschwindigkeit, die uns nicht wahrnehmen lässt, dass hier eine sukzessive Entscheidung über jedes einzelne Wort getroffen wird.
Was heißt das ganz praktisch für unser Beispiel? ChatGPT hat viele (Kinderbuch-)Rezensionen unter seinen Trainingsdaten, die mit der Nennung von Autor und Werk starten, was es aufgrund der hohen Wahrscheinlichkeit hier übernimmt. Viele Kinderbücher werden als „bezaubernd“ bezeichnet, was es ebenfalls aufgreift. Und so geht es weiter. Wir können im Prinzip aus der Antwort (vage) Rückschlüsse auf die Gesamtheit der Texte (d.h. speziell der Rezensionen) ziehen, die ChatGPT als Trainingsdaten vorgelegen haben (bzw. die es – je nach Systemversion und Einstellungen – im Online-Zugriff zusätzlich zum direkten Input beziehen kann). Denn aus diesen Texten speist sich die Art des Outputs.
Vor diesem Hintergrund wird auch verständlich, warum unbearbeiteten KI-Texten oft etwas Schematisches anhaftet – wie auch hier an der Rezension gut erkennbar! KI-Texte sind sozusagen eine konkrete Ausformung einer „Standardversion“ (ja, hier findet unweigerlich eine Stereotyp-Verstärkung statt!). Und noch ein anderer Gedanke knüpft hier an, der besonders bei Songwriting-KIs immer wieder diskutiert wird, die im Wesentlichen auf denselben Prinzipien basieren: Die dem System „gefütterten“ Texte bzw. Songs bestimmen den Output, wenn auch bei hinreichend großem Trainingsdatensatz in der Regel in nicht wirklich greifbarer Weise – hierin aber begründet sich der Ärger von Musikschaffenden, die ihr Urheberrecht betroffen sehen. (Wobei zu bedenken ist, dass auch menschliche Kreateure nicht aus dem Nichts schaffen, sondern sozusagen in einem breiten Kulturstrom stehen und bewusst oder unbewusst auf Früheres zurückgreifen.)
Sprachmodelle in ihrer „Urform“ sind darauf angelegt, immer einen Output zu generieren, der eine plausible (= wahrscheinliche), wenn auch vielleicht völlig aus der Luft gegriffene Antwort auf die Frage bzw. den Input liefert. Inzwischen hat man, weil Halluzinationen ein Kernproblem der Generativen KI sind, Mittel und Wege gefunden, die Problematik etwas zu entschärfen. Dafür gibt es auf Systemebene im Wesentlichen zwei Möglichkeiten: Die Entwickler können einem Tool in den sogenannten Systemnachrichten, die das Basisverhalten der Systeme bestimmen und mit jedem Prompt automatisch eingelesen werden, auftragen, im Falle von Unsicherheit keine Antwort zu geben bzw. eben die Unkenntnis zu bekunden; ein entsprechendes Verhalten kann auch durch das sogenannte Posttraining (bzw. Fine-Tuning) erzielt werden, bei dem man das System mit einer gewissen Anzahl von Musterantworten konfrontiert, die das Verweigern einer Antwort bzw. das Bekenntnis zum Nichtwissen als erstrebenswerte Variante vorexerzieren (vgl. Abschnitt „Training“). Und auch der User selbst kann mit seinem Prompting dafür sorgen, dass die Halluzinationsgefahr sinkt, indem er das System auffordert, die Antworten zu überprüfen oder ggf. zu belegen und keinesfalls irgendetwas zu erfinden, oder indem er selbst möglichst konkreten Kontext liefert (s. Prompting/Prompt-Engineering). Aber selbst ein solches Prompting reduziert zwar Halluzinationen, schützt aber nicht vollständig vor ihnen. Dasselbe gilt auf Systemebene: Wenn man ChatGPT von OpenAI mit Claude von Anthropic vergleicht, stellt man zum Beispiel fest, dass Claude tendenziell „vorsichtiger“ und sicherheitsorientierter konzipiert ist (um den Preis, dass auch positives Potential ausgehebelt wird). Ein vollständiger Schutz vor Halluzinationen ist aber unmöglich, sie sind unmittelbar in der Funktionsweise der Systeme begründet, ihr sozusagen inhärent. Man kann Halluzinationen ein Stück weit entgegenwirken, sie aber nie komplett ausschalten.
Meine erste Erfahrung mit ChatGPT (noch in der Frühzeit des Tools) habe ich mit einer Testfrage nach Schönbergs Opus 7 gemacht, einem Streichquartett, das mir allerdings zunächst als „Klavierstück“, dann als „Chorwerk“ verkauft wurde, mit Korrekturen nur auf meinen Widerspruch hin („Entschuldigen Sie die Verwirrung.“) Im ersten Moment belächelte ich das System, erst später wurde mir der Zusammenhang klar: Hätte ich im Input „Streichquartett op. 7“ geschrieben, hätte ich vermutlich richtigere Informationen zum Werk erhalten, das bloße „Opus 7“ aber genügte nicht, um die richtige Bahn zu Schönbergs Streichquartett zu legen, und die Wahrscheinlichkeiten drifteten in andere Richtungen (wobei auf der Hand liegt, dass in den Trainingsdaten nicht viele Texte zum Streichquartett Op. 7 vorhanden waren, hingegen etliche „Opus 7“ anderer Gattungen von anderen Komponisten auftauchten). Heißt also: Mehr Kontext im Prompt reduziert Halluzinationen!
Ob Fehlinformationen im Detail, ob vollständige Halluzinationen wie oben anhand der Rezension demonstriert – man kann sich gar nicht gut genug bewusst machen, dass KI keine Faktenquelle ist. Dass das Kontextfenster, in das wir die Anfrage eingeben, wie eine Suchmaske aussieht, leitet die Erwartung hier leicht fehl. KI entfaltet ihre Stärke nicht in der zuverlässigen Wiedergabe überprüfbarer Fakten, es geht bei ihrem Einsatz um ganz andere Fähigkeiten. Sie ist nicht für faktische Verlässlichkeit optimiert bzw. optimierbar!
Der Disclaimer bei ChatGPT ist klein und unscheinbar und erscheint konstant unter dem Dialog: „ChatGPT kann Fehler machen. Überprüfe wichtige Informationen.“ Jeder Nutzer von KI muss sich diese Warnung dick hinter die Ohren schreiben, sie ist geradezu eine Prämisse aller Arbeit mit KI.
Das heißt konkret: Wo inhaltliche Korrektheit wichtig ist, ist ein Nachprüfen unerlässlich. Oft ist das Prüfen aber leichter und schneller gemacht als die Antwortfindung aus dem Nichts, so dass der Einsatz von KI dennoch lohnend sein kann. Wo inhaltliche Korrektheit von Bedeutung ist und ich nicht prüfen kann, weil mir die Kompetenz fehlt, ist eine KI-Lösung – das muss in aller Deutlichkeit gesagt werden – schlichtweg unangemessen!
Die Weitergabe möglicherweise halluzinierter „Fakten“ kann sich übel rächen, wie schon US-amerikanische Rechtsanwälte erfahren mussten, die sich auf von ChatGPT vorgegaukelte Präzedenzfälle beriefen, oder ein deutscher Student, der einen nie gehaltenen Vortrag seines Professors in das Literaturverzeichnis seiner Abschlussarbeit aufnahm. Ich kann da eine gewisse Schadenfreude nicht verhehlen.
