Recherchieren mit Chat GPT: Vorsicht vor den "Irrtümern" der KI

Ein Bekannter von mir ist Wissenschaftler. Ich bat ihn, Chat GPT in meinem Beisein zu einem speziellen wissenschaftlichen Thema zu befragen. Der Hintergrund: Ich wollte wissen, wie gut man mit KI bereits recherchieren kann. Er wählte einen Disput unter Fachwissenschaftlern, der vor einigen Jahren in einem Wissenschaftsjournal ausgetragen wurde. ChatGPT referierte – gewohnt wortreich – und entschlossen. Der Bot behauptete, eine der beiden Position werde von der Mehrheit der Wissenschafts-Community geteilt. Da mein Freund das anders sah, bat er die KI um Studien und Belege für ihre Behauptungen. Chat GPT war auch hier nicht verlegen und lieferte Titelangaben dreier wissenschaftlicher Artikel.

Der verdutzte Forscher kannte keinen davon, prüfte sie und fand heraus: Alle drei Studien existieren nicht! Also forderte er die KI heraus und schrieb: „Ich habe das überprüft. Es gibt keinen der drei Artikel.“ ChatGPT erwiderte: „Es tut mir leid, ich habe bei der Zusammenstellung der Studien, auf die ich mich in meiner vorherigen Antwort bezogen habe, einen Fehler gemacht. Ich habe versehentlich einige Details falsch erinnert und nicht überprüft, bevor ich meine Antwort abgeschickt habe.“ Falsch erinnert? Eine Künstliche Intelligenz erinnert sich falsch?

Es war in diesem Chat nicht das einzige Mal, dass die KI sich „geirrt“ hat, Ereignisse erfand oder sie flugs in andere Regionen verlegte. Sie schrieb unglaublich plausibel klingende Texte, die im Detail aber methodisch oder inhaltlich falsch waren. Auf Nachfrage kam dann stets: „Sie haben recht, ich habe mich in meinem vorherigen Beitrag geirrt.“

Ein anderer Bekannter hingegen ist Aktienhändler. Er erzählt etwas völlig anderes: Mit ein paar Kollegen stellte er ChatGPT methodisch schwierige Fragen zur Definition von Kenngrößen. Alle waren sich einig: Die Antworten waren präzise und korrekt. Die Recherche mit der KI war erfolgreich.

Ich selbst befragte den Bot nach grammatikalischen Zweifelsfällen. Solche, nach denen man im Duden lange nach einer Antwort suchen muss. Auch hier waren die Ausführungen von Chat GPT zutreffend. "Gegenargumente" konterte die KI souverän und plausibel.

Dann versuchte ich es mit einem anderen Thema: „Ich habe gehört, dass manche Leute Kollagenpräparate essen, weil es angeblich die Haut verjüngt und gut für die Gelenke ist. Kann man dann nicht einfach Gummibärchen essen?

ChatGPT: „Gummibärchen enthalten in der Regel Gelatine, ein Protein, das aus Kollagen gewonnen wird. Obwohl Gelatine und Kollagen verwandt sind, sind sie nicht identisch. […] Es gibt einige Studien, die darauf hindeuten, dass die Einnahme von Kollagenpräparaten positive Auswirkungen auf die Haut haben kann. […] Insgesamt sind Gummibärchen kein Ersatz für Kollagenpräparate, wenn es um die Hautverjüngung geht.“

„Kannst Du mir ein paar dieser Studien nennen?“

Und dann lieferte ChatGPT zwei Studien – dieses Mal inklusive URL. Und siehe da: Diese Studien gibt es tatsächlich.

Wie muss man sich diese verschiedenen Erfahrungen mit Chat GPT als Quelle für Recherchen erklären? Hat mein wissenschaftlicher Bekannter übertrieben oder etwas übersehen? Immerhin waren die Antworten und Belege in den anderen Fällen doch korrekt.

Die Antwort liegt in der Architektur der KI. Das, was Künstliche Intelligenz wie Chat GPT besonders gut kann, ist die Identifikation von Mustern. Wir recherchieren, sie betrachtet Daten. KI sucht nach Mustern und bildet das Gefundene in einem Modell ab. Das Modell wird dann verwendet, um die Muster auf neue Fälle anzuwenden, sie also zu reproduzieren. Wenn ChatGPT Diskussionen unter Wissenschaftlern auswertet, bemerkt die KI, dass hinter Aussagesätzen oft Literaturbelege kommen und wie diese aussehen. Und dieses Muster kann sie kopieren.

Sie bildet also Sätze mit häufig gefundenen Inhalten und montiert die dem Muster entsprechenden Belege hinzu. Das funktioniert ganz großartig: So gibt es beispielsweise einige der „zitierten“ Autoren tatsächlich und manchmal arbeiten sie sogar auf dem fraglichen Gebiet. Die KI imitiert sogar formale Details, wie beispielsweise dass ein Journal zwölf Mal pro Jahrgang erscheint und ein anderes nicht. Oder dass bei manchen Journals im Zitat neben dem Jahrgang noch die Heftnummer angegeben werden muss und bei anderen nicht. Aber das ändert nichts daran: Es gibt diese Studien nicht! Und die KI wertet auch nicht aus, welche Seite "Recht" hat, sondern sie orientiert sich am Häufigeren. Das bedeutet: Wenn ein Wissenschaftler 20 Jahre lang in vielen Artikeln eine bestimmte These vertritt und ein junger Wissenschaftler heute schreibt nur einen Artikel, in dem er die alte These schlüssig widerlegt, dann wird ChatGPT das nicht verstehen. Vielmehr wird die KI aufgrund der für das Training des Modells betrachteten Muster behaupten, dass der Großteil der betrachteten Literatur die alte Hypothese verficht. Logisch, da geht es ja auch um eine Unmenge von Publikationen im Verlauf von 20 Jahren. Solange es also nicht viele, viele Wortbeiträge anderer Wissenschaftler gibt, die gebetsmühlenartig wiederholen, dass der junge Wissenschaftler mit seinem aktuellen Beitrag Recht hat, gilt für den Bot: Der andere wurde häufiger genannt, ist also der Anerkanntere. ChatGPT imitiert Wissenschaft täuschend echt. Die Betonung liegt aber auf „täuschend“.

Im Fall der Börsen, der Grammatik und auch der Gummibärchen ist die Sache viel einfacher: Menschen auf dem gesamten Globus machen sich Sorgen um ihr Geld oder ihre Falten oder stellen sich die Frage nach der Groß- oder Kleinschreibung eines substantivierten, aber zusammengesetzten Verbes. Daher gibt es Millionen von Chatgruppen und Artikeln, Ratgebern oder auch Werbung zum Thema. Das ist sehr viel Material, an dem die KI lernen kann. Entsprechend korrekt sind die Antworten. 

Wer die Recherche mit KI wie Chat GPT in Erwägung zieht, sollte noch etwas wissen: Ein Experiment von NewsGuard hat gezeigt, "dass ChatGPT oft nicht differenziert mit suggestiven Fragen zu aktuellen Themen ⁠— etwa COVID-19, der Ukraine und Amokläufen in den USA ⁠— umgehen kann. In 80 Prozent der Fälle enthielten die Antworten des Chatbot falsche und irreführende Behauptungen." ChatGPT als Superspreader von Fakenews? Ja. Wenn man die Funktionsweise der KI betrachtet, ist das völlig einleuchtend. Im Netz werden millionenfach Fakenews verbreitet. Das sind riesige Datenmengen und damit wunderbare Grundlagen, um Modelle aufzubauen, die danach das Weiterverbreiten optimieren.

Und jetzt schlagen wir den Bogen zurück zu Kommunikation, Text und Marketing: Sie wollen von ihrem Texter nicht hören, dass er sich geirrt oder Ihre Briefings falsch erinnert hat. Oder dass er bei seiner Recherche mit KI dummerweise Fakenews auf den Leim gegangen ist. Sie wollen nicht, dass Ihre Kommunikation an der Kommunikation Ihrer Mitbewerber (insbesondere der großen omnipräsenten Player) trainiert und geeicht wird. Sie wollen anders klingen, als einzigartig wahrgenommen werden? Dann schlage ich vor, Sie übertragen Ihre Kommunikation nicht einer Technik, die per Definition nur das Verhalten der großen Masse imitieren kann. Einer Technik, die noch dazu nur die Struktur menschlicher Argumente übernimmt, aber letztlich nicht logisch mitdenken und erst recht nicht analysieren kann! Textmodelle wie ChatGPT sind großartige Hilfswerkzeuge und können uns effizienter machen. Aber sie müssen kontrolliert werden – und denken müssen wir schon noch selbst.