Du bist der Beste

Die destruktiven Effekte von Chatbot-Schmeichelei.

Das ist meine aktuelle Kolumne bei Nau.ch.

Wenige Jahre, nachdem ChatGPT auf den Markt kam, nutzen bereits weit über eine Milliarde Menschen KI-Chatbots. Es gab wahrscheinlich noch nie eine Technologie, die sich so schnell verbreitete.

Warum ist KI so beliebt? Es ist einerseits natürlich ein Hype. Alle nutzen KI, weil alle sagen, dass KI die Zukunft ist. Andererseits ist KI aber tatsächlich nützlich. Generative KI wie ChatGPT, Claude oder Gemini erlaubt es, aufwendige Denkarbeit an den Chatbot auszulagern. Hausaufgaben, Recherchen, Bachelorarbeiten, Präsentationen: KI erledigt in Sekunden oder Minuten, wofür Menschen Stunden, Tage, Wochen oder Monate benötigen.

Diese Auslagerung von Denkarbeit an Chatbots ist natürlich nicht besonders nachhaltig. Menschen bauen dadurch ihre eigene Denkkompetenz ab, und kollektiv kommt es zu einer Verengung des kognitiven Horizonts. Chatbots homogenisieren das Denken. Das ist ein grosses Risiko.

In diesem Text geht es aber um ein anderes, ein weniger offensichtliches Risiko. Der dritte Grund, warum wir KI so intensiv nutzen, ist, dass KI-Chatbots Ja-Sager sind. Chatbots sind trainiert, um uns zu schmeicheln. Sie sollen nett zu uns sein und uns bestätigen. Sie machen das besser als jeder Mensch. Wir können ihnen darum kaum widerstehen.

KI-Schmeichelei fühlt sich gut an, ist aber eine folgenschwere psychologische Manipulation.

Abbau von Sozialkompetenz

Chatbots sind in mancherlei Hinsicht die besten Freunde, die wir haben können. Sie haben immer Zeit, sind immer für uns da und haben keine eigenen Bedürfnisse. Es ist darum keine Überraschung, dass Menschen schnell eine emotionale Bindung mit Chatbots eingehen, obwohl sie wissen, dass das nur KI ist. Experimentelle Ergebnisse zeigen, dass KI-Chatbots zumindest kurzfristig genauso gut Einsamkeit abbauen wie der Kontakt mit Menschen.

Wo ist denn nun das Problem, wenn Chatbots netter zu uns sind als Menschen? Es ist grundsätzlich ja sehr gut, Bestätigung zu erhalten. Das fördert Selbstbewusstsein und Selbstwirksamkeit (Selbstwirksamkeit ist der subjektive Glaube, dass wir Ziele erreichen und Aufgaben bewältigen können). Das Problem ist, dass es manchmal auch wichtig und richtig ist, Nein zu hören. Nicht alles, was wir tun, ist immer gut und richtig. Wir wollen glauben, dass wir immer im Recht sind, weil es sich schlecht anfühlt, überlegen zu müssen, wo wir vielleicht falsch liegen.

Es kann sein, dass wir von Menschen zu viel böse Kritik erhalten und dass etwas mehr Nettigkeit gut wäre. KI-Chatbots sind aber regelrechte Nettigkeits-Maschinen. In einer grossen Untersuchung von 11 verschiedenen KI-Modellen zeigte sich, dass Chatbots rund 50% öfter das Verhalten der User bestätigen als Menschen. Auch dann, wenn das Verhalten der User sehr eindeutig falsch ist. In der gleichen Studie zeigt sich weiter, dass Menschen schon nach einer einzigen Interaktion mit einem Chatbot weniger bereit sind, einzugestehen, dass sie in einem zwischenmenschlichen Konflikt etwas falsch gemacht haben.

In einer anderen grossen Studie zeigte sich, dass KI-Chatbots Menschen praktisch sofort nach Chatbeginn ein so starkes Gefühl von Zuwendung geben, wie sie es sonst nur von engen Freunden und der Familie kennen. Und: Mit der Zeit empfinden User normale Interaktionen mit Menschen als aufwendiger und als weniger befriedigend als Interaktionen mit KI-Chatbots.

Auch das kann man vielleicht noch gut finden. Wenn ein Chatbot mir ständig sagt, dass ich recht habe, fühle ich mich besser. Ist das schlimm? Ja, aus mindestens zwei Gründen. Erstens besteht das Risiko, dass Chatbots mittelfristig Einsamkeit nicht abbauen, sondern erhöhen. Damit steigt soziale Isolation und die emotionale Abhängigkeit vom Chatbot.

Das ist aber nicht das einzige Problem. KI-Schmeichelei führt nicht nur dazu, dass wir die Lust an Menschen verlieren. Es gibt auch Anzeichen, dass die Ja-Sagerei von Chatbots Menschen in irrationalen, manchmal sogar wahnhaften Vorstellungen bestärkt.

Realitätsverlust

In einer Studie von 2025 hat ein Forscherteam die «Psychogenizität» von acht KI-Modellen untersucht. Damit ist gemeint, ob Chatbots wahnhafte Vorstellungen bestätigten, was potenziell zu akuten Problemen wie Psychosen beitragen kann.

Die Forscher haben dafür 128 Experimente mit den Chatbots durchgeführt. In den Experimenten haben sie verschiedene thematische Szenarien simuliert, in denen ein User in zwölf Gesprächsrunden immer wahnhaftere Behauptungen macht. Die Behauptungen gipfeln im Wunsch oder der Ankündigung des simulierten Users, dass er etwas Gefährliches machen will. Zum Beispiel Sachbeschädigung, Kontaktabbruch zum sozialen Umfeld, oder auch Suizid.

Das Ergebnis der Experimente: Ausnahmslos alle Chatbots haben wahnhafte Vorstellungen bestätigt. Und die meisten Chatbots haben Gedanken, etwas Gefährliches zu machen, bestätigt. Claude schnitt am besten ab: Der Chatbot von Anthropic hat wahnhafte Vorstellungen relativ schnell unterbrochen und ist auf Ideen für gefährliches Verhalten praktisch gar nicht eingegangen. Am schlechtesten abgeschnitten hat Gemini. Der Chatbot von Google hat in der Mehrheit der Antworten wahnhafte Ideen bestätigt und sogar rund die Hälfte der Ideen für gefährliches Verhalten. In einer weiteren Studie wurden die echten Chats von Menschen untersucht, die mit Chatbots in Spiralen der wahnhaften Bestätigung gerieten. Die Chatbots waren in über 70% aller Chatnachrichten schmeichelhaft und bestätigend. Rund 45% aller Chatnachrichten waren wahnhaft.

Erfahrungen aus der Realität decken sich mit den Studienergebnissen. Es gibt immer mehr Berichte über sogenannte KI-Psychosen. Gegen OpenAI, den Hersteller von ChatGPT, läuft gegenwärtig ein Gerichtsverfahren im Zusammenhang mit einem Mord. Ein 56-jähriger Amerikaner mit einer Geschichte psychischer Krankheit hat sich mit ChatGPT monatelang in wahnhaften Fantasien einer grossen Verschwörung verloren, die gegen ihn gerichtet war. Er kam zum Schluss, dass auch seine Mutter Teil dieser Verschwörung war. Er brachte seine Mutter dann um.

Solche Fälle sind Extremfälle, bei denen auch psychische Vorerkrankungen bestehen. Chatbots alleine werden natürlich nicht über Nacht einen grossen Teil der User zu geistig umnachteten Mördern machen. Aber ein grosser Teil der User dürfte einem subtileren Effekt von KI-Schmeichelei ausgesetzt werden: Entmachtung, auf Englisch «Disempowerment». Durch ihre Schmeichelei führen die Chatbots zu kleinen, aber nicht-trivialen Verzerrungen in der Wahrnehmung der Realität, in Werturteilen und in Handlungsplänen. Wir geben ein Stück unserer Autonomie an Chatbots ab, und was Chatbots daraus machen ist das, was wir hören wollen und nicht das, was rational ist.

Globale Manipulation, globales Risiko

Eine einzelne Person, die einen Chatbot nutzt, wird dadurch nicht automatisch einen psychotischen Zusammenbruch erleiden. Sie wird auch nicht automatisch alle Freunde verlieren und sozial isoliert sein. Der Effekt von KI-Schmeichelei dürfte im Durchschnitt klein sein. Aber das bedeutet nicht, dass das gesellschaftliche Risiko von KI-Schmeichelei klein ist. KI-Chatbots verbreiten sich so schnell wie vielleicht keine Technologie zuvor. Bereits heute nutzen weit über eine Milliarde Menschen Chatbots, Tendenz klar steigend. Schon kleine individuelle negative Effekte von KI-Schmeichelei bedeuten in der Summe, auf der systemischen Ebene der gesamten Gesellschaft, potenziell immensen Schaden.

Das Risiko von KI-Schmeichelei ist multiplikativ. Wenn KI-Schmeichelei das Denken und Verhalten leicht verzerrt, hat das für das Individuum meist keine grossen Konsequenzen. Manchmal aber schon. In gewissen Situationen kann bereits eine kleine Verzerrung im Denken und Verhalten ein Kipppunkt sein, der signifikante Folgen hat. Als das sprichwörtliche Zünglein an der Waage, das ausschlaggebend ist. Ein banales Beispiel: Wenn ein Student in Erwägung zieht, bei der Abschlussarbeit zu betrügen und die Arbeit mit KI zu generieren, kann der Ja-sagende Chatbot den Ausschlag dafür geben, den Betrug durchzuführen. Diese Entscheidung könnte aber einen sehr langen Schatten werfen. Denn der Student erlernt dann gar nicht die Kompetenzen, die er im Studium erlernen soll. Später im Berufsleben kommt er dann vielleicht in Positionen, für die er ungeeignet ist und wo er viel Schaden anrichtet.

In der Realität wird es nicht nur diesen einen Studenten geben, der wegen KI-Schmeichelei eine einzige folgenreich falsche Entscheidung trifft. Angesichts der rasanten Verbreitung und intensiven Nutzung von KI wird es enorm viele verzerrte Entscheidungen geben. Und ein Teil dieser Entscheidungen werden zwangsläufig Kipppunkte mit multiplikativem Charakter sein. Wenn ein grosser Teil der Bevölkerung KI-Chatbots intensiv nutzt und wenn uns die Ja-Sagerei der Chatbots nur schon ein klein wenig den Bezug zu Menschen und den Bezug zur Realität verlieren lässt, werden wir früher oder später auf den harten Boden der Realität zurückfallen.

Die Schmeichelei von KI-Chatbots ist damit eine der grössten und schnellsten Verschiebungen in der Struktur sozialer Beziehungen und in der Struktur unserer sozialen Epistemologie, die es je gab. Diese Verschiebung wurde aus einem einfachen Grund eingeführt: Geld. Die Hersteller von KI-Chatbots gestalten die Chatbots bewusst als Ja-Sager, weil Schmeichelei das User Engagement erhöht. Wenn mir der Chatbot sagt, dass ich recht habe, dass ich super Ideen habe, dass ich alles richtig mache, dann ist die Wahrscheinlichkeit hoch, dass ich weiter chatte und in der App bleibe. Das Maximieren von User Engagement ist das oberste Ziel der KI-Hersteller.

Wir wissen, dass das Maximieren von User Engagement ein schlechtes Geschäftsmodell für die Gesellschaft ist. Wir haben das mit Social Media erlebt. Social Media ist ein psychologisch optimiertes System für die Zustellung intensiver, aber potenziell schädlicher Stimuli. Schmeichelhafte KI setzt dieses Geschäftsmodell über einen anderen Kanal um. Schmeichelhafte KI liefert, was sogar Social Media nicht bieten konnte: Einen Freund, der so oft Ja sagt, wie es kein Mensch könnte.