Die AI-Verdummung

ChatGPT und Co. erschaffen eine Generation, die nicht denken kann.

Die Risiken künstlicher Intelligenz sind vielfältig. Cyberkriminalität und Cyberangriffe werden einfacher. Die Herstellung und Verbreitung von Desinformation werden einfacher. Massenüberwachung wird einfacher. Physische Kriminalität, Terror und Kriege werden einfacher. Und als ob das nicht genug wäre: Eine unkontrollierbare, superintelligente künstliche Intelligenz könnte zu einer existenziellen Bedrohung für die Menschheit werden.

So weit, so ungut. Wir können uns im Moment aber immerhin damit trösten, dass diese Risiken noch nicht zu einer grossen Katastrophe geführt haben. Die AI-Bedrohungsszenarien sind mehr oder weniger (hoffentlich mehr) abstrakt und noch nicht dystopischer Alltag. Die aktuelle Realität von ChatGPT, Gemini und Co. wirkt im Gegenteil ganz rosig. Wir haben haufenweise nützliche Apps, die uns viele Dinge erleichtern. Wir kommen schneller an Informationen und können langweilige Aufgaben an AI abgeben. Klingt doch ganz gut.

Doch genau in der aktuellen banalen Bequemlichkeit von AI liegt ein weiteres grosses Risiko, über das wir noch zu wenig reden. Generative AI wie ChatGPT ist nicht bloss ein Werkzeug, das langweilige Aufgaben übernimmt. Immer mehr Menschen lagern immer grössere Teile ihres rationalen Denkens an AI aus. Sie gewöhnen sich ab, selbst aktiv tief zu denken. Ihre kognitiven Kompetenzen verkümmern. Oder sie werden gar nicht erst gebildet.

In anderen Worten: AI macht uns dumm. Mit verheerenden gesellschaftlichen Folgen.

Vorbemerkung: Automatisierung ist gut

Wenn man AI kritisch analysiert, besteht die Gefahr, zu pessimistisch und zu pauschalisierend zu sein. Man findet einfach alles, was neu ist, schlecht.

Das ist nicht meine Perspektive. Ich glaube, dass AI in vielen Domänen und in vielen Anwendungen ausgesprochen nützlich ist. Mein Lieblingsbeispiel ist das Transkribieren von Audio-Aufnahmen: Ältere Semester wie ich, die Audio-Aufnahmen noch von Hand verschriftlichen mussten, wissen AI-Transkription als fast paradiesischen Fortschritt zu schätzen.

Ganz allgemein bin ich ein überzeugter Verfechter von Automatisierung. Je mehr menschliche Arbeit wir an Apparate abgeben können, desto besser. Der ideale gesellschaftliche Zustand, den wir anstreben müssen, ist totale Automatisierung klassischer Erwerbsarbeit und damit die Auslagerung aller Arbeitsleistung an Apparate. Technologischer Fortschritt muss eine Welt ermöglichen, in der Menschen frei über ihre Lebenszeit verfügen und materiell nicht gezwungen sind, Lohnarbeit nachzugehen. Eine solche Welt kann es nur mit AI geben.

Meine Kritik an AI-Automatisierung ist also nicht ökonomischer Natur. Ich kritisiere nicht, dass AI Arbeitsplätze bedroht. Ich will, dass AI Arbeitsplätze bedroht und zerstört. Je weniger menschliche Arbeit und menschliche Arbeitsplätze nötig sind, desto besser.

Meine Kritik an AI-Automatisierung ist eine andere. Wir automatisieren gegenwärtig etwas, was AI nicht ersetzen kann: Kritisches, analytisches Denken. Das nicht kann ist keine moralische, sondern eine funktionale Wertung. AI übt sich nicht in rationalem Denken, sondern nur in einem Zerrbild davon. Dadurch, dass wir immer mehr Denken an AI-Chatbots abgeben, ist das so “Gedachte” einerseits oft von dubioser Qualität. Andererseits und wichtiger: Durch die Nutzung von AI verkümmert die menschliche Kompetenz des aktiven, tiefen Denkens. Oder sie wird gar nicht erst aufgebaut. Mit verheerenden Folgen.

Konkret erodiert AI drei zentrale Aspekte des Denkens: Menschen lesen nicht mehr, Menschen recherchieren nicht mehr, Menschen analysieren nicht mehr.

Menschen lesen nicht mehr

Das Lesen von Text ist die wirksamste und präziseste Form der Informationsverarbeitung, die uns Menschen mit unseren Sinnen zur Verfügung steht. Es ist aber nicht unbedingt die einfachste Form der Informationsverarbeitung. Ein Bild, das uns mit einem interessanten Sujet anspricht, ein TikTok-Video, das uns innerhalb weniger Minuten oder Sekunden hyperstimuliert — das ist alles viel unmittelbarer, viel eingängiger. Einen Text zu lesen bedeutet im Unterschied dazu immer aktive Anstrengung.

Genau diese aktive Anstrengung machen Menschen zunehmend weniger. AI-Apps übernehmen ganz bequem das so unliebsame Lesen: Man speist einen Text ein oder gibt eine Quelle an und die AI fasst innerhalb von Sekunden alles in gut bekömmlichen Häppchen zusammen. Der Bildungsforscher Marc Watkins hat diese Entwicklung im Kontext von Schule und Hochschulbildung beschrieben. Jenseits der gängigen Apps wie ChatGPT gibt es zusätzlich eine Reihe spezialisierter Lese-Apps, die sich spezifisch an Schüler*innen und Studierende richten. Das macht Sinn, denn das ist rein kommerziell eine ideale Zielgruppe: Menschen, die gezwungen sind, viel zu lesen, darauf aber oft nicht wirklich Lust haben. In viralen Videos versprechen ihnen die AI-Apps, dass die Tage des mühseligen Lesens von Büchern und Studien hinter ihnen liegen. Hochladen, klicken und die wichtigsten Infos in wenigen Punkten erhalten.

Junge sind aber nicht die einzige Zielgruppe für Lese-Auslagerung. Uns allen wird Leseverweigerung schmackhaft gemacht. Apple hat unlängst Werbespots zu ihrer hauseigenen AI, “Apple Intelligence”, veröffentlicht. In einem humorvoll gehaltenen Werbespot hat ein Anwalt ein wichtiges Dokument nicht gelesen. Er lässt es sich dann während der Sitzung von Apple Intelligence in drei Bullet Points zusammenfassen. Der Tag ist gerettet.

Auch dieses Szenario klingt grundsätzlich attraktiv. Man soll ja, hören wir immer, schlau arbeiten, nicht hart. Work smart, not hard. Warum einen 30-seitigen Bericht lesen, wenn man nur drei Bullet Points lesen kann? Na ja, weil in den 30 Seiten möglicherweise eine Spur mehr relevanter Information enthalten ist als in den drei AI-generierten Bullet Points.

Egal, ob Artikel oder Studien oder Bücher (oder Newsletter): Die meisten Texte sind länger als eine handvoll Stichworte. Sind all die Leute, die längere Texte schreiben, einfach blöd? Schreiben sie einfach zu viel? Nein, natürlich nicht. Wenn eine wissenschaftliche Studie 20 Seiten lang ist, enthalten diese 20 Seiten in der Regel relevante Informationen. AI kann vielleicht gut zusammenfassen, dass in einer Studie das Medikament XY getestet wurde und was das Gesamtergebnis ist. Was in einer Zusammenfassung aber fehlt — das ist die Natur von Zusammenfassungen — sind Details wie das genaue experimentelle Design, die Logik der statistischen Datenauswertung, die Interessenverbindungen der Autor*innen, und so fort. Auch fehlt eine kritische Auseinandersetzung mit solchen Informationen. Warum genau wird ein bestimmtes statistisches Verfahren mit einer bestimmten Aufteilung der Daten angewendet, obwohl es auch einfacher ginge? Ist hier vielleicht p-Hacking im Spiel? AI-Zusammenfassungen sind blosse Verlautbarungen, während eigenständiges aktives Denken auch eine kritische Reflexion bedeutet.

Das Problem mit AI-Zusammenfassungen ist nicht bloss, dass potenziell wichtige Informationen ausgelassen werden. Der Verzicht auf aktives Lesen konditioniert Menschen auch darauf, gar nicht mehr vertieft lesen zu können. Lesen ist Übungssache. Trainiert man das Lesen nicht, schwindet die Fähigkeit, sich mit längeren schriftlich festgehaltenen argumentativen Ketten auseinanderzusetzen — und sie kritisch zu reflektieren. Wer sich angewöhnt, nicht zu lesen und stattdessen AI-Zusammenfassungen generieren zu lassen, ist auch nicht in der Lage, kritisch zu hinterfragen, ob die AI-Zusammenfassungen Sinn machen.

Aufmerksames, aktives Lesen ist Denkarbeit. AI-Zusammenfassungen sind passiver, unüberlegter Konsum.

Menschen recherchieren nicht mehr

Das mit Abstand Beste am Internet ist dessen altes und zu grossen Teilen durchaus eingelöstes Versprechen: Das gesamte Wissen der Menschheit ist nur einen Klick entfernt. Es ist heute so einfach wie noch nie, sehr breit und sehr tief zu recherchieren. Was früher in analogen Zeiten mit physischen Büchern und Zeitungen und Film und Fotos und Kassetten in Bibliotheken und Archiven ungemein aufwendig war, geht heute bequem vor dem Bildschirm. Eine regelrechte Informations-Utopie.

Doch auch die Recherche im Internet ist aufwendig. Es ist einfacher an Material zu kommen, aber man muss sich trotzdem durch Dutzende, Hunderte, Tausende Webseiten wühlen und die Flut an Informationen irgendwie zusammenbringen. Auch hier schafft AI Abhilfe: Viele Menschen lagern das manuelle Recherchieren an AI aus und lassen sich von den Chatbots gut verständliche Zusammenfassungen liefern. AI-Chatbots sind die neuen Suchmaschinen.

Tech-Unternehmen wollen ihre AI zunehmend für eben diesen Nutzungszweck positionieren. Die grösste Suchmaschine der Welt, Google, wird gegenwärtig zu einem AI-Generator umgebaut. An erster und prominentester Stelle der Suchergebnisse wird eine AI-generierte Antwort platziert. Weiter unten gibt es dann noch Links zu anderen Quellen.

Auch Meta, der Konzern von Facebook, Instagram und Threads, will mit AI alle Fragen klären. Wie, zeigte Meta in einem Werbeclip von letztem Jahr.

Alles, was man wissen will, sofort und verständlich geliefert. Was gibt es daran auszusetzen? Schauen wir uns zwei Szenen aus dem Werbeclip genauer an. In der ersten will ein Vater ein Baumhaus bauen. Er lässt sich ein Bild generieren und baut das Baumhaus 1:1 nach.

Hat der Vater z.B. recherchiert, welche statischen Anforderungen ein sicheres Baumhaus erfüllen muss? Hat er sich informiert, welche Holzarten sich eignen und wie das Holz ggf. behandelt werden sollte? Hat er recherchiert, wie das Baumhaus montiert werden kann, ohne, dass der Baum zu sehr beschädigt wird? Nein. Er bastelt einfach blind das von AI hingenerierte Baumhaus nach.

Noch klarer wird das Problem mit der Szene zu “Little Italy”. Ein junger Mann fragt einen älteren Mann, vielleicht seinen Grossvater, wie der Stadtteil Little Italy im Jahr 1954 aussah. Die Antwort darauf liefert die AI mit einem generierten Bild.

Das ist zweifellos praktisch. Nur: Das Bild hat nichts mit Little Italy zu tun. Es ist AI-generierter Foto-Kauderwelsch. Ein Fake. Little Italy sah nie so aus. Das war nie Realität. Reale Informationen zu Little Italy gibt es zur Genüge in vielen Quellen, die auch reales historisches Bildmaterial haben. Aber es ist nun mal einen guten Zacken bequemer, kurz den Chatbot zu fragen. Man kriegt schnell etwas mehr oder weniger Zufriedenstellendes serviert und muss die App nicht verlassen.

Genau das ist das Ziel von Meta und anderen AI-Unternehmen: Ihre Chatbots sollen digitale Silos werden, die wir nie verlassen. Möglichst alles, was wir über die Welt erfahren, sollen uns die Chatbots liefern. Wenn wir eigenständig recherchieren und manuell verschiedene Webseiten und sonstige Quellen aufsuchen, sind wir nicht mehr im AI-Silo. Das ist für die Unternehmen schlecht. Jeder Klick auf eine externe Webseite bedeutet einen Klick weniger für die AI-Chatbots. Und damit weniger Geld für die AI-Unternehmen.

Die Nutzung von AI-Chatbots für Recherche bedeutet einen Abbau, wenn nicht gar eine Zerstörung von Informationskompetenz. Jüngere Generationen sind bereits darauf konditioniert, das Internet stärker über geschlossene Apps und Plattformen zu nutzen und weniger über offenes “Surfen” mit einem Browser. Diese Entwicklung wird sich mit AI-Chatbots so gut wie sicher noch intensivieren. In der Folge werden besonders jüngere Menschen über noch weniger Recherchekompetenz verfügen und stattdessen noch unreflektierter alles akzeptieren, was ihnen der Chatbot auftischt. Wer nicht recherchieren kann, kann nämlich auch nicht hinterfragen und nachprüfen, ob das, was die AI sagt, Sinn macht.

Es ist ein wenig wie beim Essen. Es ist ein kategorischer Unterschied, ob man in einem Restaurant passiv ein fertiges Gericht serviert bekommt oder ob man aktiv ein Gericht mit verschiedenen Zutaten, die man zuerst beschaffen muss, zubereiten kann. Etwas zu verspeisen, was andere gekocht haben, ist eine banale Tätigkeit ohne kognitive Leistung. Selber zu kochen ist hingegen eine Kompetenz, die Wissen und Fähigkeiten erfordert.

Die Zeichen stehen auf eine AI-Zukunft mit reichlich Fast Food.

Menschen analysieren nicht mehr

Lesen und Recherchieren sind zwei Werkzeuge, die letztlich Mittel zum Zweck des analytischen Denkens sind. Analyse bedeutet, die zentralen Elemente eines Sachverhaltes, eines Problems zu identifizieren und die kausalen und ggf. moralischen Implikationen dieser Parameter zu beschreiben. Das ist die Königsdisziplin des menschlichen Denkens. Und es ist das, was zivilisatorischen Fortschritt ausmacht. Wenn wir Probleme verstehen und lösen wollen, funktioniert das nur mittels Analyse. Unsere Intuition, unser Bauchgefühl, ist arg limitiert.

Analytisches Denken ist ausgesprochen anstrengend. Einerseits, weil eine solche kognitive Strukturierung der Welt grundsätzlich viel Energie erfordert (Mit Energie meine ich bildlich Ressourcen und Abläufe wie Zeit, Konzentration, Recherche, Lektüre, Revision, etc.). Andererseits ist analytisches Denken anstrengend, weil Analyse meistens scheitert. Das romantisierte Bild brillanter Heureka-Momente, in denen plötzlich alles ganz klar wird, ist in Wahrheit sehr selten. Die Realität ist das Gegenteil davon: Mühsames Herumstochern im Nebel, das uns bestenfalls inkrementell ein paar Schritte weiter in unserem Verständnis der Welt bringt. Ab und zu gibt es zwar kurzfristige folgenreiche Paradigmenwechsel, aber Fortschritt ist meistens harzig. Analyse führt nicht im Turbo zur Wahrheit. Sie reduziert lediglich im Schneckentempo Ungewissheit.

Warum also nicht auch das an AI abgeben? Soll sich der Chatbot den Kopf zerbrechen. So sparen wir Zeit und kommen schneller ans Ziel. Doch das ist ein Trugschluss: Wir kommen gerade nicht schneller ans Ziel.

Generative AI, die mittels “Large Language Models” operiert, führt keine Analysen durch. Generative AI ist ein stochastischer Papagei. Software, die Output generiert, der anhand der Daten, mit denen sie trainiert wurde, statistisch plausibel ist. Das funktioniert schon heute sehr gut. Wenn es um Analyse von Sachverhalten und Problemen geht, funktioniert es aber im Grunde gar nicht. Die AI kann treffende Analysen zum Thema XY reproduzieren, wenn sie mit genug vielen Beispielen von Analysen zum Thema XY trainiert wurde. Das ist oft nicht der Fall. Nicht alle Fragen über die Welt sind bereits geklärt.

Das zweite Problem ist, dass AI-generierte Analysen sogar dann schaden können, wenn sie einigermassen zutreffend sind. Analytisches Denken bedeutet, den argumentativen und logischen Ablauf der Analyse zu verstehen; nicht bloss, am Ende eine Schlussfolgerung zu erhalten. Der Weg ist das Ziel. Auch dann, wenn AI passende Analysen generiert, verkümmert menschliches analytisches Denken, wenn man sich einfach mit der AI-generierten Schlussfolgerung zufriedengibt.

Damit will ich nicht sagen, dass Menschen vor den Zeiten von AI umfassend rational analytisch gedacht haben. Natürlich nicht. Wenn ich krank bin, verlasse ich mich auf die Analyse der Ärztin und vertraue auf ihre abduktive Denkarbeit, ohne, dass ich sie wirklich nachvollziehen kann. Das Problem mit AI ist die zusätzliche Verschiebung hin zu, ceteris paribus, weniger aktivem analytischen Denken. Die durchschnittliche Menge an analytischem Denken, die analytische Base Rate, sinkt.

Die Konsequenzen

Meine kategorisch formulierten Thesen zur AI-bedingten Verdummung (Menschen lesen, recherchieren und analysieren nicht mehr) sind provokativ und überzeichnet. Menschen werden natürlich nicht über Nacht zu hilflosen AI-Idioten, die überhaupt nicht mehr denken. Und es ist nicht auszuschliessen, dass Chatbots auch einen positiven Effekt haben können. Dass zum Beispiel Menschen, die z.B. herkunftsbedingt eher weniger kognitiven Zugang zu Texten und Büchern haben, die Chatbots als Einstieg in die Lektüre nutzen.

Als Modell gedacht glaube ich, dass der Erwartungswert des Effektes von AI auf Denkleistung mit sehr hoher Wahrscheinlichkeit negativ sein wird. Das Schlechte ist schlechter als das Gute gut ist. Menschen hören (natürlich) nicht kategorisch auf, zu denken. Das Risiko besteht darin, dass es AI-bedingt im Durchschnitt Abbau der Denkleistung gibt. Wenn die durchschnittliche Denkleistung vor den Zeiten generativer AI bei 1 war, wird sie nun mit generativer AI so gut wie sicher <1. Wie gross der Effekt sein wird, ist ungewiss. Bereits eine moderate Verschiebung hin zu weniger kognitiver Kompetenz wird aber grosse Folgen haben. Und zwar in mindestens fünffacher Hinsicht.

Erstens produziert AI Fehler. Im Rahmen von AI-Output gibt es nützliches Signal, aber um das Signal herum ist viel Rauschen. Das Rauschen dürfte in Zukunft mit neueren Iterationen von AI abnehmen. Ob es signifikant abnimmt, ist angesichts des abnehmenden Grenznutzens neuer AI-Iterationen ungewiss (Die Verbesserungen neuer Versionen von AI-Chatbots werden kleiner.).

Zweitens ist AI-Verdummung ein volkswirtschaftliches Risiko. Viele Menschen in postindustriellen Gesellschaften leisten im Wesentlichen Denkarbeit. Schon in sehr naher Zukunft dürfte ein nicht-trivialer Teil dieser Denkarbeiter*innen nicht mehr richtig können, was sie können sollen. Wir leben in der sogenannten Informationsgesellschaft, in der Informationskompetenz essenziell ist. Genau diese Kompetenz erodiert.

Drittens — und hier werden die Probleme grösser — bedeutet Auslagerung kognitiver Kompetenz an AI ein Abhängigkeitsverhältnis gegenüber grossen bis sehr grossen Unternehmen und Konzernen. Wir sind schon heute in vielerlei Hinsicht von grossen Tech-Unternehmen abhängig — Social Media lässt grüssen. Mit AI entsteht aber ein Lock-In-Effekt in einer neuen Qualität und Dimension. Wenn wir einen Chatbot intensiv nutzen und wesentliche Teile unserer Denkarbeit an ihn auslagern, sind wir bereit, auch negative Aspekte wie steigende Kosten in Kauf zu nehmen. Auf das Netflix-Abo kann man relativ einfach verzichten. Man verliert Unterhaltung, sonst nichts. Auf den AI-Chatbot kann man weniger gut verzichten, weil er unabdingbar für das Bestreiten von Schule, Studium, Beruf wird.

Viertens ist AI-bedingte Verdummung ein Risiko für Demokratie. Demokratie bedeutet, dass genug viele Menschen genug wohlüberlegt Entscheidungen treffen. Wenn durch AI die gesellschaftliche Kompetenz, wohl zu überlegen schwindet, nimmt die Qualität demokratischer Entscheidungen ab. Die demokratische Debatte können wir nicht an AI auslagern. Wenn Menschen die Kompetenz verlieren, sich an der Debatte kritisch und fundiert zu beteiligen, werden sie noch stärker zur Manipulationsmasse der Elite.

Fünftens schliesslich bedeutet AI-Verdummung, dass die kognitive Rückfallebene, die in Ausnahmesituationen und Krisen (überlebens-)wichtig ist, dünner wird oder verschwindet. In Normalzeiten, in denen gesellschaftlich alles mehr oder weniger routiniert verläuft, macht sich mangelnde kognitive Kompetenz kaum oder gar nicht bemerkbar. AI kann Dinge, die immer wieder in ähnlicher Form stattfinden, relativ gut übernehmen. Dann aber, wenn eine Situation eintritt, die nicht wie gehabt ist; eine Situation, bei der innert kurzer Zeit ein grosser Umbruch stattfindet; eine Situation, die eine Krise ist, die das Fortbestehen des Status Quo gefährdet: Dann ist aktives rationales Denken der einzige Fallschirm, den wir haben. Wenn es Schlag auf Schlag kommt, liefern uns die Chatbots keine Antworten. Dann müssen wir selbst mit dem Chaos und der Ungewissheit klarkommen. Wir können das aber weniger gut, weil uns Denken fremd geworden ist. Der AI-bedingte Abbau kognitiver Kompetenzen bedeutet Löcher, die wir uns in den einzigen Fallschirm schneiden, den wir haben.

Systemische Risiken werden zahlreicher und grösser, weltweit. Gleichzeitig bauen wir mit AI die kognitiven Kompetenzen ab, die nötig sind, um diese Risiken zu managen. Das ist aus Risikosicht die schlimmstmögliche Konstellation, die es geben kann. Aber hey, immerhin brauchen wir keine Bücher mehr zu lesen, das ist ja auch was.