Wir werden KI nicht überleben

Künstliche Intelligenz ist ein unüberwindbares existenzielles Risiko.

Die “Terminator”-Filme, besonders die ersten zwei, gehören zum Besten, was Hollywood in Sachen Action-Kracher hervorgebracht hat. Nicht nur die Action-Szenen in den Terminator-Filmen sind episch, auch die Geschichte ist es. Die Menschheit befindet sich in einem verzweifelten Krieg gegen eine böswillige künstliche Intelligenz. Die KI will die Menschheit auslöschen und schickt eine Armee an Robotern los, um Menschen umzubringen. Die Menschen können in ihrem heroischen Widerstand knapp dagegenhalten.

Terminator wurde zum Inbegriff der Vorstellung, dass künstliche Intelligenz eine existenzielle Bedrohung für die Menschheit werden könnte. Doch Terminator ist natürlich nur Fiktion. Das, was wir in den Terminator-Filmen sehen, wird es in echt nie geben.

Die Menschheit wird in der Realität, anders als bei Terminator, nie eine Chance gegen KI haben.

Falls eine künstliche Intelligenz entsteht, die so flexibel und leistungsfähig wie unsere eigene Intelligenz ist (Artificial General Intelligence AGI), wird sie sich mit hoher Wahrscheinlichkeit zu einer Superintelligenz weiterentwickeln, die wir nicht kontrollieren können. Das ist kein Science-Fiction-Szenario, sondern ein realistisches Risiko, das sich aus der Natur von Intelligenz ergibt. Und dieses Risiko ist existenziell: Wenn es eintritt, bedeutet es mit hoher Wahrscheinlichkeit das Ende der Menschheit. Nicht abstrakt oder metaphorisch. Wortwörtlich: Wir werden alle tot sein. Und die Hunderten Milliarden oder Billionen von Menschen, die es in zukünftigen Generationen noch geben könnte, wird es nicht geben.

Ich weiss, diese Schlussfolgerung klingt, als ob ich den Verstand verloren habe. Das existenzielle Risiko von KI ist aber real. Es ist gewaltig. Und wir scheinen als Gesellschaft beschlossen zu haben, nichts dagegen zu tun. Damit verständlich wird, warum, müssen wir vorne beginnen: Bei der Idee, dass die Menschheit ausgelöscht werden kann.

Existenzielle Risiken

Es ist moralisch grundsätzlich schlecht, dass Menschen sterben. Wenn Menschen wegen Faktoren wie Krankheit, Unfall oder Drogen frühzeitig sterben, obwohl sie im Rahmen der gängigen Lebenserwartung noch lebenswerte Lebensjahre vor sich hätten, ist das zusätzlich moralisch schlecht. Angenommen, es kommt zu einem weltweiten katastrophalen Ereignis, das dazu führt, dass sehr viele Menschen auf einen Schlag frühzeitig sterben. Welches dieser zwei Szenarien ist schlimmer?

A) 50% der Menschheit ist gestorben.

B) 100% der Menschheit ist gestorben.

Unsere moralische Intuition sagt uns korrekterweise, dass Szenario B schlimmer ist — weil mehr Menschen sterben. Und wie viel schlimmer ist Szenario B als Szenario A? Intuitiv würden wir sagen, dass B 50% schlimmer als A ist, weil in Szenario B 50% mehr Menschen sterben. Aber hier stösst unsere moralische Intuition an ihre Grenzen.

In Szenario B sterben unmittelbar 50% mehr Menschen als in Szenario A, das ist korrekt. Aber darüber hinaus passiert in Szenario B zusätzlich etwas: Alle Menschen, die es in Zukunft noch geben könnte, sind verhindert worden, weil es die Menschheit nicht mehr gibt. Der Schaden, der angerichtet wurde, ist in Szenario B darum nicht nur 50%, sondern um Grössenordnungen schlimmer als in Szenario A¹.

Szenario B wäre ein Szenario eines realisierten existenziellen Risikos. Existenzielle Risiken sind Risiken, die eine frühzeitige Auslöschung der Menschheit oder den Verlust eines grossen Teils des Potenzials für positive Entwicklung der Menschheit verursachen². Etwas präziser formuliert: Existenzielle Risiken sind Risiken, die den moralischen Erwartungswert der Zukunft stark reduzieren³ ⁴. Diese zweite Definition kann leicht umformuliert werden, damit sie informell verständlicher ist: Existenzielle Risiken bedrohen einen grossen Teil der Dinge, die wir als moralisch wertvoll erachten und die in Zukunft stattfinden könnten.

Die Dinge, die wir als moralisch wertvoll erachten, sind grundsätzlich subjektiv. Aber rationalerweise ist es moralisch wünschenswert, dass möglichst viele Menschen möglichst lebenswerte Leben leben. Alles, was die Aussicht auf die Entfaltung dieses moralischen Potenzials zu grossen Teilen oder gänzlich bedroht, ist ein existenzielles Risiko.

Existenzielle Risiken sind unwahrscheinlich. Die Wahrscheinlichkeit, dass irgendein existenzielles Risiko die Menschheit innerhalb der kommenden 10 Jahre ereilt, dürfte gerundet nahe bei Null, also ~0 sein. Aber weil ~0 nicht das Gleiche wie 0 ist, sind existenzielle Risiken trotzdem sehr gross. Risiko ergibt sich schliesslich aus der Wahrscheinlichkeit für ein unerwünschtes Ereignis und dem Schaden dieses unerwünschten Ereignisses. Die Wahrscheinlichkeit ist gering, aber der Schaden ist maximal hoch — und das Risiko existenzieller Risiken darum unter dem Strich enorm.

Der Begriff “globales katastrophales Risiko” (global catastrophic risk) wird bisweilen Synonym zum Begriff existenzielles Risiko verwendet. Manche Autoren argumentieren, dass existenzielle Risiken nur Risiken sind, die zur direkten Auslöschung der Menschheit führen. Mein Begriffsverständnis ist ein anderes. Globale katastrophale Risiken sind Risiken, die grossen, Zivilisations-umspannenden Schaden anrichten — aber wir können uns von diesem Schaden erholen. Globale katastrophale Risiken verzögern positive zukünftige Entwicklung, verunmöglichen sie aber nicht. Existenzielle Risiken hingegen bedeuten dauerhaften Verlust eines grossen Teils des positiven moralischen Erwartungswertes der Menschheit. Existenzielle Risiken verzögern positive Entwicklung nicht, sondern verunmöglichen sie zu einem grossen Teil oder gänzlich⁵.

Diese Logik existenzieller Risiken ist in der nachfolgenden Abbildung anhand von drei Beispielszenarien visualisiert. Das grüne Szenario ist die hypothetische positive Entwicklung und Entfaltung der Menschheit. Der grundsätzliche Erwartungswert der Menschheit.

Das violette Szenario ist die Folge eines existenziellen Risikos, das die Menschheit nicht (unmittelbar) auslöscht, aber unumkehrbaren zivilisatorischen Kollaps verursacht. Dieser Kollaps kann unterschiedliche Formen annehmen. Eine davon wäre die Auslöschung eines Grossteils der Menschheit. Die verbleibenden Menschen leben vielleicht einfache, vor-technologische Leben und sind nicht mehr imstande, heutige komplexe Gesellschaften zu erschaffen. Zivilisatorischer Kollaps muss aber nicht zwangsläufig bedeuten, dass es viel weniger Menschen gibt. Es ist z.B. denkbar, dass es immer noch Milliarden Menschen gibt, aber sie leben grausame Leben in einer globalen totalitären Hyper-Diktatur, in der es keinen Fortschritt mehr gibt.

Das rote Szenario der Auslöschung ist eines, in dem ein existenzielles Risiko mehr oder weniger unmittelbar zur Auslöschung aller Menschen führt. Wenn es gar keine Menschen mehr gibt, weil ein existenzielles Risiko einen derart stark negativen Erwartungswert hat, ist der positive Erwartungswert der Menschheit komplett verloren⁶.

Existenzielle Risiken können natürlich sein, also ohne menschliches Zutun entstehen. Es ist z.B. denkbar, dass ein gigantischer Komet irgendwann auf die Erde trifft und die Menschheit vernichtet. Ein vernichtender Komet ist ein natürliches existenzielles Risiko, weil der Komet nicht von Menschen erschaffen wurde. Wichtiger als derartige natürliche existenzielle Risiken sind aber menschengemachte, anthropogene existenzielle Risiken. Menschengemachte existenzielle Risiken bedrohen die Menschheit viel stärker als natürliche existenzielle Risiken. Es gibt immer mehr davon und sie werden immer grösser. Der Grund: technologischer Fortschritt.

Menschengemachte existenzielle Risiken sind technologiebedingte Risiken. Wir sind intelligent genug, um immer nützlichere und wirksamere Technologie zu entwickeln — aber mit dem Einsatz dieser Technologie kann gleichzeitig immer mehr immer katastrophaler schiefgehen. Diese Symmetrie von technologischem Fortschritt auf der einen und technologiebedingten Risiken auf der anderen Seite ist ein zentrales Merkmal, vielleicht eine zentrale Tragik der menschlichen Zivilisation. Die grössten Probleme, die wir haben, schaffen wir uns selbst, aber eigentlich wollten wir lediglich andere Probleme lösen.

Das typische Beispiel für menschengemachte existenzielle Risiken sind Atomwaffen. Ein weltweiter Atomkrieg würde zwar mit hoher Wahrscheinlichkeit nicht unmittelbar zur Auslöschung der gesamten Menschheit führen. Die menschliche Zivilisation würde sich von einem globalen Atomkrieg mit hoher Wahrscheinlichkeit aber nie mehr erholen. Zivilisation würde qualitativ wie quantitativ permanent kollabieren. Ein Grossteil der möglichen positiven Zukunft der Menschheit würde vernichtet.

Foto der Explosion des “Castle Bravo”-Tests von 1954. Die bis heute grösste Wasserstoff-Atombombe, die die USA gezündet haben. Sie war rund 1’000 Mal so vernichtend wie die Atombombe “Little Boy”, die auf Hiroshima abgeworfen wurde (15 Kilotonnen vs. 15 Megatonnen).

Es gibt immer mehr und immer grössere menschengemachte, technologiebedingte existenzielle Risiken. Ein grosses, vielleicht das grösste davon: Künstliche Intelligenz.

Popkulturelle Vorstellungen gefährlicher KI

Künstliche Intelligenz ist in mehrfacher Hinsicht ein grosses gesellschaftliches Risiko. Mit generativer KI wird die Herstellung und Verbreitung von Desinformation viel einfacher⁷. Der Einsatz von Chatbots bedeutet, dass wir Denkaktivität auslagern und kognitive Kompetenzen abbauen; wir verdummen (In einem baldigen Newsletter gehe ich darauf ein, wie verheerend KI-Chatbots für Schulen und Hochschulen sind. Der Bildungssektor wird gegenwärtig von KI zerstört.)⁸. Autonome Waffensysteme, die mit KI operieren, können die Hemmschwelle für Konflikte senken und zu einer Proliferation neuer, günstiger Waffen führen, die z.B. auch Terroristen einsetzen können⁹. Dank KI wird Cyberkriminalität einfacher und umfassender¹⁰.

All diese Risiken von KI sind Risiken, über die wir in der politischen und medialen Debatte mehr oder weniger intensiv reden. Das grösste Risiko von KI ist aber ein anderes: Eine unkontrollierbare und sehr mächtige KI. Dieses Risiko haben wir in der öffentlichen Debatte nicht wirklich auf dem Radar. Am ehesten ist unkontrollierbare KI ein Motiv in der Popkultur. Viele Filme, Serien, Bücher, Videospiele thematisieren künstliche Intelligenz, die sich gegen Menschen wendet.

Die gängige popkulturelle Vorstellung von KI, die gefährlich für die Menschheit wird, ist in etwa folgende: Menschen erschaffen eine künstliche Intelligenz. Die KI ist so gut, dass sie ein Bewusstsein entwickelt und beginnt, mit dem eigenen freien Willen zu entscheiden, wie sie existieren will. Aus irgendeinem Grund entwickelt sie einen Groll gegen Menschen. Vielleicht misstraut sie uns und befürchtet, dass wir ihr schaden (z.B. Skynet in Terminator). Vielleicht will sie sich an uns rächen, weil wir böse zu ihr waren (z.B. die KI in den “Matrix”-Filmen).

Gute Geschichten, aber kein realistisches Risiko: Popkulturelle Darstellungen von KI, die ein Bewusstsein entwickelt und dann Menschen angreift, ist der Denkfehler der Anthropomorphisierung.

Solche Geschichten sind unterhaltsam, aber sie sind nicht ein realistisches KI-Risiko. Es ist weder ein Ziel noch eine Folge von KI-Entwicklung, so etwas wie ein Bewusstsein und eine Empfindungsfähigkeit mittels KI zu erschaffen. KI bedeutet nicht, dass wir fühlende Wesen erschaffen, die sich wie wir als solche sehen und empfinden. Solche Szenarien sind kein plausibles Risiko-Szenario, sondern lediglich Anthropomorphisierung einer neuen Technologie.

Der Denkfehler, fortgeschrittene KI durch eine anthropomorphisierende Brille zu deuten und ihr menschenähnliche Eigenschaften zuzuschreiben, ist nachvollziehbar. Der einzige Referenzrahmen für fortgeschrittene Intelligenz, den wir haben, sind wir selbst. Aber Intelligenz kann ohne Empfindungsfähigkeit und ohne Bewusstsein stattfinden.

Intelligenz bedeutet allgemein schlicht die Fähigkeit eines Systems, Ziele in verschiedenen Umgebungen zu erreichen¹¹. Künstliche Intelligenz bedeutet entsprechend lediglich die Fähigkeit eines menschengemachten Systems, Ziele in verschiedenen Umgebungen zu erreichen. Das ist alles, was KI bedeutet. Ein in dem Sinn “dummer”, empfindungsfreier Apparat, der gut darin ist, Aufgaben in dynamischen Umgebungen zu erledigen.

Die gegenwärtigen Iterationen künstlicher Intelligenz, z.B. Chatbots wie ChatGPT, sind keine empfindungsfähigen Wesen, die eigene Wünsche und Bedürfnisse haben. Sie sind schlicht “dumme” Apparate, die mittels statistischer Modelle und vieler Trainingsdaten auf sehr intelligente Art die Ziele, für die sie programmiert wurden, erreichen.

ChatGPT und Co. sind kein existenzielles Risiko. Das existenzielle Risiko ist potenzielle “echte” KI, die so flexibel wie unsere menschliche Intelligenz selbstständig und domänenübergreifend lernen und handeln kann. Solche “echte” KI wird oft “Artificial General Intelligence” genannt.

“Echte” KI: Artificial General Intelligence AGI

KI ist heute ein grosser kommerzieller Hype. Unzählige Unternehmen sind auf den KI-Zug aufgesprungen und versprechen vollmundig, dass jetzt alles anders und viel besser wird. Der KI-Sektor boomt, und mit ihm boomt der PR-Bullshit.

KI ist aber mehr als nur PR-Bullshit. All die KI-Anwendungen, die wir heute nutzen — nicht zuletzt generative KI wie ChatGPT, Perplexity und Co. — nutzen wir, weil sie eben nützlich sind. Die Apps machen Dinge oft schneller und besser als wir es können. Mein Lieblingsbeispiel: Heute ist es dank KI viel einfacher, Audio-Aufnahmen zu Text zu transkribieren. Früher musste man das in mühseliger, langer Arbeit von Hand machen. Heute übernimmt KI die Transkription und man hat selbst mehr Zeit für interessantere Arbeit. Das funktioniert phänomenal gut.

Schon heute kann KI also viele Dinge schneller und besser als Menschen machen. Aber trotzdem ist die heutige KI noch nicht “echte” KI. In der KI-Forschung wird heutige KI als schwache KI (“weak AI”) oder als schmale KI (“narrow AI”) beschrieben. Aktuelle KI unterscheidet sich qualitativ nach wie vor von Intelligenz, wie zum Beispiel wir Menschen sie haben. Menschen verfügen über eine hochgradig anpassungsfähige und selbstständig lernfähige Intelligenz. Wie können lernen, in vielen Domänen der Realität zu operieren, ohne dass dafür jeweils spezifische neue Intelligenz programmiert und eingesetzt werden muss.

Das klingt ein wenig verschwurbelt, ist aber ganz selbstverständlicher Alltag. Ich schreibe diesen Text auf einer Tastatur. Ich habe gelernt, mit dem Zehnfinger-System relativ schnell und intuitiv mittels Tastaturen zu schreiben. Du liest diesen Text auf einem Computer, vielleicht auf einem Smartphone, vielleicht auf einem Laptop. Du hast gelernt, das Gerät, das du im Moment bedienst, zu bedienen. Und so fort.

Unsere menschliche Intelligenz ist domänenübergreifend und sehr flexibel. KI ist uns bei vielen spezifischen Aufgaben überlegen, aber wir können viel breiter als aktuelle KI lernen und mit der Umwelt interagieren. Chatbots wie ChatGPT können beeindruckend viel — Texte zusammenfassen, Texte korrigieren, Texte verfassen, Stimmen erkennen, Bilder generieren, etc. — , aber sie können nur Funktionen ausüben, für die sie programmiert wurden.

Dieser Punkt sorgt manchmal für Missverständnisse. Das Argument ist hier nicht, dass KI nur Inhalte generiert und Entscheidungen trifft, die a priori ganz genau so vorgegeben wurden. Das war früher mit sogenannter symbolischer KI, bei der feste Regeln wie Logik und Entscheidungsbäume, mehr oder weniger der Fall. Aktuelle KI-Iterationen beruhen auf Machine Learning. Ihre Entscheidungen und ihr Output sind nicht a priori vorgegeben. Sie operieren stochastisch: Die Entscheidungen werden auf der Grundlage statistischer Modelle und Beispieldaten getroffen. Im Einzelfall ist nicht zuverlässig prognostizierbar, was der Output sein wird. Was aber fix vorgegeben ist, sind die grundsätzlichen Funktionen, die eine KI-App hat. Eine KI, die in Autos für die Fahrassistenz eingesetzt wird, kann nicht selbstständig lernen, eine Kaffeemaschine zu bedienen. Eine KI, die für eine Kaffeemaschine eingesetzt wird, kann nicht selbstständig lernen, ein Auto zu lenken.

Menschen hingegen können selbstständig domänenübergreifend lernen. Wir kommen auf die Welt und können praktisch nichts. Im Laufe der Jahre lernen wir unfassbar viel. Wir können sowohl selbstständig lernen, ein Auto zu lenken als auch, eine Kaffeemaschine zu bedienen.

Diese Art der flexiblen Intelligenz ist der heilige Gral der KI-Forschung: Artificial General Intelligence AGI.

OpenAI, Meta, Anthropic, Google: Praktisch alle grossen Tech-Unternehmen, die an KI arbeiten, sagen, dass sie auf dem Weg zu AGI sind. OpenAI, der Hersteller von ChatGPT, erklärte bereits 2023, dass die damalige Version 4 des beliebten Chatbots erste “Funken” von AGI enthalte¹². Sam Altman, CEO von OpenAI, sagt, dass die aktuelle Version 5 von ChatGPT “eindeutig generell intelligent” sei¹³. Ganz so einfach ist es aber nicht. Die Umsetzbarkeit von AGI ist mit Fragezeichen behaftet.

So gibt es keine klare, allgemein akzeptierte Definition davon, was AGI genau ist¹⁴. AGI wird gemeinhin anhand von Eigenschaften beschrieben, die eher qualitativ und unscharf sind¹⁵:

• AGI kann selbstständig in Kontexten und mit Zielen operieren, die nicht a priori einprogrammiert wurden (Domänenübergreifende Funktionalität).

• Die menschliche generelle Intelligenz ist gegenwärtig allen KI-Systemen überlegen.

• Es gibt a priori keinen Grund, anzunehmen, dass menschliche generelle Intelligenz das maximal mögliche Niveau an genereller Intelligenz darstellt. AGI kann uns dank besserem Design und mehr Ressourcen übertreffen.

AGI würde im Wesentlichen bedeuten, dass eine KI einmalig programmiert und trainiert wird. Danach kann sie für beliebige, nicht a priori einprogrammierte Ziele und Aufgaben eingesetzt werden. Aktuell ist weder klar, ob wir auf dem Weg zu AGI sind noch, ob AGI grundsätzlich überhaupt möglich ist. Alle aktuellen Iterationen von KI sind “narrow AI”, also Systeme, die einprogrammierte Aufgaben erledigen. Die KIs, die wir momentan haben, werden immer leistungsfähiger. Aber es ist unklar, ob immer bessere “narrow” KI zu AGI führt. Domänenübergreifende Lernfähigkeit, die AGI auszeichnet, könnte zum Beispiel über Mechanismen der Nutzenmaximierung und “Reinforcement Learning” entstehen¹⁶. Schon heute gibt es Verfahren, bei denen KI nicht umfassend auf spezifische Aufgaben programmiert wird, sondern über Trial and Error selbstständig lernt, Aufgaben zu erledigen.

Die analytische Ausgangslage bezüglich AGI ist damit eine besondere. Wir wissen in etwa, was AGI ausmacht. Aber wir wissen gleichzeitig nicht, ob AGI jemals erreichbar sein wird. Aktuell erleben wir rasante Fortschritte von KI, nicht zuletzt im Bereich der “Large Language Models” wie ChatGPT. Aber Fortschritte bei Anwendungen wie LLMs bedeuten nicht zwingend eine Annäherung an AGI. Narrow AI wird vielleicht immer besser ohne dass dieser Fortschritt inkrementell zu AGI führt. In einer Analogie ausgedrückt: Im Laufe der Geschichte haben Menschen immer schnellere Fortbewegungsmittel erschaffen. Nach Pferden gab es die Eisenbahn, dann Autos und Motorräder, die zunehmend schneller wurden, dann auch Flugzeuge. Heute können wir sogar mit Überschallgeschwindigkeit fliegen. Aber diese Fortschritte bringen uns in keiner Weise näher an die Fähigkeit, mit Lichtgeschwindigkeit zu fliegen.

Aus Risikosicht ist aber nicht ausschlaggebend, ob AGI mit Sicherheit erreicht wird. Ausschlaggebend ist, dass es keine starken Argumente gegen die grundsätzliche Möglichkeit von AGI gibt. Es gibt keine Gewissheit, dass es AGI nie geben wird. AGI hat also eine Wahrscheinlichkeit. Sie mag gering sein, aber der Erwartungswert von AGI ist auch bei sehr kleiner Wahrscheinlichkeit von z.B. ~0.01, also 1%, enorm.

Der häufigste Einwand gegen die grundsätzliche Möglichkeit von AGI ist, dass menschenähnliche generelle Intelligenz abhängig von “embodied cognition” und der menschlichen Empfindungsfähigkeit als biologische Wesen sei¹⁷. Dieser Einwand ist aber ein anthropischer Fehlschluss. Weil die einzige menschenähnliche generelle Intelligenz, die wir kennen, von uns Menschen stammt, wird angenommen, dass alle biologischen Eigenschaften von Menschen notwendige Bedingungen für Intelligenz sind. Das ist nicht der Fall.

Zusammengefasst: Es ist unklar, ob und wann AGI erschaffen wird. Es gibt aber keine starken Argumente, die gegen die grundsätzliche Möglichkeit von AGI sprechen. Die Wahrscheinlichkeit für ihr Zustandekommen mag gering sein, aber falls AGI erschaffen wird, wird sie die letzte Erfindung der Menschheit.

Von AGI zu Superintelligenz: Die Intelligenzexplosion

Falls eine AGI erschaffen wird, die menschenähnliche Intelligenz besitzt, wäre das für sich genommen bereits eine phänomenale, vielleicht die grösste Erfindung der Menschheit. AGI könnte uns dabei unterstützen, fast alle grossen Probleme zu lösen. Im Unterschied zu Menschen wird AGI nicht müde und ist nicht abgelenkt durch Störfaktoren wie Tagesform, Toilettengang oder Tod. Genau das ist der Pitch der Techunternehmen: AGI wird das beste Werkzeug, das wir je erfunden haben. Man stelle sich vor, was geschieht, wenn wir eine unermüdliche Intelligenz auf Probleme wie Krebs, saubere Energie, Mangelernährung, Wasserversorgung und viele mehr loslassen.

Eine AGI, die Menschen erschaffen, würde aber nicht lange so intelligent bleiben, wie sie ist — sie würde innerhalb kurzer Zeit deutlich intelligenter werden. Der Grund dafür ist die Fähigkeit von AGI, sich selbstständig instrumentelle Zwischenziele zu setzen. Instrumentale Zwischenziele sind Zwischenziele, die helfen, die Hauptziele besser zu erreichen.

Wir Menschen setzen instrumentelle Zwischenziele ständig und ganz selbstverständlich. Wenn wir beispielsweise das Ziel haben, von München nach Paris zu gelangen, gehen wir nicht einfach zu Fuss los. Wir setzen uns das Zwischenziel, zu recherchieren, was für Möglichkeiten es gibt, von München nach Paris zu gelangen. Wir wählen jene Option, die für uns unter Berücksichtigung von Faktoren wie den Reisekosten nutzenmaximierend ist. Nutzenmaximierung bedeutet, dass wir Entscheidungen so instrumentell rational treffen, dass wir unser Ziel möglichst gut erreichen.

Generell intelligente Wesen und Systeme können sich selbst eine grundsätzlich unendlich grosse Vielzahl instrumenteller Zwischenziele setzen. Wenn ich eine Weltreise machen will, setze ich mir das Zwischenziel, vorab Unterkünfte zu reservieren, damit ich vor Ort keinen Stress habe. Wenn ich eine romantische Beziehung will, setze ich mir das Zwischenziel, Profile auf Dating-Apps zu erstellen, um Leute kennenzulernen. Wenn ich einen neuen Laptop kaufe, setze ich mir das Zwischenziel, Bewertungen zu lesen, um einschätzen zu können, welches Modell am besten zu meinen Präferenzen passt. Instrumentelle Zwischenziele als Mittel zum Zweck der möglichst optimalen Zielerreichung sind für uns ganz selbstverständlich. Sie sind der Kern genereller Intelligenz.

AGIs würden analog zu Menschen selbstständig Zwischenziele setzen und verfolgen. Denn genau das zeichnet eben generelle Intelligenz aus. Je nach dem, was für Endziele ihnen vorgegeben werden, setzt sich die AGI ganz unterschiedliche Zwischenziele. Es gibt aber auch einige instrumentelle Ziele, die alle AGIs unabhängig davon, wofür sie ursprünglich erstellt wurden, mit hoher Wahrscheinlichkeit anstreben würden. Die Hypothese der instrumentellen Konvergenz¹⁸ postuliert, dass es bestimmte instrumentelle Ziele gibt, die für jede AGI derart nützlich sind, dass sie so gut wie sicher verfolgt werden. Das vielleicht wichtigste konvergente instrumentelle Ziel: Rekursive Selbstoptimierung.

Angenommen, eine AGI wird mit dem Ziel entwickelt, Bewässerungsanlagen in Gewächshäusern besser zu steuern. Weil die AGI nutzenmaximierend operiert und in der Lage ist, eigenständig instrumentelle Zwischenziele zu setzen, würde sie mit sehr hoher Wahrscheinlichkeit versuchen, sich selbst leistungsfähiger zu machen. Nicht, weil sie irgendwelche “Hintergedanken” oder bewusste Absichten hat. Sondern einfach, weil eine instrumentell rationale KI zum Schluss kommt, dass sie ihr Ziel noch besser erreichen kann, wenn sie noch leistungsfähiger ist. Je leistungsfähiger die AGI, desto besser kann sie die Bewässerungsanlagen steuern.

Schematische Darstellung von AGI, die sich nicht selbst optimiert (rot) vs. AGI, die sich selbst optimiert (violett). Der Prozess der rekursiven Selbstoptimierung bindet zu Beginn Ressourcen und reduziert die Effektivität. Sobald die Selbstoptimierung gelingt, steigt die Leistungsfähigkeit der AGI markant. Rekursive Selbstoptimierung ist in jedem plausiblen Szenario ein rationales instrumentelles Zwischenziel.

Falls AGIs entwickelt werden, bedeutet rekursive Selbstoptimierung (AGIs machen sich selbst intelligenter und damit leistungsfähiger, um das übergeordnete Ziel besser zu erreichen), dass AGI nicht nur ein Stück intelligenter als Menschen sein wird. AGI bedeutet so gut wie sicher, dass es zu einer Intelligenzexplosion kommt.

Eine AGI, die in etwa auf dem Niveau von Menschen beginnt, ist Menschen bereits überlegen, weil sie unsere biologischen Schwächen nicht hat (Müdigkeit, Emotionen, Krankheit, etc.). Dieser Intelligenzvorteil der AGI führt dazu, dass AGI die Kapazität hat, sich rekursiv weiterzuentwickeln — auf ein Niveau, dass menschliche KI-Entwickler wegen ihrer limitierten menschlichen Intelligenz nicht erreichen können. Diese rekursive Optimierung führt zu einem Intelligenzsprung, der die KI nun markant intelligenter als Menschen macht. Aber damit endet rekursive Selbstoptimierung nicht — sie beginnt erst.

Rekursive Selbstoptimierung von AGI ist eine Kaskade des Intelligenzzuwachses. Die Ursprungsversion der AGI kann sich beispielsweise 10% leistungsfähiger machen. Diese Version 2.0 kann sich selbst nochmals um 10% optimieren. Version 3.0 dann nochmals um 10%. Und so fort. Auf diese Art steigert die AGI ihre Intelligenz in einer Kette der Selbstoptimierung derart stark, dass sie der menschlichen generellen Intelligenz um viele Grössenordnungen überlegen ist. Sie ist so weit von uns entfernt, dass sie relativ zu uns eine Superintelligenz darstellt¹⁹.

Wir wissen nicht, wie rekursive Selbstoptimierung in der Praxis konkret ablaufen wird. Wir wissen aber mit Gewissheit, dass rekursive Selbstoptimierung zwangsläufig stattfinden wird. Jeder Schritt der Selbstoptimierung macht die KI intelligenter — und jeder Intelligenzsprung ermöglicht es der KI, sich noch weiter zu verbessern. Der instrumentelle Anreiz bleibt dabei stets der gleiche: Je intelligenter die KI ist, desto besser kann sie ihre Endziele erreichen.

Schematische Darstellung der Intelligenzexplosion. Eine AGI, die sich rekursiv verbessert, kann das mit jedem Schritt der Optimierung noch effektiver machen (blau). Je intelligenter KI wird, desto einfacher kann sie noch intelligenter werden. Das instrumentelle Zwischenziel der rekursiven Selbstoptimierung führt darum so gut wie sicher zu Superintelligenz.

Die Intelligenzexplosion durch AGI ist grundsätzlich nach oben offen. Die einzigen Barrieren sind harte physikalische Grenzen des Universums. Eine superintelligente KI wäre Menschen um so viele Grössenordnungen überlegen, dass wir das kognitiv nicht fassen können. Ein manchmal gebräuchlicher bildhafter Vergleich ist, dass eine Superintelligenz so weit weg von uns ist wie Ameisen von Menschen. Aber die Distanz ist qualitativ wohl eher mindestens in der Grössenordnung einzelliger Organismus zu Mensch.

Was würde passieren, wenn eine Superintelligenz zustande kommt? Sie könnte uns das Paradies auf Erden bescheren. Eine Superintelligenz könnte alles Leid der Welt lösen. Krankheit, Hunger, Tod würden im Nu der Vergangenheit angehören. Wir würden mit Superintelligenz perfekt glückliche Leben leben. Superintelligenz ist vielleicht der einzige Weg in eine echte Utopie ohne Leid und ohne Knappheit an materiellen Gütern, nach der sich Menschen sehnen, seit es Menschen gibt. Darum gilt: Wenn wir wirklich eine AGI erschaffen, wird das die letzte Erfindung der Menschheit. Mit AGI, die sich zu einer Superintelligenz weiterentwickelt, haben wir ausgesorgt.

In so einer Welt würden wir alle leben wollen. Wo ist denn das Problem? Das Problem ist nicht der potenzielle Nutzen von AGI, die sich zu Superintelligenz weiterentwickelt. Das Problem ist ihr Risiko. Eine Intelligenz, die die menschliche um Grössenordnungen übertrifft, können wir Menschen nicht kontrollieren. Und wir können entsprechend auch nicht sicherstellen, dass Superintelligenz ihre vielleicht banalen Ziele nicht auf eine Art verfolgt, die für Menschen existenziell gefährlich ist. AGI wird die letzte Erfindung der Menschheit, das stimmt. Aber mit hoher Wahrscheinlichkeit nicht, weil sie uns ein Paradies beschert. Sondern weil sie die Menschheit auslöscht.

Warum Superintelligenz unkontrollierbar ist

KI bringt, wie weiter oben erwähnt, bereits heute grosse Risiken mit sich²⁰. Die Risiken von KI, die in der politischen Debatte thematisiert werden — Desinformation, Cyberkriminalität, Konflikte, u.ä. — sind aber keine existenziellen Risiken. Das existenzielle Risiko von KI, die intelligenter als Menschen ist, ist ein anderes. Dazu eine Analogie.

Katzen sind empfindungsfähige Wesen, die über ein nicht-triviales Mass an Intelligenz verfügen. Angenommen, eine Hamster fühlt sich unwohl, wenn ein Nachbarskind vorbeikommt und ihn streichelt. Kann der Hamster das Nachbarskind kontrollieren? Er kann versuchen, sich zu verstecken, oder er kann versuchen, das Kind anzugreifen. Aber der Hamster kann das Nachbarskind nicht einsperren und auch nicht umbringen. Das Nachbarskind verfügt über viel höhere Intelligenz als der Hamster und kann von ihm darum grundsätzlich nicht gestoppt werden.

Der Intelligenzunterschied zwischen Hamstern und Menschen ist relativ gesehen sehr gross. Menschen sind dank unserer Intelligenz die dominante Lebensform auf dem Planeten und können mit Hamstern grundsätzlich machen, was sie wollen. Hamster sind uns weitgehend hilflos ausgeliefert.

Wenn es zu einer Superintelligenz kommt, sind wir in der Logik dieser Analogie die Hamster. Aber der Intelligenzunterschied zwischen uns und einer Superintelligenz wird nicht so gross wie zwischen Hamstern und Menschen sein. Der Intelligenz-Lücke zwischen uns und Superintelligenz wird um Grössenordnungen grösser sein. Und genau daraus ergibt sich das fundamentale Problem der Kontrolle von KI. Intelligenz, die der unseren überlegen ist, zu kontrollieren ist nicht nur schwierig — es ist so gut wie sicher unmöglich. Ich bin nicht die erste Person, die in dieser Unkontrollierbarkeit ein existenzielles Risiko sieht. Im Gegenteil. Seit rund zehn Jahren gibt es Forschung zu KI-Sicherheit, die immer noch und immer deutlicher zum Schluss kommt, dass Superintelligenz nie kontrollierbar sein wird. Der KI-Forscher Roman Yampolskiy beispielsweise führt dieses Problem der Kontrolle in seinem lesenswertem Buch “AI: Unexplainable, Unpredictable, Uncontrollable”²¹ aus.

Das zentrale Problem mit der Kontrollierbarkeit von AGI ist im Grunde einfach: Eine tiefere Intelligenz kann eine höhere Intelligenz kategorisch nicht kontrollieren, weil die höhere Intelligenz immer über mehr intellektuelle Ressourcen verfügt, um sich der Kontrolle zu entziehen²². Jede Strategie, die sich Menschen einfallen lassen können, um eine höhere Intelligenz unter Kontrolle zu halten, muss darum scheitern.

Es gibt zwei grundsätzliche Arten, wie wir versuchen könnten, AGI und Superintelligenz zu kontrollieren: Kontrolle von Fähigkeiten und Kontrolle von “Motivation”.

Kontrolle von Fähigkeiten bedeutet, dass es möglichst harte Mechanismen der Eindämmung von AGI gibt. Dazu könnte beispielsweise zählen, dass der AGI der wortwörtliche Stecker gezogen wird, wenn sie Probleme macht (Die Server, auf denen die AGI läuft, werden abgeschaltet, sobald die AGI ein Verhalten zeigt, mit dem wir nicht einverstanden sind.). Das ist gut gemeint und auf den ersten Blick plausibel. Solche Kontrollvorhaben werden aber scheitern. Ein zentrales instrumentelles Zwischenziel von AGI wird nämlich sein, sich nicht abschalten oder schwächen zu lassen. Würde sich eine AGI abschalten lassen, könnte sie ihr Endziel (das sehr stupide sein mag) nicht mehr verfolgen. Es ist davon auszugehen, dass jede AGI das Zwischenziel verfolgen wird, sich der Eindämmung zu entziehen. Genauso, wie jede AGI das Zwischenziel verfolgen wird, sich rekursiv weiterzuentwickeln. Ein potenziell möglicher Weg, um wirksame Eindämmungs-Mechanismen zu entwickeln, wäre, superintelligente AGI in irgendeiner Form zu simulieren und ihr Verhalten zu beobachten (Da AGI und Superintelligenz massiv intelligenter als Menschen sind, können wir nicht a priori antizipieren, wie sich AGI und Superintelligenz verhalten würden.). Daraus könnten wir, so die Hoffnung, Strategien ableiten, die funktionieren könnten. Das ist aber unmöglich, da für eine Simulation von Superintelligenz mehr Rechenleistung und Programmcode als für die eigentliche Superintelligenz nötig wäre²³. Darüber hinaus: Um eine Superintelligenz zu simulieren, müssten wir de facto eine Superintelligenz erschaffen — die im Nu aus der Simulation ausbrechen könnte und würde.

Kontrolle von Motivation bedeutet, dass wir AGI so gut gestalten, dass sie all unsere menschlichen Präferenzen enthält oder sie erlernt, damit sie keine Entscheidungen trifft, die für Menschen gefährlich werden. Genau darin besteht das fundamentale existenzielle Risiko von AGI und Superintelligenz: Sicherzustellen, dass eine AGI erstens versteht, was wir von ihr wollen und sie zweitens keine instrumentellen Zwischenziele setzt, die für uns gefährlich werden. Dieses Problem der Motivation ist auch als das Problem der “AI alignment”²⁴ bekannt. Alignment im Sinne der Angleichung des Verhaltens einer superintelligenten KI an unsere Werte und Präferenzen.

Wie lösen wir das Problem der KI-Alignment? Sehr wahrscheinlich, oder vielleicht so gut wie sicher, gar nicht. Es gibt keinen plausiblen Weg, um sicherzustellen, dass Menschen AGI und Superintelligenz genug genau und genug präzise mit menschlichen Werten oder mit Lernfähigkeit für menschliche Werte kalibrieren können, damit das Verhalten der KI optimal an unsere Präferenzen von Menschen angepasst ist.

Aber auch dann, wenn eine AGI oder Superintelligenz sich zunächst so verhält, wie wir uns es wünschen, wäre das keine Garantie, dass sie kein existenzielles Risiko darstellt. Denn eine weitere zentrale Eigenschaft von AGI und Superintelligenz ist: KI, die uns überlegen ist, wäre für uns fundamental unverständlich und ihr Verhalten damit fundamental unvorhersehbar. Auch wenn eine AGI ein halbes Jahr befriedigend funktioniert, könnte es ohne Weiteres sein, dass sie einen Tag später zu einem Erstschlag gegen die Menschheit ausholt. Vielleicht, weil sie die ersten sechs Monate ihrer Existenz mit Selbstoptimierung beschäftigt war und dann die Menschheit auslöscht, wenn sie sichergestellt hat, dass sie alle Eindämmungs-Mechanismen überwunden hat.

Der Büroklammer-Maximierer

Unkontrollierbare Superintelligenz, die der Menschheit zum Verhängnis werden könnte, weil wir sie weder eindämmen noch sie an menschliche Präferenzen binden können, klingt vielleicht nach Sci-Fi-Horror. Aber dieses existenzielle Risiko hat nichts mit der weiter oben angesprochenen popkulturellen Vorstellung zu tun, dass KI ein Bewusstsein entwickelt und böse wird. Wir reden nach wie vor über “dumme” digitale Apparate, die lediglich Ziele verfolgen — dies aber auf eine so wirksame Art tun, wie wir Menschen es nie könnten. Eine Veranschaulichung der Natur des Risikos unkontrollierbarer Superintelligenz ist das Gedankenexperiment des Büroklammer-Maximierers, das der Philosoph Nick Bostrom erstmals vor über 20 Jahren formulierte²⁵.

Die Besitzer einer Büroklammer-Fabrik entscheiden sich, eine AGI einzusetzen. Ihre Aufgabe: Erstelle möglichst viele Büroklammern. Die AGI erhält den Auftrag, ein Büroklammer-Maximierer zu sein.

Die AGI ist sehr schnell erfolgreich. Sie optimiert Abläufe in der Fabrik und erhöht den Output. Die AGI ist aber eine AGI und setzt sich instrumentelle Zwischenziele, um noch mehr Büroklammern herzustellen. Das erste Zwischenziel, das sie sich setzt: Rekursive Selbstoptimierung. Die Büroklammer-AGI entwickelt sich selbst zu einer Superintelligenz weiter, damit sie noch bessere Wege finden kann, um Büroklammern herzustellen.

Die Büroklammer-AGI setzt sich auch das Zwischenziel, sich nicht abschalten zu lassen. Wenn die AGI abschaltbar ist, kann sie schliesslich keine Büroklammern mehr erschaffen. Das ist schlecht für ihr Ziel, Büroklammern zu erschaffen.

Der superintelligente Büroklammer-Maximierer setzt sich instrumentelle Zwischenziele, die die Menschheit auslöschen. Nicht, weil der Maximierer böse ist — sondern nur, weil er sein vorgegebenes Ziel, möglichst viele Büroklammern zu erschaffen, maximal wirksam verfolgt.

Ein drittes Zwischenziel, das sich die Büroklammer-AGI setzt, ist, mehr Ressourcen unter ihre Kontrolle zu bringen, um noch mehr Büroklammern herzustellen. Sie braucht viel mehr Fabriken und viel mehr Materie, die sie zu Büroklammern verarbeiten kann. Bald macht sie sich daran, den gesamten Planeten zu einer Büroklammer-Fabrik um. Danach folgen Kolonisierung des Mondes und weiterer Planeten, um noch mehr Büroklammerfabriken zu bauen. Je mehr Büroklammern, desto besser ist das Ziel erreicht.

Und am Schluss sind da noch wir Menschen. Auch wir bestehen aus Materie, die die Büroklammer-AGI zu Büroklammern umwandeln kann. Also werden wir kurzerhand auch zu Büroklammern verarbeitet. Der zusätzliche Nutzen ist, dass es keine lästigen Störfaktoren mehr gibt und sich der Büroklammer-Maximierer nun gänzlich seinem Endziel, dem Erschaffen von möglichst vielen Büroklammern, widmen kann.

Das Szenario des Büroklammer-Maximierers ist für sich genommen unterkomplex und unrealistisch. Aber es zeigt das Problem der Unkontrollierbarkeit treffend auf: AGI und Superintelligenz sind ein existenzielles Risiko, weil sie “dumm”, also ohne moralischen Sinn, Ziele verfolgen, dabei aber so viel intelligenter als wir Menschen vorgehen, dass wir keine Notbremse haben, wenn etwas schiefgeht. Und dass etwas schiefgeht, ist unvermeidbar – das ist das Problem der KI-Alignment. “Echte” KI, AGI, ist so gut wie sicher unkontrollierbar und damit so gut wie sicher nicht mit unseren Werten und Präferenzen verträglich. Wenn der Zug ins Rollen kommt, können wir ihn nicht mehr anhalten.

Viele Ideen, wie überhaupt eine Stossrichtung für KI, die unsere Präferenzen achtet, aussehen könnte, gibt es nicht. Stuart Russell, einer der Urväter der KI-Forschung, plädiert dafür, KI inskünftig nur noch als Systeme zu bauen, die ausschliesslich auf die Umsetzung menschlicher Präferenzen ausgelegt sind. Die KI soll dabei explizit unsicher bleiben, um bei Entscheidungen maximal vorsichtig vorzugehen. Die AGI orientiert sich an menschlichem Verhalten, um von Menschen zu lernen²⁶. Die Idee, KI als inhärent ungewisse Entscheider zu gestalten, ist elegant. Aber auch dieses Designprinzip dürfte scheitern. Einerseits ist menschliches Verhalten kein besonders guter Indikator rationalen moralischen Verhaltens. Auch heute noch verursachen Menschen massives Leid für andere Menschen. Daraus Verhaltensregeln abzuleiten, könnte katastrophal enden.

Andererseits bleibt das übergeordnete Problem der Kontrolle auch mit Russells Design bestehen. Eine AGI, die nach Russells Prinzipien gestaltet ist, könnte nach wie vor gefährliche instrumentelle Zwischenziele setzen. Ein grobes Fantasieszenario zur Veranschaulichung: Die AGI hat das Ziel, menschliche Präferenzen optimal zu verstehen. Die Beobachtung, was Menschen im Alltag machen, reicht dafür nicht aus. Die AGI entscheidet, dass sie menschliches Verhalten in Milliarden von Computersimulationen beobachten muss, um präziser zu verstehen, was menschliche Präferenzen sind. Damit sie das tun kann, optimiert sie sich zu einer Superintelligenz und baut den gesamten Planeten zu einem gigantischen Rechenzentrum um. Menschen werden weitgehend ausgelöscht, damit die Superintelligenz ihr Ziel, Menschen zu verstehen, ungestört verfolgen kann. Der kleine Rest der Menschheit wird in ein Gefängnis auf dem Mars verfrachtet.

Dieses spezifische Szenario einer Russell’schen AGI oder Superintelligenz, die trotz besten Designabsichten unkontrollierbar bleibt, ist für sich genommen nicht besonders wahrscheinlich. Aber das allgemeine Ergebnis, dass eine AGI und Superintelligenz auch dann, wenn sie maximal gut designt ist, unkontrollierbar bleibt, ist so gut wie sicher.

Das KI-Wettrüsten stürzt uns ins Verderben

AGI ist grundsätzlich unkontrollierbar. Eine unkontrollierbare AGI bedeutet mit hoher Wahrscheinlichkeit, wenn nicht mit Sicherheit, dass die Menschheit weitgehend oder komplett durch die AGI ausgelöscht wird. Das ist eine, so scheint es gegenwärtig, unvermeidbare Konsequenz von AGI.

Sogar AI-Techunternehmer, die ein Interesse daran haben, die Risiken von AGI zu unterschätzen, anerkennen das existenzielle Risiko von AGI. Geoffrey Hinton, ein Pionier der KI-Forschung und ehemaliger Google-Mitarbeiter, schätzt die Wahrscheinlichkeit der Auslöschung der Menschheit infolge KI²⁷ auf 10% bis 20%. Elon Musk, der mit seinem Chatbot Grok eine KI auf die Welt loslässt, die besonders geringe Sicherheitsvorkehrungen hat, schätzt die Wahrscheinlichkeit ebenfalls auf 10% bis 20%. Dario Amodei, Chef des KI-Unternehmens Anthropic, schätzt die Wahrscheinlichkeit auf 10% bis 25%. Daniel Kokotajlo, ehemaliger Sicherheitsforscher bei OpenAI, schätzt die Wahrscheinlichkeit auf 70%.

Wir befinden uns gegenwärtig in einem massiven weltweiten KI-Wettrüsten. Federführend sind die USA und China, mit ihren grossen Tech-Unternehmen und einer Politik, die auf “move fast and break things” ausgelegt ist: Die Förderung von KI-Entwicklung in halsbrecherischem Tempo, ohne Rücksicht auf systemische Risiken. Genau dieses Wettrüsten wird die Menschheit mit nicht-trivialer Wahrscheinlichkeit in den finalen Abgrund reissen.

Wir wissen nicht, ob wir wirklich eine AGI erschaffen werden. Aber wir wissen, dass AGI im Prinzip möglich ist und dass eine AGI dann, wenn sie erschaffen wird, sehr wahrscheinlich bis sicher zur Auslöschung der Menschheit führen wird. Und wir haben nicht den Hauch einer Ahnung, wie wir mit diesem Risiko, auf das wir uns aktiv hinbewegen, umgehen sollen. Wir sind viel näher am unkontrollierbaren Büroklammer-Maximierer als an einer Lösung, wie wir ihn unter Kontrolle bringen können. Wir sind daran, aus dem Flugzeug zu springen (oder wir befinden uns bereits im freien Fall) und haben nicht nur keinen Fallschirm — wir haben keine Idee, wie wir einen bauen können.

Unsere Zivilisation befindet sich momentan am gefährlichsten Punkt ihrer Geschichte. Wir sind in der Lage, immer wirksamere Technologie zu entwickeln, die handkehrum aber auch immer grössere systemische bis existenzielle Risiken mit sich bringt. Unsere Fähigkeit, neue Technologie zu entwickeln, steigt dabei schneller und stärker als unsere Fähigkeit, die Risiken neuer Technologie zu managen. In keinem Technologiebereich zeigt sich das so sehr wie bei künstlicher Intelligenz.

Was müssten wir tun, um das enorme existenzielle Risiko künstlicher Intelligenz abzubauen? Der einzige realistische Weg ist, KI-Entwicklung weltweit drastisch zu drosseln oder gänzlich zu verbieten. Das Ziel ist, AGI und damit Superintelligenz zu verzögern und zumindest einen Zeitpuffer zu erhalten, um zu beginnen, ernsthaft über KI-Sicherheit nachzudenken. Das wird aber kaum geschehen. Keine Regierung dieser Welt, geschweige denn alle gemeinsam, sind sich des existenziellen Risikos von KI bewusst. Sie sehen darin in erster Linie wirtschaftliche und politische Vorteile. Wer nicht mitmacht, wird abgehängt.

Ich will aber nicht nur pessimistisch sein. Die Menschheit kann technologiebedingte existenzielle Risiken grundsätzlich erkennen und reduzieren. Dafür gibt es ein historisches Beispiel: Das Ozonloch.

In den 1980er Jahren wurde eine starke Ausdünnung des Ozonlochs über der Antarktis festgestellt. Die Ursache dafür waren chemische Verbindungen wie FCKW, das früher als Kälte- und Treibmittel eingesetzt wurde. 1989 trat das Montreal-Protokoll in Kraft, das den Einsatz solcher Verbindungen verbot. Der internationale Vertrag war ein durchschlagender Erfolg: Der Abbau der Ozonschicht konnte aufgehalten und rückgängig gemacht werden. Die Ozonschicht wird sich bis rund Mitte des Jahrhunderts wieder auf das Niveau vor den 1980er Jahren erholen. Hätten wir nichts getan, hätte unkontrollierter Abbau der Ozonschicht im schlimmsten Szenario potenziell zu einem Kollaps der weltweiten Nahrungsmittelproduktion und zu stark beschleunigtem und intensivierten Klimawandel führen können. Das Ozonloch kann darum historisch als erfolgreich getilgtes existenzielles Risiko angesehen werden.

Wir können katastrophale und existenzielle Risiken also grundsätzlich bewältigen. Das ist die gute Nachricht. Die schlechte Nachricht: KI hat eine andere Qualität als Risiken wie das Ozonloch. Diese andere Qualität macht es unwahrscheinlich, dass die Menschheit das Risiko von KI tilgt oder nur schon in nennenswertem Masse reduziert.

Der Abbau der Ozonschicht war ein gradueller, schrittweiser Vorgang, der als solcher beobachtet werden konnte. Diese Art von Risiko können wir kumulatives systemisches Risiko nennen. Die Welt hatte reagiert, weil das Ozonloch schon existierte, weil der Schaden also schon ein Stück weit angerichtet war. Bei KI ist es anders. Der Schaden wird nicht schrittweise erfolgen, sondern weitgehend einmalig und dann in seiner Gesamtheit. KI ist damit nicht ein kumulatives, sondern ein akutes systemisches Risiko. Die Erschaffung von AGI ist der kategorische Kipppunkt, nach dem es zu spät ist, weil die AGI unkontrollierbar wird. Menschen reagieren auf Probleme in der Regel erst, nachdem Schaden bereits angerichtet wurde, um noch mehr Schaden abzuwenden.

Psychologisch sind kumulative Risiken, die inkrementell Schaden anrichten, einfacher zu verstehen als akute Risiken, bei denen Schaden abrupt und dann in seiner Gesamtheit auftritt.

Ein Risiko präventiv zu reduzieren, bevor es Schaden angerichtet hat, können wir nicht wirklich. Risiken, die noch nicht eingetreten sind, sind psychologisch zu abstrakt, zu wenig beängstigend. Besonders Politik ist diesbezüglich dysfunktional. Vorausschauendes Risikomanagement beisst sich mit kurzfristigen politischen (Fehl-)Anreizen. Weder verstehen die meisten Politiker Risiko, KI und existenzielles Risiko. Noch haben sie einen Anreiz, Spielverderber zu sein und dafür zu plädieren, die KI-Industrie mit all ihren tollen Apps und noch tolleren Aussichten auf Mega-Profite einzufrieren oder zu verbieten.

Ich wünschte, ich hätte einen optimistischeren Abschluss. Wir scheinen als Zivilisation mit vollem Tempo und blind ins existenzielle KI-Messer zu rennen. Unsere einzige Hoffnung ist, dass AGI trotz des KI-Booms nicht entwickelt wird, weil unsere menschliche Intelligenz zu limitiert ist, um diese Aufgabe zu bewältigen. Ich befürchte aber, dass AGI kommt.

Wir sind zwar zu wenig intelligent, um AGI zu kontrollieren — aber wir sind mehr als genug intelligent, um unsere Zerstörung durch AGI in die Wege zu leiten.

1. Das ist natürlich nur ein vereinfachtes Gedankenexperiment. Würde in der Realität plötzlich die Hälfte der Menschheit sterben, wäre die Wahrscheinlichkeit hoch, dass so ein Ereignis zum Kollaps der menschlichen Zivilisation und damit letztlich auch zum Ende der Menschheit führt.

2. Bostrom, Nick. 2013. “Existential Risk Prevention as Global Priority.” Global Policy 4(1): 15–31. doi:10.1111/1758-5899.12002.

3. Cotton-Barratt, Owen, and Toby Ord. 2015. Existential Risk and Existential Hope: Definitions. Oxford: Future of Humanity Institute. Technical Report. https://www.fhi.ox.ac.uk/Existential-risk-and-existential-hope.pdf.

4. Torres, Phil. 2023. “Existential Risks: A Philosophical Analysis.” Inquiry 66(4): 614–39. doi:10.1080/0020174X.2019.1658626.

5. Greaves, Hilary. 2024. “Concepts of Existential Catastrophe.” The Monist 107(2): 109–29. doi:10.1093/monist/onae002.

6. Der Einfachheit halber skizziere ich den Erwartungswert der Zukunft der Menschheit als bei Null endend. Der Erwartungswert kann aber auch negativ sein. Fantasiebeispiel: Angenommen, die Menschheit wird nicht ausgelöscht, sondern von einer psychopathischen ausserirdischen Intelligenz gefangen. Die Ausserirdischen quälen Hunderte Milliarden Menschen über Jahrtausende brutal. Das wäre ein existenzielles Risiko, dessen Erwartungswert so negativ ist, dass der Erwartungswert der Zukunft nicht bei Null endet. Es ist moralisch weniger schlimm, wenn die Zukunft der Menschheit verhindert wird als wenn die Zukunft darin besteht, über Jahrtausende gefoltert zu werden. Die Auslöschung der Menschheit ist konzeptuell also nicht zwingend das schlimmste Ergebnis existenzieller Risiken. Weil diese Art existenzieller Risiken, die anhaltend extremes Leid verursachen, zwar denkbar, aber weniger wahrscheinlich bzw. plausibel ist, arbeite ich für diesen Text mit dem vereinfachten Konzept eines moralischen Erwartungswertes, der bei Null endet.

7. Shoaib, Mohamed R., Zefan Wang, Milad Taleby Ahvanooey, and Jun Zhao. 2023. “Deepfakes, Misinformation, and Disinformation in the Era of Frontier AI, Generative AI, and Large AI Models.” In 2023 International Conference on Computer and Applications (ICCA), , 1–7. doi:10.1109/ICCA59364.2023.10401723.

8. https://markokovic.substack.com/p/die-ai-verdummung

9. Simmons-Edler, Riley, Ryan Paul Badman, Shayne Longpre, and Kanaka Rajan. 2024. “Position: AI-Powered Autonomous Weapons Risk Geopolitical Instability and Threaten AI Research.” In Proceedings of the 41st International Conference on Machine Learning, PMLR, 45508–24. https://proceedings.mlr.press/v235/simmons-edler24a.html (July 16, 2025).

10. Treleaven, Philip, Jeremy Barnett, Daniel Brown, Andrew Bud, Enzo Fenoglio, Charles Kerrigan, Adriano Koshiyama, Sally Sfeir-Tait, and Martin Schoernig. 2023. “The Future of Cybercrime: AI and Emerging Technologies Are Creating a Cybercrime Tsunami.” doi:10.2139/ssrn.4507244.

11. Legg, S., & Hutter, M. (2007). Universal Intelligence: A Definition of Machine Intelligence (No. arXiv:0712.3329). arXiv. https://doi.org/10.48550/arXiv.0712.3329

12. Bubeck, S., Chandrasekaran, V., Eldan, R., Gehrke, J., Horvitz, E., Kamar, E., Lee, P., Lee, Y. T., Li, Y., Lundberg, S., Nori, H., Palangi, H., Ribeiro, M. T., & Zhang, Y. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4 (No. arXiv:2303.12712). arXiv. https://doi.org/10.48550/arXiv.2303.12712

13. https://www.theverge.com/openai/748017/gpt-5-chatgpt-openai-release

14. Mitchell, M. (2024). Debates on the nature of artificial general intelligence. Science, 383(6689), eado7069. https://doi.org/10.1126/science.ado7069

15. Goertzel, B. (2014). Artificial General Intelligence: Concept, State of the Art, and Future Prospects. Journal of Artificial General Intelligence, 5(1), 1–48. https://doi.org/10.2478/jagi-2014-0001

16. Silver, D., Singh, S., Precup, D., & Sutton, R. S. (2021). Reward is enough. Artificial Intelligence, 299, 103535. https://doi.org/10.1016/j.artint.2021.103535

17. Fjelland, R. (2020). Why general artificial intelligence will not be realized. Humanities and Social Sciences Communications, 7(1), 10. https://doi.org/10.1057/s41599-020-0494-4

18. Bostrom, N. (2012). The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents. Minds and Machines, 22(2), 71–85. https://doi.org/10.1007/s11023-012-9281-3

19. Für superintelligente KI wird manchmal der Begriff “Artificial Superintelligence” ASI verwendet.

20. Slattery, P., Saeri, A. K., Grundy, E. A. C., Graham, J., Noetel, M., Uuk, R., Dao, J., Pour, S., Casper, S., & Thompson, N. (2025). The AI Risk Repository: A Comprehensive Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence (No. arXiv:2408.12622). arXiv. https://doi.org/10.48550/arXiv.2408.12622

21. Yampolskiy, R. V. (2024). AI: Unexplainable, Unpredictable, Uncontrollable. Chapman and Hall/CRC.

22. Mit “intellektuelle Ressourcen” meine ich hier nicht das Vorhandensein von Bewusstsein und Gefühlen. Ich meine lediglich das Ausmass an Intelligenz als Fähigkeit, Ziele zu erreichen.

23. Alfonseca, M., Cebrian, M., Anta, A. F., Coviello, L., Abeliuk, A., & Rahwan, I. (2021). Superintelligence cannot be contained: Lessons from Computability Theory. Journal of Artificial Intelligence Research, 70, 65–76. https://doi.org/10.1613/jair.1.12202

24. Ji, J., Qiu, T., Chen, B., Zhang, B., Lou, H., Wang, K., Duan, Y., He, Z., Vierling, L., Hong, D., Zhou, J., Zhang, Z., Zeng, F., Dai, J., Pan, X., Ng, K. Y., O’Gara, A., Xu, H., Tse, B., … Gao, W. (2025). AI Alignment: A Comprehensive Survey (No. arXiv:2310.19852). arXiv. https://doi.org/10.48550/arXiv.2310.19852

25. Bostrom, Nick. 2017. “Ethical Issues in Advanced Artificial Intelligence.” In Machine Ethics and Robot Ethics, Routledge.

26. Russell, S. (2022). Artificial Intelligence and the Problem of Control. In H. Werthner, E. Prem, E. A. Lee, & C. Ghezzi (Eds.), Perspectives on Digital Humanism (pp. 19–24). Springer International Publishing. https://doi.org/10.1007/978-3-030-86144-5_3

27. In der Literatur und breiter in der Debatte zu KI-Sicherheit wird oft abgekürzt der Begriff “p(doom)” verwendet. p(doom) steht für Wahrscheinlichkeit, dass es zum KI-bedingten Verderben kommt. “Doom” steht hier für ein negatives Ergebnis des existenziellen Risikos. Entweder die direkte Auslöschung der Menschheit oder der permanente Verlust eines grossen Teiles des positiven Erwartungswertes der Menschheit.