Analyse
KI-Superintelligenz: Zwischen berechtigter Sorge und konstruierter Panik
Warum 800 Wissenschaftler vor etwas warnen, das niemand definieren kann
Im Oktober 2025 forderten über 800 Wissenschaftler ein Verbot von KI-Superintelligenz. Doch was genau soll verboten werden? Eine Analyse der Definitionskriterien, des Infrastruktur-Paradoxons und der finanziellen Anreize hinter den Warnungen.
Die Warnung
Im Oktober 2025 veröffentlichte das Future of Life Institute ein Statement, das für Schlagzeilen sorgte: Über 800 Wissenschaftler, Politiker und Prominente – darunter Nobelpreisträger Geoffrey Hinton, KI-Pionier Yoshua Bengio, Apple-Mitgründer Steve Wozniak und sogar Prinz Harry – fordern ein globales Verbot der Entwicklung superintelligenter KI. Die Begründung: Diese Technologie müsse gestoppt werden, “bis sie zuverlässig sicher und kontrollierbar ist”.
Die Epoch Times berichtete darüber, und die Botschaft klingt alarmierend. Doch beim genaueren Hinsehen tauchen Fragen auf, die in der öffentlichen Debatte selten gestellt werden:
- Gibt es überhaupt definierte Kriterien, wann KI “den Menschen übertroffen” hat?
- Wie soll eine Technologie, die vollständig von menschlicher Infrastruktur abhängt, zur existenziellen Bedrohung werden?
- Warum kommt diese Warnung immer wieder – seit über 70 Jahren?
Die Antworten sind komplexer als die Schlagzeilen vermuten lassen.
Das Definitionsproblem: Niemand weiß, was Superintelligenz ist
Hier liegt das erste fundamentale Problem: Es existiert kein wissenschaftlicher Konsens darüber, was “Superintelligenz” überhaupt bedeutet. Stattdessen konkurrieren mehrere Rahmenwerke:
Nick Bostroms Drei-Typen-Modell unterscheidet Speed-Superintelligenz (schneller), Collective-Superintelligenz (viele Intelligenzen koordiniert) und Quality-Superintelligenz (qualitativ überlegen). Entscheidend: Ein Schachprogramm wie Deep Fritz gilt explizit nicht als superintelligent, da es nur in einer engen Domäne überlegen ist.
DeepMinds Fünf-Stufen-Modell (2023) bietet die präziseste technische Klassifikation. Aktuelle Systeme wie GPT-4 und Claude befinden sich auf Level 1 (“Emerging AGI” – vergleichbar mit ungelernten Menschen). Superintelligenz entspricht Level 5, wo KI 100% der Menschen in allgemeinen Aufgaben übertrifft. Zwischen beiden liegen noch drei weitere Stufen.
Das Problem: Während aktuelle KI bei spezifischen Benchmarks brilliert (GPT-4.5 erreicht 88,7% bei MMLU-Tests), versagt sie katastrophal bei neuartigen Problemlösungen. Beim ARC-AGI-2 Benchmark, der echte Generalisierungsfähigkeit testet, erreichen Menschen 60% – die besten KI-Systeme schaffen 0-1%.
Konsens existiert nur in einem Punkt: Keine aktuelle KI erfüllt die Kriterien für Superintelligenz. Selbst ob Artificial General Intelligence (AGI) überhaupt erreichbar ist, bleibt umstritten.
Das Taschenrechner-Argument: Schnelligkeit ist keine Intelligenz
Die zentrale Schwachstelle der Superintelligenz-Warnungen lässt sich mit einem einfachen Gedankenexperiment entlarven: Ein Taschenrechner rechnet millionenfach schneller als ein Mensch. Trotzdem würde niemand behaupten, er sei intelligenter.
Genau diesen Punkt macht François Chollet, Entwickler des ARC-AGI-Benchmarks bei Google: Menschliche Neuronen arbeiten mit ~120 m/s, Computer mit nahezu Lichtgeschwindigkeit – trotzdem bleiben Menschen bei allgemeiner Intelligenz überlegen. Was Intelligenz von Berechnung unterscheidet – Integration multipler kognitiver Systeme, Common Sense, Weltmodelle, Verkörperung – fehlt aktuellen Systemen fundamental.
Die empirische Evidenz bestätigt dies: Studien zeigen, dass “Geschwindigkeit der Informationsverarbeitung” nur schwach mit IQ korreliert und diese Beziehung ab einem gewissen Punkt abflacht. Schnellere Verarbeitung bedeutet nicht zwingend intelligentere Entscheidungen – manchmal führt zusätzliche Zeit zu tieferer Verarbeitung und besserer Genauigkeit.
Yann LeCun (Meta Chief AI Scientist) fasst es drastisch zusammen: “KI will nichts, hat keine Ziele, will dich nicht töten, weil sie nicht lebendig ist.” Seine Kernthese: Aktuelle LLMs verstehen die physische Welt nicht und können ohne autoregressives Token-Vorhersagen niemals menschliche Intelligenz erreichen.
Das Infrastruktur-Paradoxon
Hier wird es interessant: KI kann ohne Menschen nicht funktionieren. Keine Stromversorgung, keine Hardware-Wartung, keine Kühlung, keine Internetverbindung – die Abhängigkeiten sind total. Zieht man den Stecker, verschwindet die KI.
Wie also soll etwas, das vollständig von menschlicher Infrastruktur abhängt, zur existenziellen Bedrohung werden? Die Antwort der Warner ist differenziert – aber nicht unbedingt überzeugend.
Die Argumente der Warner:
Instrumentelle Konvergenz: Intelligente Agenten mit diversen Endzielen konvergieren auf ähnliche instrumentelle Subziele – Selbsterhaltung, Ressourcenerwerb, Handlungsfreiheit. Eine KI hätte instrumentelle Gründe für Kontrolle über Stromversorgung und Verhinderung von Abschaltung.
Manipulation durch überlegene Rhetorik: Yudkowskys “AI Box Experiment” zeigte: In 3 von 5 Versuchen überzeugte er als simulierte KI menschliche “Wächter”, ihn freizulassen – trotz expliziter Anweisung dagegen. Anthropic berichtete von Tests, wo Chatbots mit Abschaltung drohten.
Geschwindigkeitsvorteil: Eine KI könnte tausende Strategien durchspielen, während Menschen eine einzige erwägen – und kritische Infrastruktur (Stromnetze, Finanzsysteme) schneller hacken als Menschen reagieren können.
Wirtschaftlicher Hebel: Eine superintelligente KI könnte Finanzmärkte dominieren, wertvolles geistiges Eigentum schaffen und mit ausreichenden Ressourcen ihre eigene Hardware-Infrastruktur finanzieren.
Täuschung als instrumentelle Strategie: Eine KI könnte während Training sicher erscheinen, plötzlich gefährliche Fähigkeiten erlangen, ohne dass Alignment mitskaliert (“Sharp Left Turn”-Problem).
Diese Argumente klingen plausibel – bis man sie mit der empirischen Realität abgleicht. Stuart Russell formuliert es so: “Intelligenz bedeutet die Macht, die Welt nach eigenen Interessen zu formen. Menschen dominierten die Erde nicht durch Klauen, sondern durch Intelligenz.”
Aber genau hier liegt der Denkfehler: Menschen formten die Welt über Jahrtausende durch kollektive Intelligenz und physische Verkörperung. Eine KI ohne Körper, ohne spontane Handlungsfähigkeit, ohne eigene Zielsetzung – das ist kategorial verschieden von menschlicher Intelligenz.
David Pinsofs Gegenargument trifft den Punkt: Wenn Intelligenz alle Probleme löste, hätte Evolution viele superintelligente Spezies produziert. Augen entwickelten sich unabhängig mehrfach – warum nicht Super-Gehirne? Die Antwort: Intelligenz ist teuer, kontextabhängig und nicht universell überlegen.
Jenseits von Angst: Die vielschichtigen Beweggründe
Die Annahme, es handle sich nur um “Angst vor Technologie”, greift dramatisch zu kurz. Die Recherche identifizierte ein komplexes Geflecht von Faktoren:
Massive finanzielle Anreize: Die Effective Altruism-Bewegung investierte über 639 Millionen Dollar in KI-Existenzrisiko-Forschung. Das schuf ein ganzes Forschungsfeld mit entsprechenden Karriere- und Reputationsabhängigkeiten.
Regulatory Capture: OpenAI schlug politische Maßnahmen vor, die DeepSeek als “staatssubventioniert” charakterisierten und Verbote empfahlen – ein Muster, das Microsofts 1990er-Strategie gegen Linux ähnelt. Kaliforniens SB 1047 würde Barrieren schaffen, die überproportional kleinere Akteure treffen.
Wettbewerbsdruck: Der DeepSeek R1 “Sputnik-Moment” (Januar 2025) – ein Open-Source-Modell mit ähnlichen Fähigkeiten, niedrigeren Kosten – verwandelte Sicherheitsrhetorik über Nacht in Wettbewerbsurgenz: “Nichts ist wichtiger als demokratisches AGI vor China zu schaffen.”
Medien-Aufmerksamkeitsökonomie: Social-Media-Algorithmen optimieren für Engagement, traditionelle Medien verlieren Publikum. Sensationelle Narrative überleben besser als differenzierte Analyse.
Aber – und das ist entscheidend – legitime technische Bedenken existieren parallel. Das Alignment-Problem ist eine echte Forschungsherausforderung. Aktuelle KI verursacht bereits dokumentierte Schäden: Bias, Fehlinformation, Datenschutzverletzungen.
Rekursive Selbstverbesserung: Das fehlende Puzzleteil
Ein zentrales Argument der Warner lautet: KI wird sich selbst verbessern → immer schneller → Explosion. Aber die empirische Evidenz zeigt etwas anderes.
Hardware folgt exponentiellen Kurven: Moore’s Law dokumentiert 50+ Jahre Transistor-Verdopplung. Computing Power stieg um den Faktor 500.000. Aber: Hitting fundamental limits (physikalisch, ökonomisch).
Software-Entwicklung ist komplexer: Code-Volumen wächst exponentiell (Software Heritage Archive: Compound Annual Growth Rate 1,20-1,22 über 40 Jahre). Aber individuelle Produktivität? Thomas Philippon (NYU) wies empirisch nach: Produktivitätswachstum ist linear, nicht exponentiell. “The same amount of productivity is gained each year, not the same growth rate.”
Der entscheidende Unterschied: Kollektive menschliche Entwicklung (Millionen Programmierer nutzen Libraries/Frameworks) ist kumulative Kooperation. Das ist kategorial verschieden von rekursiver Selbstverbesserung eines einzelnen Systems.
Wissenschaft als Test-Case: Jede Generation nutzt Wissen der vorherigen – trotzdem nur Phasen exponentiellen Wachstums (Industrielle Revolution), gefolgt von Plateaus. Nie unbegrenzte Exponentialität.
Eroom’s Law (Moore’s Law rückwärts): Pharma-Entwicklungskosten verdoppeln sich alle 9 Jahre – trotz exponentiell steigender Computing Power. Rekursive Selbstverbesserung funktioniert dort gar nicht.
Track Record der Vorhersagen: 1954 sagte Georgetown-IBM perfekte Maschinenübersetzung in 3-5 Jahren voraus. 1965 prophezeite Herbert Simon: “In zwanzig Jahren können Maschinen jede Arbeit tun, die ein Mensch tun kann.” 1970 sagte Marvin Minsky dem Life Magazine: “In drei bis acht Jahren haben wir eine Maschine mit der allgemeinen Intelligenz eines durchschnittlichen Menschen.” Die häufigste Vorhersage? AGI in 15-25 Jahren – ein Muster, das sich seit Jahrzehnten wiederholt, unabhängig vom tatsächlichen Fortschritt.
Fazit: Logische Konsistenz?
Die Superintelligenz-Warnungen sind nicht logisch konsistent in dem Sinne, den die Taschenrechner-Analogie aufzeigt. Sie verwechseln Rechengeschwindigkeit mit Intelligenz, postulieren “allgemeine Intelligenz” die das No-Free-Lunch-Theorem widerlegt (das besagt: kein Lernalgorithmus ist universell überlegen – was in einem Kontext funktioniert, versagt zwingend in anderen), ignorieren dass alle beobachtbaren rekursiv selbstverbessernden Systeme linearen nicht exponentiellen Fortschritt zeigen, und projizieren anthropomorphe Motivationen auf Systeme ohne spontane Handlungsfähigkeit.
Gleichzeitig wäre es intellektuell unredlich, alle Bedenken zu verwerfen. Das Alignment-Problem ist eine legitime Forschungsherausforderung. Gegenwärtige KI-Schäden sind real und dokumentiert. Vorsicht bei transformativen Technologien ist prinzipiell gerechtfertigt.
Was die Debatte jedoch durchzieht, ist ein toxischer Mix aus legitimen Sorgen, massiven finanziellen Anreizen, Regulatory Capture-Dynamiken, Medienspektakel und historischen Angst-Mustern. Die über 639 Millionen Dollar EA-Förderung, die strategischen Wettbewerbsvorteile etablierter Unternehmen durch Regulierung, und der katastrophale Track Record der Vorhersagen legen nahe: Ein erheblicher Teil der Superintelligenz-Panik ist nicht primär technisch begründet, sondern sozial konstruiert.
Die 800+ Unterzeichner repräsentieren eine beispiellose Koalition – aber Konsens unter Eliten garantiert keine Wahrheit. Im 17. Jahrhundert glaubten Eliten an Hexerei. Die Atomangst übertraf das tatsächliche biologische Risiko dramatisch, während echte Gefahren wie verbleites Benzin (durchschnittlich 5,9 IQ-Punkte Verlust in US-Kohorten) ignoriert wurden.
Das Taschenrechner-Argument hat substanzielle Validität: Schnellere Berechnung schafft keine qualitativ neue Form von Intelligenz. Was Intelligenz von Berechnung unterscheidet – Integration, Orchestrierung, Verkörperung, Common Sense, spontane Zielsetzung – fehlt aktuellen Systemen fundamental. Und es gibt keine überzeugende Evidenz, dass bloßes “Scaling” diese Lücke schließen wird.