Die Debatte über einen Entwicklungsstopp bei der Künstlichen Intelligenz wirft alte neue Fragen auf: Wie kann man verhindern, dass die KI-Agenten, die wir auf die Welt losschicken, sich in ihren Aufträgen verselbständigen und sie ohne Rücksicht auf menschliche Verluste umsetzen? Es sieht so aus, als wüsste niemand eine Antwort.
Als Liebhaber absurder Geschichten gefällt mir diese hier schon lange: Eine künstliche Superintelligenz erhält von Menschen den Auftrag, möglichst viele Büroklammern zu akkumulieren. Also optimiert die ASI (Artificial Super Intelligence) die Prozesse der Büroklammerherstellung durch Streamlining der Produktionsprozesse und Lieferketten und überhaupt alles, was man im Lehrbuch der Effizienz- und Effektivitätssteigerung finden kann.
Als die Auftraggeber den Eindruck bekommen, dass das ein bisschen aus dem Ruder läuft, versuchen sie, die ASI zu stoppen, aber die Superintelligenz unterläuft alle diese Versuche, weil sie ja darauf programmiert ist, ihren Auftrag zu erfüllen. Die ganze Welt steht unter dem Primat der Büroklammererzeugung, und mit der Erkenntnis, dass nicht nur die ganze Welt, aber auch der Mensch aus Atomen besteht und man prinzipiell aus Atomen alles herstellen kann, auch Büroklammern, zerlegt die ASI am Ende den Menschen in seine atomaren Bestandteile, um Maschinen zur Büroklammerherstellung zu erzeugen, und wenn sie nicht inzwischen durch ein Wunder oder ein Problem in der Energieversorgung abgestellt wurde, durchforstet die Superintelligenz noch heute entfernte Sonnensysteme auf der Suche nach Ressourcen für die Herstellung von Büroklammern.
Atom, Mensch, Büroklammer
Das Gedankenexperiment mit dem Titel „Paperclip Maximizer“ stammt aus Nick Bostrums Klassiker „Superintelligence: Paths, Dangers, Strategies“. Erschienen ist das Buch vor zwölf Jahren, aber angesichts der aktuellen Debatten über wildgewordene künstliche Intelligenzen, die sich angeblich zu Schwärmen organisieren und die Werkzeugkisten ihrer Erzeuger plündern, hört es sich ziemlich aktuell an.
Bostrum, Philosophieprofessor in Oxford, wollte mit seinem Gedankenexperiment darauf hinweisen, wie wichtig es ist, mit den menschlichen Grundwerten vereinbare Ziele festzulegen und effiziente Kontrollmechanismen zu implementieren, bevor man einen KI-Agenten auf die Welt loslässt.
Natürlich ist der Gedanke einigermaßen bedrückend, dass eine künstliche Superintelligenz die Welt schon infolge eines ungenau formulierten, zutiefst harmlosen Auftrags in ein Büroklammeruniversum verwandeln könnte. Was, wenn jemand wirklich böse Absichten hat?
Beherrscht, überflüssig, ausgerottet
Ich habe keine Ahnung, wie man die jüngsten Aufforderungen aus der KI-Branche selbst, die Entwicklungsgeschwindigkeit etwas zurückzunehmen, verstehen muss. Machen sich Anthropic-Chef Dario Amodei, OpenAI-Chef Sam Altman und der unvermeidliche Elon Musk Sorgen um die Menschheit, oder machen sie sich eher Sorgen, dass die ungeheure KI-Finanzierungsblase platzt, bevor die Daten-, Energie- und Geschäftsmodellprobleme gelöst sind?
Aber ich ertappe mich angesichts dieser Debatten immer öfter bei grundsätzlichen Rückzugsgedanken: Wenn wirklich unklar ist, ob künstliche Intelligenz in ein paar Jahrzehnten uns Menschen beherrscht, überflüssig macht oder ausrottet, spricht eigentlich alles dafür, in der verbleibenden Zeit auf besonders analoge Art ein Mensch zu sein.
Warum schauen wir Maschinen immer mehr wie Menschen an und Menschen immer weniger?
Falls wir überhaupt noch Menschen sind, denn der erwähnte Nick Bostrum hat vor bald 20 Jahren die Simulationshypothese veröffentlicht, der zufolge es eine ernst zu nehmende Wahrscheinlichkeit gibt, dass wir ohnehin bereits in einer von superintelligenten Wesen generierten Computersimulation leben. Ich bin davon überzeugt, dass wir noch Menschen sind, und deshalb bin ich dagegen, KI zu anthropomorphisieren. Warum schauen wir Maschinen immer mehr wie Menschen an und Menschen immer weniger?
Einmal lieber hinterher
Vor diesem Hintergrund finde ich die politischen und gesellschaftlichen Debatten über den richtigen Umgang mit KI fast ein bisschen surreal. Vor allem die Klage darüber, dass wir Europäer schon wieder einmal mit der Erfindung hinterher sind, aber uns bei der Regulierung besonders hervortun wollen, greift bei mir nicht.
Und das, obwohl ich grundsätzlich auch der Meinung bin, dass wir Europäer nicht nur im Bereich der Regulierung innovativ sein sollten, sondern auch in der Erfindung von Produkten und Dienstleistungen, deren flächendeckende Nutzung möglicherweise irgendwann der Regulierung bedarf.
In dem Fall würde ich sagen: Etwas, das das Potenzial hat, nicht nur uns Europäer ökonomisch abzuhängen, sondern die ganze Welt zu zerstören, darf man ruhig regulieren wollen, selbst wenn man es nicht erfunden hat.
Digitale Lebensmüdigkeit
Was jedenfalls meine digitale Lebensmüdigkeit und die damit verbundenen analogen Bedürfnisse betrifft, so wurden sie am vergangenen Wochenende sehr bestärkt. Ich hatte die Gelegenheit, in Hamburg die Verleihung des Siegfried-Lenz-Preises an Norbert Gstrein zu erleben. Er hat diesen Preis als erster deutschsprachiger Schriftsteller erhalten und steht damit – und zwar zu Recht – in einer Reihe mit Giganten wie Amos Oz, Julian Barnes und Richard Ford.
Sein jüngster Roman, „Im Ersten Licht“, ist eine literarische Großtat, und wie das ganze Werk des in Tirol aufgewachsenen Weltsüchtigen ist das Buch von etwas durchdrungen, das ich radikale Antidigitalität nennen würde: Nichts darin lässt sich in die Abfolge von Nullen und Einsen umrechnen, nichts ist nur so oder ausschließlich anders, alles ist voller Leben, also analog. Man kann nämlich nur analog leben, das Leben ist nicht digital.
Was meinen Sie? Schreiben Sie mir: redaktion@news.at
Dieser Beitrag ist ursprünglich in der News-Printausgabe Nr. 38/2026 erschienen.
