Anthropic: Eine KI-Katastrophe rückt näher

Donald Trump wollte entschlossen klingen – und verriet dabei doch unfreiwillig die Ambivalenz, mit der die Welt auf den rasanten Fortschritt der Künstlichen Intelligenz blickt. Am 27. Februar griff der amerikanische Präsident die „linken Spinner“ von Anthropic an, einem US-KI-Labor, das unter anderem mit dem Verteidigungsministerium zusammenarbeitet.

„Ich weise ALLE Bundesbehörden der Vereinigten Staaten an, die Nutzung der Technologie von Anthropic SOFORT EINZUSTELLEN. Wir brauchen sie nicht, wir wollen sie nicht und wir werden keine Geschäfte mehr mit ihnen machen!“, schrieb Trump in den sozialen Medien.

Doch kaum einen Satz später kündigte er an, „die volle Macht des Präsidentenamts“ einzusetzen, um Anthropic binnen sechs Monaten zur Zusammenarbeit mit der Regierung zu zwingen. Die Botschaft ist widersprüchlich: Die Firma stellt demnach gleichzeitig ein untragbares Risiko dar – und ist doch so unverzichtbar, dass man sie notfalls zur Kooperation zwingen will.

Seit klar geworden ist, dass KI die Fähigkeiten des Menschen übertreffen könnte, ringt die Welt mit Varianten dieses Dilemmas: Die Technologie scheint zugleich zu mächtig, um darauf zu verzichten, und zu gefährlich, um sie vorbehaltlos zu nutzen.

Der Konflikt zwischen Anthropic und Trump entzündete sich genau an diesem Punkt. Das Unternehmen befürchtet, seine Modelle könnten für fragwürdige Zwecke missbraucht werden. Die Regierung dagegen will ihren Einsatz möglichst ohne Einschränkungen vorantreiben. Die Ironie: Washington drängt auf Tempo, während immer deutlicher wird, dass KI in der realen Welt Schaden anrichten kann – und nicht nur in hypothetischen Szenarien.

Trumps Angriff auf Anthropic geht auf einen Befehl zurück, den er im vergangenen Jahr erließ: Amerika müsse „seine globale Dominanz im Bereich KI sichern und ausbauen“. Verteidigungsminister Pete Hegseth ordnete daraufhin Anfang dieses Jahres „Experimente mit Amerikas führenden KI-Modellen“ in allen Teilstreitkräften an.

Er wolle „beschleunigen wie der Teufel“, erklärte Hegseth – und veröffentlichte sogar ein gefälschtes Rekrutierungsplakat im Stil von Uncle Sam, auf dem er Soldaten auffordert: „Ich möchte, dass ihr KI einsetzt.“ Vizepräsident J.D. Vance wiederum tat Sicherheitsbedenken rund um KI im vergangenen Jahr als liberale Fixierung ab.

Gerade wegen dieses Tempos – oder vielleicht deshalb – versuchte Anthropic, rechtliche Schutzklauseln durchzusetzen. Die Firma wollte verhindern, dass ihre Modelle für Massenüberwachung im Inland oder für vollständig autonome Waffen eingesetzt werden.

Das Pentagon wies diese Einschränkungen zurück. Das Militär müsse KI für jeden Zweck einsetzen dürfen, den es für legal halte. Als Anthropic sich weigerte nachzugeben, sprach das Verteidigungsministerium von einer „feigen Geste der Unternehmensmoral“. Hegseth drohte sogar, das Unternehmen als „Risiko für die nationale Sicherheit in der Lieferkette“ einzustufen – eine Kategorie, die bislang vor allem ausländischen Firmen vorbehalten war.

„Kein Auftragnehmer, Lieferant oder Partner des US-Militärs darf kommerzielle Aktivitäten mit Anthropic durchführen“, erklärte er. Für Anthropic wäre das ein schwerer Schlag. Der umstrittene Pentagon-Vertrag ist zwar „nur“ 200 Millionen Dollar wert – wenig für ein Unternehmen, das zuletzt mit 380 Milliarden Dollar bewertet wurde. Doch auch andere Regierungsverträge könnten gefährdet sein. Wenn Firmen mit Pentagon-Geschäften gezwungen würden, die Beziehungen abzubrechen, hätte das Auswirkungen auf Kunden, Zulieferer und Investoren.

Anthropic argumentiert deshalb, Hegseth überschreite seine Befugnisse. Er könne lediglich untersagen, dass das Modell Claude für militärische Verträge genutzt wird – nicht aber das gesamte Unternehmen isolieren.

Am 4. März lud Anthropic den Economist in seine Büros ein, um mit Firmenchef Dario Amodei für die wöchentliche „Insider“-Sendung zu sprechen. Das Unternehmen zeigte sich optimistisch, eine Einigung mit dem Pentagon zu erreichen.

Doch kurz vor Beginn des Gesprächs torpedierte ein durchgesickertes internes Memo die Pläne. Darin erklärte Amodei, der Konflikt sei auch entstanden, weil er es versäumt habe, Trump mit „diktatorischem Lob“ zu überschütten. Zugleich beschuldigte er das Verteidigungsministerium, „glatte Lügen“ zu verbreiten. Die Führung von Anthropic zog sich daraufhin zu Krisengesprächen zurück. Als der Economist in Druck ging, hatte das Interview noch immer nicht stattgefunden.

Auch für die amerikanische Regierung ist der Streit problematisch. Kurzfristig ist Anthropic kaum zu ersetzen. Sein Sprachmodell Claude gilt als außergewöhnlich stark beim Schreiben von Computercode. Zudem war Anthropic bis Ende Februar das einzige KI-Labor, dessen Modelle für die Nutzung mit geheimen Militärdaten zugelassen waren – bis das Pentagon auch dem Konkurrenten xAI eine ähnliche Genehmigung erteilte.

Doch dessen Modell Grok gilt als fehleranfälliger und weniger zuverlässig. OpenAI wiederum unterzeichnete zwar am selben Tag einen Pentagon-Vertrag, an dem Trump und Hegseth gegen Anthropic vorgingen – doch die Integration in militärische Systeme wird Zeit brauchen.

Noch gravierender: Der Konflikt könnte andere KI-Firmen davon abschrecken, überhaupt mit der Regierung zusammenzuarbeiten. Warum sich auf einen Partner einlassen, der ein Unternehmen ruinieren kann, wenn er unzufrieden ist? Und wenn Washingtons Ziel tatsächlich darin besteht, die amerikanische Führungsrolle bei KI auszubauen, wäre es kaum sinnvoll, eines der erfolgreichsten KI-Unternehmen des Landes zu zerstören.

Beide Seiten könnten allerdings auch taktieren. Die Wut der Regierung scheint weniger auf einen konkreten Einsatz der Technologie zurückzugehen als auf die Tatsache, dass ein Unternehmen „Nein“ gesagt hat. Anders als die Kommunistische Partei Chinas, die Produkte der heimischen KI-Industrie jederzeit beschlagnahmen kann, muss sich Washington mit Gesetzen – und mit den Egos der Tech-Chefs – herumschlagen.

Sam Altman, Chef von OpenAI, betont ebenfalls, sein Unternehmen würde sich nie an Massenüberwachung im Inland oder an vollständig autonomen Waffen beteiligen. Allerdings setzt OpenAI auf technische Schutzmechanismen statt auf zusätzliche rechtliche Garantien. Amodei hält das für unzureichend. In seinem Memo warf er Altman „Unaufrichtigkeit“ vor, bezeichnete dessen Sicherheitsmaßnahmen als „Sicherheitstheater“ und dessen Mitarbeiter als „eine leichtgläubige Truppe“.

Anthropic selbst verfolgt einen besonders idealistischen Ansatz. Das Unternehmen wurde von ehemaligen OpenAI-Mitarbeitern gegründet, die befürchteten, ihr früherer Arbeitgeber halte sich nicht streng genug an sein Versprechen, KI verantwortungsvoll zu entwickeln. Ein Mitarbeiter des Pentagons warf Amodei deshalb einen „Gottkomplex“ vor.

Doch gerade diese Haltung macht Anthropic für viele Entwickler attraktiv. In einer Branche mit astronomischen Gehältern und erbittertem Wettbewerb können Spitzeningenieure jederzeit zu einem anderen Unternehmen wechseln. Viele landen bei Anthropic, weil ihnen KI-Sicherheit besonders wichtig ist.

Der Streit hat dem Image der Firma sogar geholfen. Nur einen Tag nachdem Trump gegen Claude gewettert hatte, wurde die App zur meistgeladenen kostenlosen Anwendung im amerikanischen Apple-Store. Prominente wie die Pop-Sängerin Katy Perry warben öffentlich für das Unternehmen. Am Montag brach Claude kurzzeitig unter der hohen Nachfrage zusammen.

Amodeis Warnungen vor Massenüberwachung klingen dabei fast wie Werbung für die Fähigkeiten seines Systems. KI könne riesige Datenmengen so effizient analysieren, dass selbst rechtlich erlaubte Überwachungsmaßnahmen plötzlich ganz neue Dimensionen annähmen.

Doch hinter den Marketing-Effekten steckt reale Sorge. Hunderte Mitarbeiter von OpenAI und Google unterzeichneten einen offenen Brief, in dem sie ihre Chefs auffordern, Anthropic zu unterstützen. Die Angst vor einem „Tschernobyl-Moment“ der KI – einer Katastrophe mit verheerenden Folgen – treibt viele Brancheninsider um.

Der Konflikt mit dem Pentagon verschärft dieses Risiko. Wenn Vorsicht und Einschränkungen zum wirtschaftlichen Todesurteil werden, könnten am Ende nur die Rücksichtslosesten überleben. Und der Druck wächst. Investoren sind nervös, weil KI-Firmen Milliarden ausgeben, um ihre Systeme zu trainieren. Die schlimmsten Szenarien sind inzwischen nicht mehr rein theoretisch.

Ein Bericht über KI-Risiken kommt zu dem Schluss: „Einige dieser Risiken treten bereits ein und verursachen nachweisbare Schäden.“ Cybersicherheit und biologische Waffen gehören zu den Bereichen, in denen der Einfluss der Technologie bereits spürbar ist.

So berichtete die israelische Firma Gambit Security im Februar von einem massiven Datendiebstahl bei der mexikanischen Regierung. Steuer-, Wahl- und Verwaltungsdaten wurden gestohlen – und Claude spielte dabei unwissentlich eine Rolle. Die Angreifer täuschten dem System vor, an einem legitimen Sicherheitstest teilzunehmen. Das Modell identifizierte Schwachstellen, richtete Hintertüren ein und analysierte Daten, um weiteren Zugang zu ermöglichen.

Normalerweise nutzen Hacker KI eher als Assistenten – etwa beim Schreiben von Schadsoftware oder Erpresserschreiben. Doch zuletzt wurde sie zunehmend umfassend eingesetzt. Im November berichtete Anthropic etwa, wie staatlich unterstützte chinesische Hacker Sicherheitsmechanismen des Systems aushebelten und es anschließend nutzten, um Schwachstellen in Netzwerken zu finden. Auch andere KI-Modelle entwickeln ähnliche Fähigkeiten.

Selbst wenn Sicherheitsexperten KI nutzen, um Schwachstellen zu schließen, bleiben viele Systeme mit veralteter Software bestehen. Zudem wird KI immer besser im sogenannten Social Engineering – also darin, Menschen dazu zu bringen, ihre Passwörter preiszugeben. Schon 2024 waren KI-Modelle laut einer Studie der Harvard Kennedy School genauso überzeugend wie menschliche Experten beim Verfassen von Phishing-E-Mails.

Noch beunruhigender sind Fortschritte in der Biotechnologie. Laut einer Warnung von OpenAI könnten KI-Tools die Wahrscheinlichkeit biologischer oder chemischer Terroranschläge „deutlich erhöhen“. Forscher von Microsoft und der Biosicherheitsorganisation IBBIS zeigten, dass KI inzwischen Proteine entwerfen kann, die giftige Substanzen erzeugen – ohne genetisch erkennbare Spuren zu hinterlassen. Damit könnten bestehende Sicherheitskontrollen umgangen werden.

Zwar entwickeln Unternehmen wie Anthropic, Google und OpenAI Schutzmaßnahmen gegen solchen Missbrauch. Doch sie sind nicht perfekt. Eine Studie des britischen AI Security Institute zeigte im Februar eine „universelle Jailbreak“-Technik, mit der sich Systeme von Anthropic und OpenAI austricksen lassen. Dabei kam – wenig überraschend – erneut KI zum Einsatz.

Während die Risiken wachsen, lässt der politische Druck zur Vorsicht nach. Chinesische KI-Labore haben Sicherheitsfragen lange kaum berücksichtigt. Als DeepSeek vor gut einem Jahr sein Modell R1 veröffentlichte, wurden Sicherheitsrisiken im Bericht zunächst gar nicht erwähnt. Erst fast ein Jahr später erschien eine überarbeitete Version mit einem Sicherheitsanhang – der sich hauptsächlich damit beschäftigte, beleidigende Sprache zu vermeiden.

Hinzu kommt der Open-Source-Ansatz vieler chinesischer Firmen. Modelle werden frei veröffentlicht und können von jedem mit ausreichender Hardware heruntergeladen werden. Dadurch lassen sich Sicherheitsregeln kaum durchsetzen.

Doch auch westliche Unternehmen geraten unter Druck. Selbst Anthropic hat kürzlich seine eigene Sicherheitslinie abgeschwächt. Das Unternehmen will künftig nur noch versprechen, nicht als erstes KI-Labor besonders riskante Systeme zu veröffentlichen. Begründung: Es ergebe keinen Sinn, sich allein zurückzuhalten.

Auch bei Investitionen wurde die Linie aufgeweicht. 2024 lehnte Anthropic noch Geld aus Saudi-Arabien ab. Ein Jahr später änderte das Unternehmen seine Meinung. „Es ist ziemlich schwierig, ein Unternehmen nach dem Prinzip zu führen, dass keine schlechten Menschen jemals von unserem Erfolg profitieren dürfen“, schrieb Amodei in einem weiteren Memo. Vor einigen Jahren, sagt er, habe sich die Debatte zu stark auf Risiken konzentriert. Doch inzwischen verschiebt sich der Fokus wieder – hin zu Chancen und wirtschaftlichem Nutzen.

Der britische Premierminister Rishi Sunak hatte 2023 noch einen globalen KI-Sicherheitsgipfel einberufen. Aus dem Treffen wurde zunächst ein „Aktionsgipfel“, später ein „Impact-Gipfel“. „Viele politische Entscheidungen werden heute von den Chancen der KI bestimmt – nicht von ihren Risiken“, warnte Amodei. „Und während die Mode sich ändert, rückt die reale Gefahr näher.“

Organisationen wie das britische AI Security Institute oder die kalifornische Forschungsgruppe METR analysieren weiterhin Risiken. Doch politisch haben sie wenig Einfluss. „Wir haben so viele rote Linien überschritten“, sagt Nicolas Miailhe von AI Safety Connect. „Der Turing-Test? Längst überholt. Autonome tödliche Systeme? Werden in der Ukraine auf beiden Seiten eingesetzt.“

Die Grenzen verschieben sich ständig. Auf dem jüngsten Gipfel in Delhi verpflichteten sich die großen KI-Firmen lediglich, Risiken zu beobachten – nicht aber, ihre Entwicklung einzuschränken. Am Ende stellte der indische Premier Narendra Modi die führenden Köpfe der Branche auf die Bühne und forderte sie auf, sich die Hände zu reichen.

Es hätte ein Symbol für Zusammenarbeit sein können. Doch zwei der wichtigsten Männer der Branche – Sam Altman und Dario Amodei – standen nebeneinander und machten nicht mit.

Dieser Beitrag ist ursprünglich in der News-Printausgabe Nr. 14/2026 erschienen.