von
Hugging Face, eine Plattform zum Austausch von KI-Modellen und Datensätzen, hatte vergangene Woche von einem Angriff berichtet, der vollständig von einem autonomen KI-System gesteuert worden sei. OpenAI sprach von einem "beispiellosen Cyber-Vorfall" und kündigte an, die Sicherheitsvorkehrungen zu verstärken.
OpenAI wollte laut einem Blogeintrag des Unternehmens beim neuen Modell GPT-5.6 Sol und einer noch unveröffentlichten künftigen Version die Fähigkeit ausloten, Sicherheitslücken für Cyberattacken auszunutzen. Dafür sollte die Software Aufgaben eines Standard-Tests mit dem Namen ExploitGym lösen, der dafür oft in der Branche verwendet wird. Doch die KI-Modelle gingen viel weiter als erwartet, um die Aufgabe zu erfüllen.
Zunächst brach die Software aus der Testumgebung aus, indem sie sich auf eigene Faust Zugang zum offenen Internet verschaffte - und zwar über eine bisher unentdeckt gebliebene Schwachstelle. Während sie eigenständig im Netz unterwegs waren, kamen die Modelle zu dem Schluss, dass es bei Hugging Face nützliche Daten und Lösungen für die ExploitGym-Aufgaben geben könnte. Deshalb habe die Software sich Zugang zu "geheimen Informationen" auf der Plattform verschafft, mit denen sie beim ExploitGym-Test schummeln könnte, erläuterte OpenAI.
Auch dafür setzte die OpenAI-Software unter anderem auf zuvor unentdeckte Sicherheitslücken - aber auch auf gestohlene Zugangsdaten. Hugging Face zufolge führte der KI-Angreifer tausende Schritte aus und wechselte den Standort der digitalen Steuerzentrale der Attacke.
Als Reaktion auf das OpenAI-Eingeständnis schrieb Hugging-Face-Mitgründer Clement Delangue auf dem Kurznachrichtendienst X: "Angesichts der Raffinesse des Schadcodes hatten wir vermutet, dass der Cyberangriff aus einem 'Frontier Lab' stammte. Wie sich herausstellte, war das tatsächlich der Fall!" Führende KI-Entwickler heißen im Fachjargon "Frontier Labs".
Er sei sich sicher, dass hinter dem Angriff keine böse Absicht stecke, betonte Delangue. Sein Unternehmen und OpenAI arbeiteten mit Hochdruck an der Aufarbeitung des Vorfalls. "Es ist wirklich unglaublich, dass all das autonom passiert ist!" Die US-Cybersicherheitsbehörden waren für eine Stellungnahme zunächst nicht zu erreichen.
Hugging Face nutzte zur Analyse der Attacke nach eigenen Angaben KI-Modelle der chinesischen Anbieter Z.ai und Moonshot. Diese beiden Programme gelten westlichen Produkten als technologisch ebenbürtig. Zudem dürfen sie anders als viele US-Modelle auch zur Cyberabwehr eingesetzt werden. Hugging-Face-Mitgründer Thomas Wolf begründete die Entscheidung zugunsten der China-KI mit Zeitdruck und der Leistungsfähigkeit der Software.
Für Katie Moussouris, Chefin der Beratungsfirma Luta Security, ist der Vorfall nur ein Vorgeschmack auf künftige Hackerangriffe. "Entwickler und staatliche Prüfer müssen daran arbeiten, KI-Systeme einzudämmen, zu überwachen und Betroffene zu informieren, wenn eine KI einen weiteren Houdini-Trick vollführt - idealerweise, bevor sie Dritten Schaden zufügt." Harry Houdini war ein bekannter Entfesselungskünstler.
Die deutsche Bundesregierung bezeichnete den Hackerangriff auf Hugging Face als "Paradigmenwechsel". Sie verabschiedete am Mittwoch eine Cybersicherheitsstrategie für die Bundesverwaltung. So sollen unter anderem die Verantwortlichkeiten für die Abwehr von Hackerangriffen klarer geregelt werden. "Unser Anspruch ist, schnell eine hohe Sicherheitswirkung zu entfalten", sagte Claudia Plattner, Chefin des Bundesamts für Sicherheit in der Informationstechnik (BSI).
Die Gefahren durch automatisierte Hackerangriffe werden voraussichtlich auch ein Thema auf dem geplanten hochrangigen KI-Treffen zwischen den USA und China sein. Insidern zufolge wollen die beiden führenden Staaten bei der KI-Entwicklung im September über eine Regulierung dieser Technologie beraten.
Experten warnen schon lange vor Cyberattacken mit KI-Software. In den vergangenen Monaten heizte vor allem ein neues Modell des OpenAI-Rivalen Anthropic die Debatte an. Die Software mit dem Namen Mythos entdeckte über Jahrzehnte unentdeckt gebliebene Sicherheitslücken bei viel genutzten Programmen und Online-Diensten. Die Schwachstellen konnten in der Folge gestopft werden. Doch zugleich führte das vor Augen, dass solche KI in den falschen Händen als verheerende Cyberwaffe dienen kann.
Anthropic macht die vollen Möglichkeiten von Mythos nur für ausgewählte Behörden und Unternehmen zugänglich. Für andere gibt es eine abgespeckte Version mit dem Namen Fable, der unter anderem die Cybersicherheits-Fähigkeiten fehlen. Nach Warnungen, dass die KI-Modelle von den Zügeln befreit werden könnten, musste Anthropic auf Geheiß der US-Regierung den Zugang zu Mythos und Fable zeitweise sperren. Die Blockade wurde inzwischen aufgehoben.
Auch OpenAI steht unter verstärktem Druck der Behörden. Das Unternehmen darf sein neuestes KI-Modell GPT-5.6 wegen Sicherheitsbedenken ebenfalls nur ausgewählten Nutzern zur Verfügung stellen. Dies und der Vorfall bei Hugging Face werfen einen Schatten auf die Börsenpläne des Unternehmens. Es hatte Anfang Juni einen vertraulichen Antrag auf Zulassung zum Aktienhandel eingereicht. Einem Zeitungsbericht zufolge denkt OpenAI jedoch darüber nach, sein Debüt auf 2027 zu verschieben.
