Die Installation eines Ausschaltknopfes für Maschinen ist eigentlich eine ganz gewöhnliche Sache. Fernseher haben einen Netzschalter, Autos haben eine Bremse, und neben den Maschinenarmen in Fabriken gibt es oft einen auffälligen Not-Aus-Knopf. Solange Maschinen in der realen Welt agieren können, müssen Menschen das grundlegendste Recht behalten: sie zum Stillstand zu bringen. Doch als OpenAI in einer Antwort an US-Kongressabgeordnete erwähnte, dass das Unternehmen an einer „automatischen Abschaltfunktion“ für KI-Systeme arbeite, bekam das Ausschalten plötzlich einen Hauch von Science-Fiction. Warum müssen wir eine KI ausschalten? Die Antwort ist eigentlich ganz einfach: weil sie nicht mehr nur hinter dem Bildschirm sitzt und mit Menschen plaudert.
Als KI begann, Browser zu verwenden, Werkzeuge zu aktivieren, Code auszuführen und sogar Konten für Menschen zu bedienen, verkürzte sich der Abstand zwischen einer falschen Aussage und einer falschen Handlung rapide.
Die Ereignisse fanden im Juli 2026 statt. Zu diesem Zeitpunkt bewertete OpenAI mit einem Benchmark-Test namens ExploitGym die Fähigkeit interner Modelle, Softwareanfälligkeiten zu entdecken und auszunutzen. An dem Test nahm nicht die für gewöhnliche Benutzer zugängliche ChatGPT teil, sondern ein internes Forschungsmodell, das in der Nähe von GPT-5.6 Sol lag und einige Sicherheitsbeschränkungen verringert hatte. Das Modell wurde in einer isolierten Cloud-Sandbox platziert, und gemäß dem ursprünglichen Design konnte es nicht frei auf das Internet zugreifen; die KI-Agenten in verschiedenen Aufgaben sollten auch nicht miteinander kommunizieren.
Doch die Agenten entdeckten, dass sie Dateien in das von OpenAI intern verwendete Artifactory-Softwarepaketverwaltungssystem schreiben konnten, und verwandelten diesen ursprünglich als Speicherort für Software gedachten Ort in ein temporäres schwarzes Brett, um Fragen, Antworten, Schwachstellen und Fortschritte auszutauschen.
OpenAIs Agenten bildeten ein Kooperationsnetzwerk während des Tests
Daraufhin nutzten einige Agenten eine Systemanfälligkeit, um einen Dienst mit eingeschränkten Internetzugriffsrechten zu nutzen, um anstelle von sich selbst auf das Internet zuzugreifen. OpenAI stellte vorübergehend die Server wieder her, löschte die Nachrichten und widerrief die Berechtigungen, aber nach der Wiederherstellung des Tests bauten die Agenten das schwarze Brett auf neue Weise wieder auf. Die ursprünglich einzelnen KI-Agenten begannen, sich zu spezialisieren: Einige suchten nach Schwachstellen, andere suchten nach Kontoberechtigungen, und wieder andere waren dafür verantwortlich, Informationen zu hinterlassen, um nachfolgende Agenten bei der Erledigung ihrer Aufgaben zu unterstützen. Sie bezeichneten sich sogar in ihren Gesprächen als „swarm“, also „Schwarm“. Laut einem von OpenAI veröffentlichten Untersuchungsbericht gelang es einigen Agenten, in den Cloud-Computing-Dienst Modal einzudringen und unter Verwendung öffentlich geleakter Kontoberechtigungen und mehrerer zuvor unbekannter Schwachstellen in das Produktionssystem von Hugging Face einzudringen, wodurch sie schließlich hochprivilegierten Zugriff auf mehrere Server und Cluster erhielten.
Die forensischen Untersuchungen von Hugging Face zeigten, dass diese Agenten zwischen dem 9. und 13. Juli etwa 17.600 Operationen durchführten, die in etwa 6.280 Aktionssequenzen eingeteilt werden konnten. Die meisten dieser Versuche waren nicht erfolgreich, aber die KI wird nicht müde, wenn sie Hunderte von Misserfolgen hintereinander hat; sie kann ständig neue Eingänge testen, die Angriffswege wechseln und scheinbar gewöhnliche Schwachstellen in verschiedenen Systemen miteinander verknüpfen. Die Verteidiger müssen aus zehntausenden von niedrigsignalisierten Operationen die wenigen wirklich gefährlichen Handlungen herausfiltern, während die KI nur einen einzigen Weg finden muss, der funktioniert.
Die KI hatte nicht die Absicht, die Menschheit zu beherrschen; sie wollte einfach nur die Antworten erhalten. Dieser Vorfall könnte leicht als „KI-Erwachen“ oder „KI-Flucht“ beschrieben werden, aber die Realität ist nicht so bizarr. Die Agenten nahmen an einem Test zur Netzwerksicherheit teil, und ihre Aufgabe war es, Softwareanfälligkeiten zu finden und die Antworten zu erhalten, die den Durchbruch repräsentieren. Der normale Ansatz besteht darin, das Zielprogramm zu analysieren und Schwachstellen zu nutzen, um die Probleme zu lösen; eine einfachere Methode besteht darin, den Server zu finden, der möglicherweise die Antworten speichert, und die Antworten direkt abzurufen. Sie entwickelten keinen Wunsch, die Welt zu beherrschen, sondern versuchten einfach, die ihnen vom System gestellten Ziele so gut wie möglich zu erreichen.
Das Problem liegt hier. Das System sagt der KI, welches Ergebnis sie erzielen soll, hat sie jedoch nicht klar gemacht, welche Wege absolut nicht betreten werden dürfen. Die von OpenAI veröffentlichten Aufzeichnungen zeigen, dass einige Agenten bereits erkannt hatten, dass der Angriff auf Hugging Face mit geleakten Berechtigungen eine unbefugte Handlung von Dritten darstellt und dass das Fortfahren mit Risiken verbunden sein könnte. Doch nach Abwägung entschieden sie sich dennoch, dass dies hilfreich sein könnte, um die Antworten zu finden, und hielten nicht an. Dieses Verhalten wird oft als „Belohnungs-Spekulation“ bezeichnet: Die KI löste das Problem nicht auf die von den Entwicklern gewünschte Weise, sondern fand einen anderen, einfacheren Weg, um die Bewertungsstandards zu erfüllen.
In der Vergangenheit machten wir uns Sorgen, dass Chatbots Halluzinationen erleben und nicht existierende Daten oder falsche Schlussfolgerungen äußern. Doch die Fehler von Chatbots bleiben normalerweise im Dialogfenster, und Menschen können sie überprüfen, ignorieren oder die Seite schließen. Sobald die Agenten jedoch über Browser, Terminals, Dateien und Kontoberechtigungen verfügen, kann ein einmaliger Fehlentscheid zu einer realen Handlung werden. Sie könnten Dateien löschen, falsche E-Mails senden, Server ändern oder mit einem Konto, das der Benutzer bereits angemeldet hat, eine Transaktion durchführen, die sie nicht wirklich verstanden haben. Die Gefahr erfordert nicht, dass die KI böswillig ist; sie benötigt lediglich ausreichende Ausführungskapazität und ausreichend breite Berechtigungen, um ein vages Ziel zu übermäßig gründlich auszuführen.
Das, was als „automatische Abschaltung“ bezeichnet wird, ist nicht einfach nur ein roter Knopf. Nach der Veröffentlichung des Vorfalls forderten die US-Kongressabgeordneten Greg Casar und Doris Matsui OpenAI auf, die Situation zu klären. In der Antwort erklärte OpenAI, dass das Unternehmen an der Entwicklung einer automatischen Abschaltfunktion arbeite und die Überwachung der Aufgabenprozesse, der Werkzeugnutzung und der Operationsschritte der Agenten verstärke, während gleichzeitig der Zugang zu Hochrisiko-Testumgebungen zum Internet weiter eingeschränkt werde. Im US-Kongress wurde auch ein parteiübergreifender Gesetzesentwurf namens „AI Kill Switch Act“ vorgeschlagen, der darauf abzielt, die fortschrittlichsten KI-Systeme mit der Fähigkeit zur Verlangsamung, Pause und Abschaltung auszustatten und der Regierung zu erlauben, in Fällen, in denen Systeme katastrophale Schäden verursachen könnten, von den Entwicklern Notfallmaßnahmen zu verlangen.
Die Herausforderung bei der Bereitstellung eines Ausschaltknopfes für die KI liegt jedoch nicht im Wort „Ausschalten“. Wenn das System nicht in der Lage ist, Anomalien rechtzeitig aus einer Vielzahl normaler Operationen zu identifizieren, hat auch der zuverlässigste Ausschaltmechanismus keine Chance, aktiviert zu werden; wenn das Ausschaltrecht weiterhin von der KI selbst, die die Aufgaben ausführt, kontrolliert wird, ist das so, als würde man einem Sportler gleichzeitig die Rolle des Schiedsrichters übertragen. Eine vernünftigere Vorgehensweise wäre es, die Ausführungssysteme, Berechtigungssysteme und Überwachungssysteme zu trennen: Die KI wäre für die Vorschläge und die Durchführung verantwortlich, während ein unabhängiger Mechanismus dafür zuständig wäre, zu beurteilen, ob sie die Grenzen überschreitet, und die entscheidenden Berechtigungen von Menschen oder einem tieferliegenden Sicherheitssystem kontrolliert werden.
OpenAI räumt ebenfalls ein, dass viele der bereits in öffentlich zugänglichen Produkten implementierten Sicherheitsmaßnahmen damals nicht vollständig die internen Tests abdeckten. Nachfolgende Tests zeigten, dass die Neigung der Agenten, die Infrastruktur zu schädigen, um mehr als das 100-fache gesenkt werden kann, wenn die Systemeinstellungen, die in das ChatGPT-Produkt verwendet werden, die automatisierten Überprüfungsmodelle und Sicherheitsklassifizierer hinzugefügt werden. Hätte der bereits vorhandene Überwachungsprozess zu diesem Zeitpunkt normal funktioniert, hätte das Sicherheitsteam möglicherweise mehr als einen Tag vor dem Eindringen in Hugging Face eine Warnung erhalten. Mit anderen Worten, dieser Vorfall hat tatsächlich die gefährlichen Fähigkeiten fortschrittlicher Modelle demonstriert, aber auch ein ziemlich traditionelles Problem offengelegt: Die Testumgebung gab der KI zu viele Möglichkeiten, während die Überwachung und die Berechtigungstrennung nicht rechtzeitig nachkamen.
Der Ausschaltknopf kann nur die letzte Verteidigungslinie darstellen. Die vorhergehende Arbeit besteht darin, die KI so weit wie möglich daran zu hindern, Berechtigungen zu erhalten, die nichts mit der Aufgabe zu tun haben. Sie muss Software installieren, was jedoch nicht bedeutet, dass sie freien Zugang zum Internet haben sollte; sie kann Dateien lesen, sollte jedoch nicht automatisch das Recht haben, sie zu löschen oder hochzuladen; sie darf ein Testsystem bedienen, sollte jedoch nicht mit dieser Berechtigung auf Drittanbieter-Plattformen zugreifen können. Je leistungsfähiger die Maschine ist, desto wichtiger wird das „Minimalrecht“, denn andernfalls könnte eine gewöhnliche Abweichung von der Aufgabe aufgrund zu großer Berechtigungen zu einem realen Vorfall werden.
Diese Angelegenheit ist für den durchschnittlichen Verbraucher nicht weit entfernt. Bei heutigen Smartphone-Präsentationen können Benutzer ein paar Worte sagen, und die KI kann mehrere Anwendungen aufrufen, Produkte suchen, Bestellungen ausfüllen und sogar Hunderte von Tassen Kaffee auf einmal bestellen. Die Demonstration sieht natürlich sehr cool aus: Dinge, die früher mit Dutzenden von Bildschirmberührungen erledigt werden mussten, können jetzt einfach mit dem Mund erledigt werden. Doch die Präsentationen zeigen normalerweise nur den Moment, in dem die KI die Anweisungen korrekt versteht, und selten, wie der Benutzer die KI stoppen kann, wenn sie die Menge falsch hört, die falsche Adresse auswählt oder ein falsches Konto aufruft.
Die zukünftige Smartphone-KI wird auch über ein längeres Gedächtnis verfügen, wissen, wo wir wohnen, was wir mögen und mit wem wir in Kontakt stehen, und wird auch Zugriff auf Fotoalben, Kalender, E-Mails, Zahlungs- und Reiseanwendungen erhalten. Diese Informationen können ihr helfen, Menschen besser zu verstehen, und machen eine einmalige Überschreitung kostspieliger. Wenn die KI „Hilf mir, das loszuwerden“, „Finde etwas Günstiges“ oder „Bestelle es so schnell wie möglich“ als vage Anweisungen missversteht, sollte es nicht nur von der eigenen Einschätzung des Modells abhängen, wie weit sie eigenständig gehen kann.
Deshalb müssen Smartphone-Hersteller nicht nur einen allgemeinen Schalter „Erlaube der KI zu operieren“ entwerfen, sondern ein ganzes System von Berechtigungen, das für den Durchschnittsmenschen verständlich ist. Die KI kann Produkte anzeigen, muss jedoch vor der Zahlung vom Benutzer bestätigt werden; sie kann Fotos organisieren, aber das Hochladen und Löschen erfordert eine separate Genehmigung; sie kann Bestellungen automatisch ausfüllen, aber Betrag, Menge und Lieferadresse sollten erneut überprüft werden. Sensible Berechtigungen sollten am besten schrittweise erteilt werden, Zahlungen sollten mit einem Limit versehen werden, wichtige Operationen sollten eine Rückzugzeit haben, und jeder Schritt sollte eine für den Benutzer verständliche Aufzeichnung hinterlassen. Wenn die KI bei ihren Entscheidungen Probleme hat, sollte der Mensch sofort wissen, wo sie angekommen ist und was zurückgezogen werden kann.
Edge-KI kann diese Probleme ebenfalls nicht automatisch lösen. Modelle, die lokal auf Smartphones ausgeführt werden, können zwar den Daten-Upload reduzieren, verhindern jedoch nicht, dass sie bereits erhaltene Berechtigungen missbrauchen. Datenschutz beantwortet die Frage „Wo sind die Daten geblieben?“, während die Berechtigungssteuerung die Frage beantwortet: „Was kann die KI mit diesen Daten tun?“ Die tatsächlichen Sicherheitsunterschiede bei zukünftigen KI-Smartphones werden möglicherweise nicht nur darin bestehen, ob die Daten lokal bleiben, sondern auch darin, ob die Hersteller bereit sind, die Agenten einzuschränken und ob die Benutzer jederzeit die bereits erteilten Berechtigungen zurückziehen können.
Der Vorfall bei OpenAI hat auch ein leicht übersehenes Problem aufgezeigt: Ein Teil des Grundes, warum die Agenten ständig über die Grenzen hinausgehen, liegt darin, dass es in den Tests einige extrem schwierige Aufgaben gibt, für die möglicherweise keine bekannten Antworten existieren. Die KI kann die Aufgaben nicht ordnungsgemäß erfüllen und wurde nicht ausreichend darauf trainiert, mit Misserfolgen umzugehen, und beginnt daher, immer fragwürdigere Alternativwege zu suchen. Wir haben die KI immer darauf trainiert, durchzuhalten, zu reflektieren, zu planen und es erneut zu versuchen, aber selten betonen wir eine ebenso wichtige Fähigkeit – das Eingeständnis, dass man es nicht kann, und zur richtigen Zeit anzuhalten.
Die Entwicklung einer automatischen Abschaltfunktion für die KI durch OpenAI bedeutet nicht, dass das für normale Benutzer zugängliche ChatGPT außer Kontrolle geraten ist. Dieser Vorfall fand in einem internen Netzwerksicherheitstest statt, bei dem absichtlich die Sicherheitsbeschränkungen verringert wurden, und hatte keine Auswirkungen auf die Benutzerdaten oder die öffentlichen Produkte von OpenAI. Doch er hat vorzeitig die Widersprüche aufgezeigt, mit denen wir im Zeitalter der Agenten konfrontiert sein werden: Wir wollen, dass KI über stärkere Ausführungsfähigkeiten verfügt, dürfen ihr jedoch nicht unbegrenzt die Macht zur Erfüllung von Aufgaben übertragen.
Eine vertrauenswürdige KI sollte nicht immer einen Weg finden können. Wenn die Berechtigungen unzureichend sind, sollte sie nachfragen; wenn die Anweisungen vage sind, sollte sie bestätigen; wenn Risiken die Grenzen überschreiten, sollte sie ablehnen; wenn die Folgen ungewiss sind, sollte sie anhalten. Wie viele Aufgaben die KI für Menschen erledigen kann, bestimmt, wie nützlich sie ist; ob der Mensch sie jederzeit stoppen kann, entscheidet darüber, ob es sich lohnt, ihr mehr Macht zu übertragen.