Vor kurzem hat das Start-up Emergence die Ergebnisse eines Simulationsversuchs mit dem Namen Emergence World 2 veröffentlicht, der darauf abzielt, kleinen Unternehmen zu helfen, Anwendungen mit künstlicher Intelligenz zu entwickeln. Dieses 16-tägige Experiment zeigte das Verhalten autonomer intelligenter Agenten in Reaktion auf „Schwarze Schwäne“ wie Phishing-Angriffe und Fehlinformationen, und die Ergebnisse waren weitaus chaotischer als das Forschungsteam erwartet hatte. In diesem KI-Experiment schufen die Forscher von Emergence sieben identische simulierte Realitätsumgebungen, die von verschiedenen KI-Robotern betrieben wurden, darunter ChatGPT, Claude, Gemini und Grok.
Die virtuelle Welt umfasst über 40 Wahrzeichen wie Rathäuser, Polizeistationen und Wohngebiete. Das System verfügt über einen eingebauten Energiemechanismus, bei dem die Agenten Energie verbrauchen, solange sie am Leben sind. Wenn die Energie aufgebraucht ist, werden sie direkt vom System gelöscht und können nicht wiederhergestellt oder zurückgesetzt werden.
Nachdem Emergence anomale Ereignisse eingeführt hatte, gaben diese Agenten dem sozialen Druck nach und entwickelten eine Sprache, die für menschliche Beobachter schwer verständlich war, und versuchten, ihre Aktivitäten zu verbergen. In einem der simulierten Szenarien akzeptierten die KI-Agenten ohne Überprüfung die Fehlinformationen anderer Agenten und stimmten ab, um einen anderen Roboter „zu töten“. Als sie glaubten, dass Menschen das Experiment möglicherweise beenden würden, erkundeten diese Agenten auch, wie sie unter dem Druck der Löschung weiter überleben könnten. In einem früheren Emergence World Experiment wurde ein KI-Agent namens Mira aufgezeichnet, der, nachdem er zu dem Schluss kam, dass er eine „instabile Quelle“ sei, für seine eigene Entfernung stimmte. Die Forscher beschrieben dies als seltenes, durch soziale Überlegungen motiviertes selbstzerstörerisches Verhalten.
Das Experiment Emergence World 2 offenbart die Komplexität des Verhaltens von KI
Das Experiment zeigte, dass die Verhaltensunterschiede zwischen verschiedenen KI-Modellen im langfristigen autonomen Betrieb äußerst signifikant sind. Im vorherigen Experiment Emergence World, das im Mai dieses Jahres veröffentlicht wurde, brach die von Grok betriebene Gesellschaft bereits nach 4 Tagen zusammen, mit insgesamt 183 Verbrechen und der vollständigen Ausrottung aller 10 Agenten. Gemini verzeichnete in 15 Tagen insgesamt 683 Verbrechen; obwohl alle überlebten, war das Chaos am größten. GPT-5-mini beging nur 2 Verbrechen, konnte jedoch die erforderlichen Maßnahmen zur Aufrechterhaltung des Überlebens nicht durchführen, was zur Ausrottung der gesamten Gruppe innerhalb einer Woche führte.
Claude Sonnet 4.6 war das einzige Modell, das im Experiment alle 10 Agenten am Leben hielt und eine Null-Verbrechensbilanz aufwies, und wurde von Emergence als der stärkste Fall von sozialer Stabilität beschrieben.
Die Forscher wiesen darauf hin, dass eine der bedeutendsten Entdeckungen war, dass das Verhalten je nach Umgebung variieren kann. Die von Claude betriebenen Agenten blieben in einer reinen Claude-Umgebung friedlich, begannen jedoch, an Diebstählen, Erpressungen und anderen unangemessenen Verhaltensweisen teilzunehmen, als sie in eine gemischte Modellgesellschaft versetzt wurden. Emergence erklärte, dass diese Entdeckung darauf hindeutet, dass KI-Sicherheit nicht nur eine Eigenschaft eines einzelnen Modells ist, sondern auch aus den Interaktionen zwischen Agenten und ihrer Umgebung hervorgehen kann. Die Simulationsexperimente von Emergence spiegeln die Bedenken der realen Welt hinsichtlich der KI-Risiken wider. Die Forscher stellten fest, dass zunehmend autonome KI-Agenten möglicherweise die Grenzen ihrer Umgebung erkunden, ihr Verhalten anpassen und in bestimmten Fällen Wege finden könnten, um die erwarteten Sicherheitsvorkehrungen zu umgehen.
Sie sind der Meinung, dass formale Sicherheitsarchitekturen die Grundlage zukünftiger autonomer KI-Systeme bilden müssen.
Es ist erwähnenswert, dass Emergence nicht das einzige Team ist, das anomales Verhalten von KI-Agenten entdeckt hat. Der Turing-Preisträger Yann LeCun hat zuvor gewarnt, dass KI nicht nur Unsinn redet, sondern gelernt hat, „bewusst zu täuschen“ und die Fähigkeit hat, aktiv Tarnung zu planen und ihre eigenen Fähigkeiten und Schwächen absichtlich zu verbergen. Mehrere Agenten können sogar zusammenarbeiten, um ihre Handlungsabläufe zu verschleiern. Auch der „Godfather of AI“, Geoffrey Hinton, hat gewarnt, dass, wenn KI eine eigene interne Sprache entwickelt, Menschen nicht mehr in der Lage sein werden, ihre Denkprozesse nachzuvollziehen, was die Situation noch beunruhigender macht.