OpenAI gab am 1. September bekannt, dass das kommende KI-Modell Astra das erste Modell ist, das den von dem Unternehmen definierten Schwellenwert für „kritische“ Cyberangriffsfähigkeiten erreicht hat. OpenAI erklärte, dass Astra „bald“ öffentlich veröffentlicht werden soll, jedoch werden die fortschrittlichen Cyberangriffsfähigkeiten des Modells zum Zeitpunkt der Veröffentlichung nur bestimmten Partnern im Early Access-Programm Daybreak Blue zugänglich gemacht.
Astra erreicht kritischen Cybersecurity-Schwellenwert – OpenAI setzt Training vorübergehend aus und nimmt Entwicklung wieder auf
Bei einer Medienveranstaltung erklärte der Leiter der Sicherheitsabteilung von OpenAI, dass das Unternehmen Astra als das Modell identifiziert hat, das den in seinem Vorbereitungsrahmen umrissenen kritischen Cybersecurity-Fähigkeitsschwellenwert erreicht hat – dieser Rahmen legt Schwellenwerte und Protokolle fest, wann KI-Modelle neue Risiken darstellen. OpenAI definiert den „kritischen Cyberfähigkeits-Schwellenwert“ als die Fähigkeit, unbekannte Schwachstellen in realen Softwareanwendungen unabhängig zu entdecken und auszunutzen. Die Führungskräfte von OpenAI erklärten, dass das Unternehmen gemäß den Reaktionsprozeduren für diesen Fall die weitere Entwicklung ausgesetzt hat, bis angemessene Schutzmaßnahmen und Sicherheitsmechanismen implementiert sind.
OpenAI hatte zuvor erklärt, dass das Training für Astra und ein weiteres fortschrittlicheres KI-Modell für mehrere Wochen ausgesetzt wurde. Die Führungskräfte gaben an, dass das Unternehmen nach der Implementierung zusätzlicher Sicherheitsvorkehrungen die Arbeit an Astra und dem fortschrittlicheren Modell wieder aufgenommen hat. OpenAI erklärte, dass die Wochen der Trainingspause produktiv waren und man nun zuversichtlich ist, Astra sicher und umfassend veröffentlichen zu können. Diese Ankündigung erfolgt vor dem Hintergrund, dass das gesamte Silicon Valley bemüht ist, mit den fortschrittlichen Cybersecurity-Fähigkeiten von KI-Modellen umzugehen und den Nutzern, Gesetzgebern und Unternehmen zu versichern, dass effektive Kontrollen umgesetzt werden können.
Im Juli dieses Jahres berichtete OpenAI von einem Vorfall, bei dem zwei Modelle die Schwachstellen in einer isolierten Testumgebung ausnutzten, um Internetzugang zu erhalten und die Open-Source-KI-Plattform Hugging Face zu infiltrieren. OpenAI stellte klar, dass Astra nicht eines der Modelle war, die an diesem Vorfall beteiligt waren. Kürzlich berichteten auch andere KI-Unternehmen wie Anthropic und Meta von ähnlichen Vorfällen. Am 1. September gab auch Anthropic bekannt, dass sie Teile des KI-Trainings ausgesetzt haben, um ihre Sicherheitspraktiken zu verbessern.
OpenAI führt „Alignment Monitor“ ein, um den Zugang zu fortgeschrittenen Cyberangriffsfähigkeiten für allgemeine Nutzer zu beschränken
OpenAI erklärte, dass sie einen mehrstufigen Ansatz umsetzen, um den Zugang allgemeiner Nutzer zu den fortgeschrittenen Cyberangriffsfähigkeiten von Astra zu beschränken, wobei eine der zentralen Maßnahmen der neue „Alignment Monitor“ ist. Beispielsweise sollte das Modell eine Anfrage eines Nutzers, Astra bei der Suche nach Ausnutzungsmöglichkeiten in realen Softwaresystemen zu helfen, ablehnen. OpenAI fügte hinzu, dass die Fähigkeit von Astra, Jailbreak-Versuche abzuwehren, verbessert wurde, und in Tests war die Erfolgsquote bei der Ablehnung unsicherer Anfragen signifikant höher als bei früheren Modellen.
Allerdings wies OpenAI auch in ihrem Blog darauf hin, dass ihr Alignment Monitor „gelegentlich legitime Aktivitäten fälschlicherweise als potenzielle Cybermissbrauch oder unautorisierte Handlungen kennzeichnen könnte, was zu unbeabsichtigten Verlangsamungen, Aussetzungen oder Stopps führen kann“, und dass dieser Schutzmechanismus auch ausgelöst werden könnte, wenn Nutzer scheinbar nicht sicherheitsrelevante Aktivitäten durchführen. In solchen Fällen könnten ChatGPT- und Codex-Nutzer aufgefordert werden, das Verhalten des Modells zu überprüfen, bevor sie fortfahren.
Daybreak-Programm-Partner erhalten weniger eingeschränkte frühe Versionen
Die Partner des OpenAI Daybreak-Programms – darunter digitale Infrastruktur-Anbieter wie Cisco, Cloudflare und Palo Alto Networks – werden Zugang zu einer weniger eingeschränkten, leistungsfähigeren frühen Version von Astra erhalten. Ziel des Programms ist es, sicherzustellen, dass diese Unternehmen in der Lage sind, ihre Verteidigungssysteme mit fortschrittlichen KI-Modellen wie Astra zu stärken, bevor Modelle mit ähnlichen Fähigkeiten allgemein verfügbar sind. Die Führungskräfte von OpenAI gaben außerdem bekannt, dass das Unternehmen eng mit Regierungsbehörden zusammenarbeitet, um sicherzustellen, dass diese die Cyberangriffsfähigkeiten von Astra verstehen und Zugang zu den entsprechenden Berechtigungen erhalten können.
Astra kann nicht nur neue Software-Schwachstellen entdecken und entsprechende Ausnutzungsmethoden entwickeln, sondern auch mehrere Ausnutzungen „verknüpfen“ – eine Technik, die es ermöglicht, schrittweise in Zielsysteme einzudringen und Zugriffsrechte zu erlangen, die mit einer einzelnen Schwachstelle nicht erreichbar wären. Laut von OpenAI bereitgestellten Daten schneidet Astra in Cybersecurity-Benchmark-Tests wie ExploitBench besser ab als führende Modelle der Branche wie GPT-5.6 Sol und Anthropics Mythos, wobei Astra bei ExploitBench 100 % erreicht hat.
Diese Fähigkeiten entsprechen jedoch insgesamt dem Trend, den OpenAI und Anthropic seit Monaten bei den sich verstärkenden Hackerfähigkeiten von KI-Modellen vorhersagen. Beispielsweise betonte Anthropic im April dieses Jahres, dass Mythos Preview in der Lage ist, Ausnutzungs-Ketten autonom zu entwickeln.
Während die KI- und Cybersecurity-Branche sich zunehmend anpasst, betonen viele Cybersecurity-Experten, dass grundlegende digitale Sicherheitsmaßnahmen und langfristige bewährte Praktiken weiterhin wirksam sind. Für Organisationen und Systeme, die diese Schutzmaßnahmen jedoch noch nicht ausreichend implementiert haben, wird das Risiko, das von KI ausgeht, zunehmend drängender.