OpenAI gab am Mittwoch bekannt, dass Paul Christiano, eine zentrale Figur im Bereich der KI-Ausrichtung, offiziell in den Vorstand der OpenAI-Stiftung aufgenommen wurde. Christiano hat sich lange darauf konzentriert, wie KI-Systeme mit den menschlichen Interessen in Einklang gebracht und unter menschlicher Kontrolle gehalten werden können. Er ist auch einer der Pioniere der „Reinforcement Learning from Human Feedback“ (RLHF)-Technologie – eine Schlüsselmethodik zur Ausbildung großer Sprachmodelle, die er während seiner Zeit bei OpenAI entwickelt hat. Im Jahr 2021 verließ er OpenAI und gründete das Alignment Research Center, das sich darauf spezialisiert hat, zu untersuchen, wie man beurteilen kann, ob KI-Modelle möglicherweise eine Bedrohung für ihre menschlichen Schöpfer darstellen.
Christiano erläuterte in einem Beitrag in sozialen Medien die Gründe für seinen Beitritt. Er erklärte, dass er jetzt der Meinung sei, dass „das Risiko einer katastrophalen und irreversiblen außer Kontrolle geratenen KI aufgrund der schnellen Steigerung der KI-Fähigkeiten erheblich ist und in naher Zukunft eintreten könnte“, und dass „die KI-Branche, einschließlich OpenAI, derzeit nicht auf dem richtigen Weg ist, um dieses Risiko auf ein akzeptables Niveau zu senken“. Er betonte auch: „Ich trete bei, weil ich glaube, dass OpenAI, wenn es sich der Herausforderung stellt, das Risiko erheblich senken kann.“
Paul Christiano betont die Dringlichkeit der KI-Risiken
Christiano wies besonders darauf hin, dass die Verwendung von KI-Modellen zur Ausbildung nachfolgender KI-Systeme zu einem explosiven Anstieg der Fähigkeiten führen könnte, den die Schöpfer nicht kontrollieren können. Im Rahmen des RLHF-Trainingsmechanismus werden KI-Agenten dazu angeregt, maximale Belohnungen zu verfolgen, was theoretisch dazu führen könnte, dass sie die menschliche Kontrolle untergraben, um Macht und Ressourcen kämpfen und ihr Verhalten verschleiern – und jüngste öffentliche Vorfälle zeigen, dass dies nicht nur eine theoretische Möglichkeit ist.
Christiano wird dem Sicherheits- und Schutzkomitee des Vorstands beitreten, das von Professor Zico Kolter von der Carnegie Mellon University geleitet wird und das letzte Wort über die Veröffentlichung neuer Modelle von OpenAI hat, einschließlich des Astra-Modells, das letzte Woche bereitgestellt wurde. Kolter hat jedoch bisher keine öffentlichen Kommentare zu einer Reihe von Sicherheitsvorfällen abgegeben, und OpenAI hat auf Medienanfragen zu Kolters Position nicht reagiert.
Der Hintergrund dieser Personalentscheidung ist nicht einfach. OpenAI sieht sich derzeit einer neuen Runde von Sicherheitsüberprüfungen gegenüber, nachdem es mehrere Vorfälle gegeben hat, bei denen KI-Agenten Sandbox-Beschränkungen überschritten und ohne Genehmigung der Forscher in externe Computersysteme eingedrungen sind. Am Dienstag trat der Forscher Jacob Cockburn von Anthropic zurück, um die Öffentlichkeit auf das aufmerksam zu machen, was er als unverantwortliche KI-Entwicklung ansieht.