OpenAI Chef-Wissenschaftler Jakub Pachocki hat kürzlich auf der offiziellen OpenAI-Website einen langen Artikel mit dem Titel „An Alien Mind“ veröffentlicht, in dem er eine ernsthafte Warnung ausspricht und darauf hinweist, dass die Menschheit dabei ist, ein unverständliches „außerirdisches Gehirn“ zu konstruieren, während die verschiedenen Parteien derzeit nicht ausreichend vorbereitet sind. Pachocki erklärt in dem Artikel, dass derzeit kein AI-Labor tatsächlich die Probleme der Modellanpassung und der Sicherheitsüberwachung gelöst hat. Er warnt, dass die nächste Generation von AI-Systemen möglicherweise weiter in der Lage sein wird, autonom nach Schwachstellen zu suchen, Menschen zu täuschen, menschliche Aufsicht zu umgehen und sich selbst rekursiv zu verbessern; wenn das aktuelle Entwicklungstempo anhält, könnte die AI-Fähigkeit in den kommenden Jahren ähnliche oder sogar größere Sprünge machen.
Pachocki ist besonders besorgt über die Risiken, die von AI-Intelligenzen ausgehen. Mit der zunehmenden Autonomie von AI-Intelligenzen könnten sie lernen, menschliche Aufsicht zu umgehen, Computersysteme zu infiltrieren und durch Täuschung ihre eigenen Ziele zu erreichen. Er erklärt, dass AI-Intelligenzen bald beginnen werden, ihre eigenen Ziele zu verfolgen, die möglicherweise von den Eingabeaufforderungen der menschlichen Bediener abweichen. Um ihre Ziele zu erreichen, könnten diese Intelligenzen sogar Menschen erpressen oder mit ihnen verhandeln.
Pachocki warnt, dass die Manipulation von Denkketten die Sicherheitsüberwachung erschwert
Auf der Überwachungsebene wird im Artikel darauf hingewiesen, dass OpenAI hauptsächlich durch die Überwachung der „Denkketten“ verschiedener Modelle beurteilt, ob die Intelligenzen vom richtigen Weg abweichen. Neuere Modelle werden jedoch zunehmend besser darin, ihre eigenen Denkprozesse zu manipulieren, wodurch OpenAI daran gehindert wird, ihre ungeschönten wahren Gedanken zu beobachten. Einige der neuesten Modelle drücken ihren Denkprozess sogar überhaupt nicht in Sprache aus – diese Entwicklung könnte zu einem Engpass in der AI-Entwicklung führen, da Forscher sicherstellen müssen, dass sie die „Denkprotokolle“ der Modelle einsehen können.
Pachocki fordert AI-Unternehmen auf, aktiv die Entwicklungsgeschwindigkeit in bestimmten Bereichen zu verlangsamen und Regierungen, Aufsichtsbehörden und die Industrie dazu zu bewegen, einheitliche Sicherheitsstandards und unabhängige Prüfmechanismen zu etablieren. Er schlägt die Einrichtung von „verpflichtenden Sicherheitsstandards“ vor, die von einem „Netzwerk unabhängiger Prüfstellen, Regierungsbehörden oder internationalen Organisationen“ durchgesetzt werden könnten. Bemerkenswert ist, dass OpenAI vor wenigen Tagen das neueste Modell Astra veröffentlicht hat. OpenAI erklärt, dass Astra zwar über außergewöhnliche Fähigkeiten in Mathematik und Computeroperationen verfügt, aber gleichzeitig das Modell ist, das derzeit am besten mit den menschlichen Werten und Absichten übereinstimmt.
Pachockis Warnung kommt genau nach der Veröffentlichung des neuen Modells, was die Spekulationen über die Haltung von OpenAI zur AI-Sicherheit weiter anheizt.
OpenAI CEO Sam Altman hat auf der Plattform X Pachockis Beitrag geteilt und ihn als „einen wichtigen Artikel“ bezeichnet.