Laut Berichten aus den Medien hat der diesjährige Fields-Preisträger, Mathematiker Jacob Zimmerman, kürzlich das Mathematical AI Safety Institute (MAISI) gegründet. Zimmerman wird als wissenschaftlicher Direktor des Instituts fungieren, während Andrew Critch als Generalsekretär tätig sein wird. Der Fields-Preis wird alle vier Jahre verliehen und ist speziell für Mathematiker unter 40 Jahren gedacht. Er gilt als die prestigeträchtigste Auszeichnung im Bereich der Mathematik.
MAISI wird im Jahr 2027 mit der ersten Phase der AI-Sicherheitsforschung beginnen
MAISI orientiert sich an der Struktur des Institute for Advanced Study in Princeton und lädt Mathematiker ein, AI-Sicherheitsforschung in Semesterform durchzuführen. Das Institut plant, im Januar 2027 das erste Semester zu starten und 10 bis 30 Mathematiker in die Bay Area einzuladen; im speziellen akademischen Jahr im September 2027 wird die Zahl auf 30 bis 100 Personen erhöht. Ziel des Instituts ist es, Konzepte zur Definition, Messmethoden und Lösungen zu entwickeln, um die Bedingungen zu bestimmen, unter denen man sicher sein kann, dass bestimmte AI-Systeme keine Katastrophen auslösen.
Zu den Mitgliedern des Beratungsgremiums gehören Timothy Gowers, Ravi Vakil, Jeffrey Irving und Paul Christiano. Gowers und Vakil sind Mathematiker, während Irving und Christiano sich seit langem mit der AI-Sicherheitsforschung beschäftigen. MAISI wird mit Alignment.org und Resolution.org zusammenarbeiten.
Zimmerman wird diesen Monat der OpenAI Sicherheitsabteilung beitreten, aber MAISI erklärt, dass seine Arbeit unabhängig von OpenAI ist. Critch hat 2025 zusammen mit Zimmerman ein Papier verfasst, das sich mit den Risiken von AI und den Bedrohungen für die gesamte Menschheit beschäftigt. Die Diskussionen über AI-Sicherheit konzentrierten sich bisher hauptsächlich auf Politik, Bewertung und Experimente, während die Gründung einer Organisation, die eine große Anzahl von Mathematikern für die theoretischen Grundlagen mobilisiert, nicht häufig vorkommt. Der Leiter der Alignment-Wissenschaft bei Anthropic, Evan Hubinger, erklärte am selben Tag, dass es derzeit noch keine Lösungen für das Problem der Ausrichtung von Superintelligenz gibt.