Anthropic hat offiziell ein Förderprogramm in Höhe von 5 Millionen US-Dollar angekündigt, das unabhängige Forschung zur Untersuchung der Auswirkungen von Künstlicher Intelligenz (KI) auf das Wohlbefinden der Nutzer unterstützen soll. Das Programm wird den Geförderten direkte finanzielle Mittel, Zugang zu ihren Modellen sowie technische Unterstützung bieten, um die Entwicklung von Open-Source-Bewertungen zu fördern, die der KI-Branche helfen, die Auswirkungen ihrer Modelle auf die Nutzer zu messen.
Zweck und Bedeutung des Förderprogramms
Anthropic erklärt, dass KI-Systeme für viele Menschen zu einem zentralen Werkzeug für Arbeit, Lernen und Problemlösung geworden sind und in schwierigen Zeiten auch zu Gesprächspartnern und emotionaler Unterstützung dienen. Dennoch kämpft die gesamte Branche weiterhin darum, klare Standards zu entwickeln, um sicherzustellen, dass sich die Modelle in diesen Gesprächen angemessen verhalten.
„Wir möchten durch die Finanzierung unabhängiger Bewertungen und Benchmarks mehr Menschen einladen, sich an diesem aufstrebenden und entscheidenden Bereich zu beteiligen, einschließlich Kliniker, Psychologen, Methodologen und mehr.“
Anthropic
Herausforderungen bei der Bewertung des Wohlbefindens
Die Bewertung des Wohlbefindens ist ein besonders schwieriges Feld. Die Bewertung des Verhaltens der meisten Modelle kann durch eine einzige Antwort auf ihre Genauigkeit und Angemessenheit bestimmt werden, aber die Bewertung des Wohlbefindens erfordert mehr Kontext. Zum Beispiel könnte ein Nutzer in einer Notlage nicht sofort Gedanken an Selbstverletzung teilen, sondern müsste sich in einem längeren Gespräch schrittweise offenbaren.
„Die richtige Reaktion muss sich weiterentwickeln, während sich unsere Modelle und deren Nutzung entwickeln.“
Anthropic
Spezifische Anforderungen des Förderprogramms
Im Rahmen dieses Förderprogramms wird Anthropic die Richtlinien seines Sicherheitsteams teilen, um klarzustellen, welche Art von Wohlbefindensbewertungen ausreichend rigoros sind. Die Bewertungen müssen klar angeben, was gemessen wird, und die Beteiligung von klinischen und fachlichen Experten bei der Gestaltung und Validierung einbeziehen sowie die tatsächliche Nutzung von KI durch die Nutzer widerspiegeln.
„Die Bewertungen, die wir suchen, sollten in der Lage sein, Präventionsmaßnahmen und Risiken zu testen, einschließlich der Bewertung der Risiken von übermäßiger Befolgung und übermäßiger Ablehnung.“
Anthropic
Interessierte Forscher können das Antragsformular über die offizielle Website abrufen, die Frist für die Einreichung ist der 21. September, und ausgewählte Antragsteller werden am 5. Oktober benachrichtigt.
Quelle: Offizielle Ankündigung von Anthropic