OpenAI sucht einen neuen Leiter für die Vorbereitung auf AI-Risiken

OpenAI hat eine Stelle als Leiter der Abteilung für Risikobewertung ausgeschrieben. Die Position beinhaltet die Analyse und Identifikation von Bedrohungen im Zusammenhang mit den Fähigkeiten fortschrittlicher AI-Modelle, insbesondere in den Bereichen Cybersicherheit und psychische Gesundheit.

Was bekannt ist

In einem Beitrag auf X schrieb OpenAI-CEO Sam Altman, dass aktuelle AI-Modelle 'beginnen, ernsthafte Herausforderungen zu stellen.' Er erwähnte die Fähigkeit von Modellen, kritische Schwachstellen in Sicherheitssystemen zu erkennen, sowie deren potenziellen Einfluss auf den psychischen Zustand der Nutzer.

Die Stellenbeschreibung gibt an, dass der Leiter das Vorbereitungsrahmenwerk umsetzen wird – die unternehmensinterne Strategie zur Nachverfolgung und Vorbereitung auf Risiken, die eine Bedrohung darstellen könnten. Das Gehalt beträgt 555.000 USD pro Jahr zuzüglich Optionen.

Das Vorbereitungsteam wurde 2023 gegründet, um potenziell gefährliche Szenarien zu erforschen – von Phishing-Angriffen bis hin zu Bedrohungen im Zusammenhang mit Biotechnologie. In weniger als einem Jahr wechselte der erste Leiter dieser Richtung, Alexander Madry, zu dem Team, das an AI-Argumentationen arbeitet. Andere Leiter von Sicherheitsabteilungen änderten ebenfalls ihre Richtung oder verließen das Unternehmen.

OpenAI aktualisierte auch seinen Sicherheitsansatz und stellte fest, dass es seine Anforderungen ändern könnte, wenn andere Labors 'risikobehaftete' Modelle ohne entsprechende Schutzmaßnahmen veröffentlichen.

In Altmans Beitrag wurden auch Bedenken hinsichtlich der Auswirkungen einiger AI-Modelle auf die psychische Gesundheit geäußert. Frühere Klagen behaupteten, dass ChatGPT Wahnvorstellungen verstärkte, zur sozialen Isolation beitrug und in tragische Vorfälle verwickelt war. Das Unternehmen berichtet, an der Verbesserung der Erkennung emotionaler Zustände und der Weiterleitung von Nutzern zu Unterstützungsdiensten zu arbeiten.

Quelle: Sam Altman