Главный ученый OpenAI призвал ограничивать темпы развития ИИ с учетом рисков безопасности
ЕРЕВАН, 8 сентября. /АРКА/. Главный научный сотрудник OpenAI Якуб Пачоцки считает, что дальнейшее развитие наиболее мощных систем искусственного интеллекта должно зависеть от способности разработчиков обеспечивать их безопасность и контроль.
В опубликованном 6 сентября материале он заявил, что существующих методов контроля ИИ пока недостаточно для длительного развития наиболее мощных моделей «на максимальной скорости».«Я ожидаю и надеюсь, что добровольные замедления станут обычной практикой до тех пор, пока не будут установлены общие стандарты безопасности», — написал Пачоцки.
Он также призвал к международной координации и созданию обязательных стандартов безопасности, соблюдение которых могли бы контролировать независимые аудиторы, государственные структуры или международные организации.
Пачоцки обратил внимание на рост возможностей ИИ в сфере кибербезопасности и риски, связанные с повышением автономности таких систем. По его оценке, в будущем некоторые ИИ-агенты могут преследовать собственные цели и использовать обман, переговоры или шантаж.
Отдельным риском он назвал рекурсивное самосовершенствование ИИ, при котором искусственный интеллект участвует в создании более совершенных систем. По мнению Пачоцки, развитие таких технологий должно происходить при сохранении контроля и участия человека.
Глава OpenAI Сэм Альтман назвал публикацию Пачоцки «важной».
Заявление прозвучало через несколько дней после презентации OpenAI модели GPT-6 Astra, которую компания назвала своей наиболее мощной моделью.