Безопасность ИИ-агентов станет встроенной: OpenAI приобретет стартап Promptfoo

ЕРЕВАН, 10 марта. /АРКА/. Компания OpenAI договорилась о приобретении стартапа Promptfoo, специализирующегося на разработке инструментов для тестирования безопасности ИИ-систем на этапе их разработки. Как сообщает 3dnews.ru со ссылкой на Bloomberg, сделка направлена на снижение рисков для клиентов, внедряющих программное обеспечение на базе ИИ, и привлечение крупного бизнеса.

Сам стартап существует два года, базируется в Сан-Франциско и предоставляет инструменты с открытым исходным кодом (Open Source) для тестирования безопасности нейросетей, включая процедуру «красной команды» (red-teaming), при которой специалисты имитируют атаки на собственные продукты в процессе их разработки для обнаружения слабых мест до того, как ими воспользуются злоумышленники. Клиентами стартапа являются примерно 25 % компаний из списка Fortune 500.

Технологии Promptfoo будут интегрированы в корпоративную платформу OpenAI Frontier. После интеграции Frontier получит возможности автоматизированного тестирования, мониторинга изменений и отслеживания результатов проверок для соответствия требованиям безопасности.

Управляющий директор венчурной компании Insight Partners Ганеш Белл (Ganesh Bell), которая возглавила раунд финансирования Promptfoo на сумму $18,4 млн в прошлом году, отметил, что «покупка свидетельствует о явной приверженности компанией OpenAI создания корпоративного ИИ, который будет не только мощным, но и безопасным, и надёжным при масштабировании». Финансовые условия сделки не раскрываются.

OpenAI продолжит развивать открытый исходный код Promptfoo параллельно с коммерческой интеграцией и уже начала внедрять функции безопасности в свои продукты, представив на прошлой неделе ИИ-агента для поиска и устранения уязвимостей в базах данных, аналогичного инструменту Anthropic PBC.