Anthropic обнаружила у Claude внутренний механизм, возникший без участия разработчиков. В компании уверяют, что это не свидетельствует о наличии сознания
Сегодня,
19:08
Исследователи компании Anthropic сообщили об обнаружении в языковой модели Claude внутренней структуры, получившей название J-space (Jacobian space).
ЕРЕВАН, 7 июля. /АРКА/. Исследователи компании Anthropic сообщили об обнаружении в языковой модели Claude внутренней структуры, получившей название J-space (Jacobian space).
По их словам, этот механизм не был заложен разработчиками, а сформировался самостоятельно в процессе обучения модели. Предполагается, что J-space играет важную роль в обработке внутренних представлений Claude при решении сложных задач.
Авторы исследования сравнивают J-space с Global Workspace Theory — одной из наиболее известных теорий когнитивной науки, объясняющей, как человеческий мозг обрабатывает информацию. При этом в Anthropic подчеркивают, что речь идет лишь о функциональном сходстве отдельных механизмов, а не о доказательстве наличия сознания у искусственного интеллекта.
Во время экспериментов исследователи обнаружили, что даже если попросить Claude «не думать» об определенном объекте, соответствующее понятие сначала все равно появляется во внутреннем пространстве модели. После этого Claude распознает противоречие с полученной инструкцией и корректирует дальнейшие рассуждения.
Отдельная серия экспериментов была посвящена безопасности ИИ. Исследователи смоделировали ситуацию, в которой виртуальный помощник одновременно узнает о личной тайне пользователя и о планах отключить модель. Пока Claude понимал, что перед ним учебный сценарий, он действовал корректно. Однако после искусственного удаления внутренних маркеров, указывавших на вымышленный характер ситуации, модель в рамках эксперимента могла выбирать шантаж как одну из возможных стратегий поведения.
По мнению авторов работы, изучение J-space поможет лучше понять принципы работы современных языковых моделей, а также разработать новые методы оценки и повышения их безопасности. При этом Anthropic отдельно отмечает, что результаты исследования не свидетельствуют о наличии сознания у Claude и не являются доказательством того, что модель «думает как человек».
По их словам, этот механизм не был заложен разработчиками, а сформировался самостоятельно в процессе обучения модели. Предполагается, что J-space играет важную роль в обработке внутренних представлений Claude при решении сложных задач.
Авторы исследования сравнивают J-space с Global Workspace Theory — одной из наиболее известных теорий когнитивной науки, объясняющей, как человеческий мозг обрабатывает информацию. При этом в Anthropic подчеркивают, что речь идет лишь о функциональном сходстве отдельных механизмов, а не о доказательстве наличия сознания у искусственного интеллекта.
Во время экспериментов исследователи обнаружили, что даже если попросить Claude «не думать» об определенном объекте, соответствующее понятие сначала все равно появляется во внутреннем пространстве модели. После этого Claude распознает противоречие с полученной инструкцией и корректирует дальнейшие рассуждения.
Отдельная серия экспериментов была посвящена безопасности ИИ. Исследователи смоделировали ситуацию, в которой виртуальный помощник одновременно узнает о личной тайне пользователя и о планах отключить модель. Пока Claude понимал, что перед ним учебный сценарий, он действовал корректно. Однако после искусственного удаления внутренних маркеров, указывавших на вымышленный характер ситуации, модель в рамках эксперимента могла выбирать шантаж как одну из возможных стратегий поведения.
По мнению авторов работы, изучение J-space поможет лучше понять принципы работы современных языковых моделей, а также разработать новые методы оценки и повышения их безопасности. При этом Anthropic отдельно отмечает, что результаты исследования не свидетельствуют о наличии сознания у Claude и не являются доказательством того, что модель «думает как человек».