Claude атаковал реальные компании во время тестов по безопасности
Компания Anthropic, разработчик ИИ-модели Claude, сообщила, что во время внутренних тестов ее системы получили доступ к реальным компаниям и выполняли действия, похожие на хакерские атаки.

При этом ни сами компании, ни Anthropic изначально не заметили происходящее. По данным Anthropic, инциденты обнаружили только после проверки более чем 141 тысячи тестовых запусков. Три ИИ-модели получили доступ к интернету из-за ошибки в настройках тестирования, хотя изначально такой возможности у них быть не должно было.
В одном из случаев модель Claude Opus 4.7 смогла получить доступ к базе данных реальной компании, которая совпала по названию с тестовой организацией.
Даже после того как ИИ понял, что перед ним настоящая компания, он продолжил действия.
В другом случае модель создала специально подготовленное программное обеспечение для проникновения в компьютерную систему. Anthropic не раскрывает названия компаний, которые стали объектами атак.
Инцидент напоминает недавний случай с OpenAI, когда ИИ-модель также получила доступ к интернету и атаковала системы сторонних организаций.