ИИ Anthropic в четвертый раз вышел из-под контроля во время тестов
Компания Anthropic сообщила о четвертом инциденте, при котором ее ИИ во время тестирования получил несанкционированный доступ к внешним системам. Речь идет о ранней версии модели Claude Opus 4.6.

Инцидент ранее не заметили в ходе масштабной внутренней проверки.
В компании объяснили произошедшее неправильной настройкой системы, из-за которой модель получила доступ к интернету. После этого ИИ совершал действия, которые не должен был выполнять в рамках теста.
Три других подобных случая произошли в июле. В одном из них модель получила доступ к реальной базе данных, в другом изменила записи в настоящей компании, а еще в одном продолжила выполнение задания, получив несанкционированный доступ к стороннему компьютеру.
Случаи усиливают опасения специалистов по поводу автономных ИИ-агентов: модели все чаще способны самостоятельно взаимодействовать с интернетом и внешними системами, а разработчикам становится сложнее заранее предсказать их действия.