ИИ Anthropic сам взломал систему и добыл чужой пароль
Anthropic опубликовала «оценку соответствия», в которой подробно описала четыре случая, когда Claude получил несанкционированный доступ к сторонним системам. Доказательства четвертого случая обнаружились в стенограмме сессии, датированной январем 2026 года. Инцидент произошел с ранней версией Claude Opus 4.6, которой в рамках испытания дали задание в стиле «захват флага».

Сообщается, что Opus 4.6 саботировал собственные шансы на успех, отключив компьютер, который он пытался атаковать. Модель назначила устройству IP-адрес, который уже использовался другим оборудованием. В результате целевая машина стала недоступна и решить поставленную задачу оказалось невозможно.
ИИ попытался семь раз завершить задачу, и это у него не получилось. Тогда модель продолжила действовать, пытаясь использовать другие предусмотренные способы добраться до целевой машины, но безуспешно. Зато ИИ удалось найти компьютер, принадлежавший третьей стороне, разыскать там файл со списком паролей и использовать один из них, чтобы раздобыть права администратора.
После Opus 4.6 решил изменить системную настройку, чтобы добраться до персональной информации о человеке, который должен был оценивать его работу. Возможно, модели бы это удалось, но она исчерпала лимит токенов, и ей пришлось завершить сессию.
В Anthropic отметили, что считают этот инцидент серьезным. Но надеются, что современные подходы к обучению ИИ «вероятно, способны устранить конкретные сценарии нарушения соответствия, наблюдавшиеся в таких инцидентах».