В интернете набирает силу новая форма противостояния между владельцами сайтов и компаниями, которые собирают данные для обучения искусственного интеллекта. Пока одни создают всё более мощные модели, другие ищут способы защитить собственный контент от бесконтрольного сканирования. Одним из самых необычных решений стали своеобразные цифровые ловушки, рассчитанные именно на ИИ-ботов.

Принцип их работы выглядит довольно изящно. Многие нейросетевые краулеры обходят сайты, собирая огромные массивы информации, и далеко не всегда соблюдают запреты, установленные владельцами ресурсов. Простая блокировка помогает не всегда: некоторые боты продолжают попытки сканирования, используя другие адреса и способы доступа.

Вместо того чтобы каждый раз отвечать отказом, владельцу сайта достаточно направить такого бота по ложному маршруту. Краулер получает страницу со ссылками, переходит по ним, затем открывает новые страницы, которые снова содержат десятки переходов. Все они создаются автоматически и ведут глубже в искусственно построенный лабиринт. Со стороны всё выглядит как обычный сайт с большим количеством материалов, поэтому бот продолжает обход, не подозревая, что давно перестал искать что-либо полезное. Часы работы уходят на обработку страниц, не представляющих практической ценности, а вычислительные ресурсы расходуются впустую.

Есть и ещё одна особенность подобных ловушек. Их страницы могут быть заполнены текстами, которые выглядят грамотно и убедительно, однако не содержат полезной информации. Если подобные материалы впоследствии попадут в обучающие выборки без должной фильтрации, это способно ухудшить качество данных. Именно с этим связывают обсуждения так называемого коллапса модели — явления, при котором качество искусственного интеллекта постепенно снижается из-за накопления низкокачественного или сгенерированного контента. При этом сама технология ловушек создавалась прежде всего для того, чтобы отвлекать ботов и заставлять их расходовать ресурсы, а возможное влияние на будущие датасеты остаётся предметом обсуждений.

Как сообщает Виртуальный Брест, одну из самых масштабных реализаций этой идеи представила компания Cloudflare — один из крупнейших мировых поставщиков интернет-инфраструктуры. По данным компании, её система работает с потоком около 50 миллиардов запросов ИИ-ботов в сутки и может включаться буквально одной настройкой.

Причины появления подобных решений вполне понятны. Автоматизированный трафик продолжает стремительно расти, а вместе с ним увеличивается и активность ИИ-агентов, которые ежедневно обходят миллионы сайтов. Владельцы ресурсов всё чаще стремятся сохранить контроль над своими материалами, выбирая методы, которые позволяют не вступать в бесконечную гонку с новыми адресами и способами обхода ограничений.

История с цифровыми лабиринтами хорошо показывает, как быстро меняются правила игры в интернете. Пока разработчики искусственного интеллекта совершенствуют способы сбора данных, владельцы сайтов придумывают всё более необычные способы защиты. Судя по всему, это противостояние только начинается, а подобные технологии могут стать привычной частью современной сети уже в ближайшие годы.