CTO Cloudflare публично извинился за глобальный сбой сети, длившийся более трёх часов

18 Ноября 2025, 18:34
180

18 ноября 2025 года, Лондон/Сан-Франциско. CTO компании Cloudflare Дейн Кнехт (@dok2001) опубликовал в X (Twitter) официальные извинения за масштабный инцидент, который привёл к частичной недоступности десятков тысяч сайтов, приложений и сервисов по всему миру.

Текст поста CTO Cloudflare (полный перевод):

«Я не буду ходить вокруг да около: сегодня ранее мы подвели наших клиентов и весь интернет в целом, когда проблема в сети @Cloudflare затронула большие объёмы трафика, которые зависят от нас. Сайты, бизнесы и организации, полагающиеся на Cloudflare, рассчитывают на то, что мы будем доступны, и я приношу извинения за причинённый ущерб.

Прозрачность по поводу того, что произошло, имеет значение, и мы планируем поделиться подробным разбором через несколько часов. Вкратце: скрытая ошибка в сервисе, лежащем в основе наших возможностей по борьбе с ботами, начала вызывать сбои после рутинного изменения конфигурации, которое мы внесли. Это привело к каскадному ухудшению работы нашей сети и других сервисов. Это не было атакой.

Такая проблема, её последствия и время на устранение неприемлемы. Работа по предотвращению повторения уже ведётся, но я знаю, что сегодня это вызвало реальную боль. Доверие, которое наши клиенты оказывают нам, — это то, что мы ценим больше всего, и мы сделаем всё необходимое, чтобы его вернуть».

Пост опубликован 18 ноября 2025 года в 14:47 UTC и на момент написания статьи собрал более 660 лайков и 130 репостов.

Что именно произошло

По данным официальной страницы статуса Cloudflare (инцидент #8gmgl950y3h7), сбой начался примерно в 11:48 UTC (14:48 по Москве).

Ключевые этапы:

  • 11:48 UTC — зафиксирована «внутренняя деградация сервиса».
  • В течение следующих двух часов наблюдались повышенные уровни ошибок и периодические отключения.
  • 13:04 UTC — для борьбы с проблемой временно отключили WARP в дата-центре Лондона.
  • 13:09 UTC — корневая причина выявлена, начато внедрение исправления.
  • 13:13 UTC — сервисы Cloudflare Access и WARP восстановлены до нормального уровня.
  • К 14:22 UTC основные сервисы (CDN, Firewall, Workers, Bot Management) всё ещё частично восстанавливались.

Затронутые продукты: Access, WARP, Workers, Bot Management, CDN/Cache, Firewall Rules, сеть Cloudflare в целом.

Причина (по предварительным данным)

Как сообщил Дейн Кнехт, триггером стала скрытая ошибка в одном из внутренних сервисов, отвечающих за защиту от ботов. Ошибка проявилась после обычного изменения конфигурации и привела к цепной реакции, затронувшей другие компоненты глобальной сети Cloudflare.

Это не кибератака и не действия третьих лиц.

Реакция сообщества

Несмотря на серьёзность инцидента, многие пользователи и компании похвалили Cloudflare за оперативную и максимально открытую коммуникацию. В ответах под постом CTO можно увидеть сотни сообщений с хэштегом #hugops (традиционное выражение поддержки инженерам во время крупных сбоев) и комментарии вроде «Спасибо, что сразу сказали правду — это редкость».

Что будет дальше

Cloudflare пообещала опубликовать подробный Post-Incident Report (PIR) в ближайшие часы. Обычно такие отчёты компании содержат таймлайн событий с точностью до минуты, детальное описание корневой причины и список мер, которые будут приняты, чтобы подобное не повторилось.

На момент публикации этой статьи (18 ноября 2025, 16:30 UTC) большинство сервисов Cloudflare уже работают в нормальном режиме, хотя отдельные клиенты всё ещё могут наблюдать остаточные ошибки.

Источник: Виртуальный Брест
Виртуальный Брест

Не ленись — поделись!