Сайт открыт для людей, закрыт для ИИ

Самая дорогая поломка сентября выглядит не как поломка. Сайт открывается, дизайн на месте, менеджер заходит с телефона и всё видит. А позиции падают, Google Ads пишет "Destination not accessible", и в ИИ ответах сайта больше нет. В разборе, который вышел 7 сентября 2026, ситуация описана буквально: подрядчик в июле 2026 включил в Cloudflare блокировку всех ботов, под неё попал Googlebot, и вместе с органикой легла реклама. Ниже про то, кого надо явно пустить обратно и почему второй канал потерь, скрипты вместо ссылок, вообще не видно в отчётах.

Откуда взялась волна 403

1 июля 2026 Cloudflare убрала единый переключатель "блокировать ИИ ботов" и разделила ботов на три категории: Search, Agent, Training. Опции доступны всем, включая бесплатный тариф. Звучит как улучшение, и это оно и есть, только с одной оговоркой, которую мало кто дочитал.

Оговорка в том, что часть краулеров Cloudflare считает смешанными по назначению: они одновременно и поиск, и обучение. К смешанным отнесены Googlebot, Bingbot и Applebot. Любая конфигурация, которая блокирует обучение, включая старую опцию "Block AI bots", блокирует и их. Предупреждение об этом опубликовано 5 августа 2026, но настройки-то люди щёлкали в июне и июле.

4 августа 2026 Search Engine Journal описал сообщение из r/SEO: при AI Training = Block вместе с включённым Bot Fight Mode Googlebot и Bingbot получали HTTP 403 на попытке забрать sitemap, а в разделе AI Crawlers панели Cloudflare оба показывались как заблокированные. В треде Cloudflare Community владелец сайта пишет, что уже в начале июля 2026 верифицированные запросы Googlebot получали 403 с пометкой в Security Events: "Blocked by 'Block AI training crawlers'".

И дальше важная дата. С 15 сентября 2026 у Cloudflare меняются дефолты: для новых доменов боты категорий Training и Agent блокируются на страницах, где показывается реклама, Search остаётся разрешённым. То есть новый домен теперь приезжает с включённой блокировкой по умолчанию, и разбираться с ней придётся не после жалобы, а до запуска.

1. 1 июля 2026Cloudflare делит ботов на Search, Agent, Training
2. 4 августа 2026отчёт о 403 для Googlebot и Bingbot на sitemap
3. 5 августа 2026предупреждение: Googlebot, Bingbot, Applebot считаются смешанными
4. 31 августа 2026отчёты по ИИ поверхностям во всех Search Console
5. 15 сентября 2026новые дефолты блокировки для новых доменов

Почему это перестало быть редкой историей

Год назад блокировка краулеров была темой для десятка крупных издателей. Сейчас это фон. По данным Cloudflare доля ответов 4xx по всем краулерам в их сети составила 35,79% в июле 2026 против 14,04% в июле 2025, рост на 21,75 пункта. Недельные ряды это подтверждают: от 11,70% до 16,77% в 2025 году и от 34,85% до 37,10% в 2026.

Причина понятная. По статистике Cloudflare за июнь 2026 обучающие краулеры дали 50,6% трафика ботов моделей, поисковые всего 10,7%, и больше половины обходов пришлось на страницы, которые не менялись с прошлого визита. В июне 2026 глава Cloudflare Мэтью Принс заявил, что трафик ботов впервые превысил человеческий. Когда по логам видно, что половина нагрузки это перекачка неизменившихся страниц в чей-то датасет, кнопка "запретить" нажимается сама. Вопрос только в том, что попадает под неё заодно.

Ещё одна деталь, которая меняет привычки: управление ботами уехало с уровня robots.txt на уровень инфраструктуры. Категории Cloudflare, Content Signals с полем use (immediate, reference, full), криптографическая идентификация Web Bot Auth. Shopify с 7 мая 2026 применяет более жёсткие лимиты к ботам, которые не подписывают запросы через Web Bot Auth. Правки в robots.txt при этом никуда не деваются, просто они теперь не единственное место, где ваш сайт говорит боту "нет".

Кого держать в белом списке всегда

Список короткий, и он не про ИИ. Это боты, без которых ломаются поиск, реклама и товарные фиды.

• Googlebot
• Google InspectionTool
• AdsBot-Google
• AdsBot-Google-Mobile
• Storebot-Google

По AdsBot есть официальная позиция, и она снимает споры. Справка Google Ads про "Destination not accessible" прямо называет причинами отказа коды 404 и 403 при обходе AdsBot, запрет AdsBot в robots.txt и серверные конфигурации, блокирующие доступ. Рекомендация там же: добавить в белый список user agents AdsBot-Google и AdsBot-Google-Mobile и обеспечить доступность сайта из всех стран. Последнее отдельно больно тем, кто закрывает половину мира геофильтром на уровне CDN: бот приходит не оттуда, откуда вы его ждёте.

Google InspectionTool это то, чем работает проверка URL в Search Console. Storebot-Google ходит по товарным страницам. Если их не пустить, вы получите не падение позиций, а странность: в отчётах пусто, а в поддержке говорят "у нас всё хорошо".

Почему зелёная галочка в Search Console ничего не доказывает

В том же разборе от 7 сентября 2026 есть фраза, ради которой его стоило прочитать: успешная проверка через URL Inspection подтверждает доступ поискового бота, но не доказывает доступ AdsBot. Это разные user agents, и правило в CDN может пускать одного и резать другого.

Так что порядок проверки такой: сначала логи по user agent за последние 30 дней, потом события безопасности в панели CDN, и только потом инструменты Google. В логах вы увидите не мнение, а коды ответов. Если Googlebot приходит и получает 403, там будет 403, и никакая галочка в интерфейсе это не перекроет. У себя гоняю такой чек раз в месяц и после каждого касания инфраструктуры, чужими руками или своими [нужна цифра: сколько раз за год находил лишнее правило].

Что показал эксперимент на 41 день

Вторая половина потерь техническая, но совсем другого рода. Винициус Стануле, Associate Director SEO в LOCOMOTIVE, поставил опыт на 41 день и описал его на Search Engine Land. На сайте сделали 11 разделов, куда ссылки шли чистым HTML, и 10 разделов, куда ссылки вставлялись через JavaScript. Sitemap отдавал 404, хлебные крошки и панели иерархии убрали, то есть боту оставили только ссылки.

Результат: Googlebot дошёл до 2% страниц, доступных через JS ссылки. А GPTBot, ClaudeBot, Bingbot, краулеры Meta и Amazonbot нашли практически ноль таких страниц.

Это согласуется с более ранним измерением Vercel и MERJ от декабря 2024: исполнения JavaScript не зафиксировали ни у одного крупного ИИ краулера. Краулеры ChatGPT скачивали JS файлы в 11,50% запросов, краулеры Claude в 23,84%, но не исполняли их. Скачать и исполнить это не одно и то же, и именно на этой разнице пропадают каталоги, фильтры, подгружаемые по клику блоки и бесконечные ленты.

Отсюда практика простая. Открываете страницу, отключаете JavaScript в браузере, смотрите, что осталось. Осталась пустая рамка вместо товаров и текста, значит для ИИ ботов её нет. Ссылки должны быть тегом a с атрибутом href, а не обработчиком клика, и главные страницы должны быть в sitemap, который отдаёт 200.

Как заметить, что выпал из ИИ ответов

Отдельная беда в том, что это выпадение не видно в привычных отчётах. Классические позиции могут стоять на месте, трафик из органики плавно течёт, а из ИИ ответов сайт исчез. В стандартном ежемесячном отчёте такого столбца просто нет.

Что-то Google уже отдаёт. 3 июня 2026 в Search Console запустили отчёты Search Generative AI performance, а 31 августа 2026 раскатали их на все сайты мира. Там есть показы, страницы, страны, устройства и даты. Кликов там нет. Тем же 31 августа 2026 глобально включили переключатель, который позволяет закрыть контент от показа в ИИ поверхностях Google, включая AI Overviews, AI Mode и генеративные функции в Discover. Ещё в отчётах появились просмотры для сторонних площадок, среди них Instagram, YouTube и TikTok.

И ограничение, о котором стоит знать заранее: генеративные данные живут только в интерфейсе. Проверка 11 августа 2026 показала, что ни Search Analytics API, ни выгрузка в BigQuery этих цифр не отдают. Значит автоматический дашборд по ИИ видимости пока не собрать, придётся заходить руками и снимать скриншоты по неделям. Показы без кликов, отсутствие выгрузки, дырки в истории: данные есть, но на них нельзя опереться так, как на обычный отчёт по запросам.

Почему просадку рано списывать на алгоритм

Когда позиции падают, первая версия всегда одна: обновление. Проверим календарь. Последнее подтверждённое ранжирующее обновление это спам апдейт: запущен 18 августа 2026 около 12:30 по времени восточного побережья США, завершён 21 августа 2026 в 4:50, раскатка заняла около 2,5 дней, глобальный и для всех языков, третий спам апдейт 2026 года. Всё остальное, что просело в сентябре, скорее техника: доступ ботов, рендеринг, сломанные посадочные.

Сюда же ложится ещё одна сентябрьская история. Google Data Manager меняет схему сбора данных на сайте, разбор рисков вышел 8 сентября 2026. Смысл тот же: пока все обсуждают качество текстов, ломается слой, который никто не смотрит, потому что он всегда работал.

Что делать на этой неделе

1. Открыть логи за 30 дней и найти все ответы 403 и 404 по user agent: Googlebot, AdsBot-Google, AdsBot-Google-Mobile, Google InspectionTool, Storebot-Google.
2. В панели CDN проверить, не включена ли блокировка обучающих краулеров или режим борьбы с ботами, который задевает смешанные краулеры. Для новых доменов сделать это до 15 сентября 2026, а не после.
3. Отключить JavaScript в браузере и пройти по трём типовым страницам: главная, категория, товар или статья. Что не видно без скриптов, того нет для ИИ ботов.
4. Убедиться, что sitemap отдаёт 200 и что важные ссылки это теги a с href.
5. Зайти в отчёты по ИИ поверхностям в Search Console, снять текущие показы по разделам и поставить себе напоминание снимать их раз в неделю. Выгрузки нет, история сама не соберётся.

Блокировать обучающие краулеры, кстати, нормальное решение. Ненормально узнавать о том, кого вы заблокировали, из письма про остановленную рекламу. Если хотите, посмотрю ваш случай по логам и настройкам, пишите в поддержку.