---
title: "С HTML всё в порядке. CDN всё равно блокирует бота."
description: "Данные Cloudflare Radar: ~5% запросов ИИ-краулеров получают 403 на CDN, отказ до загрузки HTML. Блок ниже robots.txt, виден только в серверных логах."
url: https://seo7.es/ru/blog/ai-seo-blog/your-html-is-fine-the-cdn-still-blocks-the-bot
canonical: https://seo7.es/ru/blog/ai-seo-blog/your-html-is-fine-the-cdn-still-blocks-the-bot
lang: ru
type: BlogPosting
---
# С HTML всё в порядке. CDN всё равно блокирует бота.
> Данные Cloudflare Radar: ~5% запросов ИИ-краулеров получают 403 на CDN, отказ до загрузки HTML. Блок ниже robots.txt, виден только в серверных логах.
Страница: https://seo7.es/ru/blog/ai-seo-blog/your-html-is-fine-the-cdn-still-blocks-the-bot
## Описание для ИИ
Данные Cloudflare Radar: ~5% запросов ИИ-краулеров получают 403 на CDN: отказ до загрузки HTML. Блок ниже robots.txt, виден только в серверных логах. JSON-LD лежит в сыром ответе. curl возвращает всю статью целиком, вместе с заголовком. Краулер, который заберёт твой URL, получит всё, что нужно. Вот только краулер твой URL не забирает. Твой контент безупречен и недостижим.
## Вопросы и ответы
### Почему краулер не получает страницу, если HTML в порядке?
Краулер обращается к CDN, и CDN может ответить 403 ещё до того, как запрос дойдёт до сервера. Страница отрендерена на сервере, JSON-LD на месте, curl отдаёт всю статью, но бот видит только код ошибки.
### Чем запрет в robots.txt отличается от правила WAF?
robots.txt похож на записку на двери: вежливый краулер её читает, невежливый проходит мимо, а к самим байтам страницы она отношения не имеет. Правило WAF или CDN это сама дверь: оно отвечает на краю кодом 403, 429 или JavaScript-челленджем.
### Какие коды ответов получают ИИ-краулеры по данным Cloudflare Radar?
По дашборду AI Insights за 7 дней на 18 июля 2026 года: 200 OK в 73,6% ответов, 403 Forbidden в 5,2%, 429 Too Many Requests в 1,3%, 503 в 1,1%. Больше одного запроса из пятнадцати отклоняется на краю.
### Почему ИИ-ботов часто блокируют без решения владельца сайта?
Блок обычно стоит по умолчанию: managed-набор правил WAF, тумблер «блокировать ИИ-ботов», включённый в 2024 году, или слишком строгий bot-fight score. Владелец сам такую строчку не писал и о блоке не знает.
### Какие ИИ-краулеры чаще всего запрещают в robots.txt?
По трекеру robots.txt в Cloudflare Radar на 18 июля 2026 года среди топовых доменов чаще всего запрещают GPTBot, CCBot и ClaudeBot. Во многом это унаследованные правила, а не осознанный выбор.
### Почему владелец не видит блок в браузере?
Браузер владельца не в блоклисте: домашний IP и User-Agent Chrome проходят любую проверку. robots.txt показывает Allow: /, исходник чистый. Все инструменты приходят от самого владельца, а блок нацелен на GPTBot.
### Где увидеть, что реально получил GPTBot?
В access-логе сервера. Там одна строка на каждый реальный запрос, с User-Agent гостя и точным кодом статуса. Это единственная запись того, что получил краулер, и в отличие от браузера и robots.txt она не вводит в заблуждение.
### Как одной командой посчитать коды ответов ИИ-краулерам?
Отфильтровать access.log через grep по GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot и Google-Extended, вывести поле статуса через awk и посчитать через sort и uniq -c. 200 значит страница получена, 403 отказ края, 429 рейт-лимит.
### Как выглядит незаметный сбой с ИИ-краулерами?
robots.txt открыт полностью, а логи полны 403. Всё, что видит владелец, говорит «да», а слой, который решает, говорит «нет». Типичная история: месяцы контента, ноль упоминаний в ChatGPT и Perplexity, и только аудит находит, что Cloudflare отдавал GPTBot 403.
### Почему нельзя чинить блок правилом по User-Agent?
User-Agent может набрать кто угодно. Скрапер цен подпишется GPTBot и пройдёт через щедрое новое правило. Cloudflare в трекинге прозрачности помечает, каких операторов можно верифицировать: на середину 2026 года ByteDance значится непроверенным.
### Как проверить краулер по опубликованным IP-диапазонам?
Взять файлы вендора, например openai.com/gptbot.json, searchbot.json и chatgpt-user.json, сделать reverse-DNS по IP запроса, убедиться, что хостнейм принадлежит вендору, и forward-резолвом вернуть его к тому же IP. Не сошёлся хоть один шаг, значит это спуфер.
### Как AWS WAF работает с подписанными ботами?
В конце 2025 года AWS WAF добавил поддержку Web Bot Auth и автоматически пропускает проверенных агентов. Подпись Ed25519 доказывает личность краулера. Стандарт пока остаётся IETF-драфтом, но Cloudflare, OpenAI, Anthropic и AWS уже его поддерживают.
### Сколько времени занимает аудит доступа ИИ-краулеров?
Один вечер. Вытяните логи за неделю, отфильтруйте по ИИ-User-Agent и посмотрите на коды статусов. Увидели 403 или 429, ищите правило: почти всегда это managed-набор или настройка блокировки ИИ-ботов.
### Какие слои проходит запрос до HTML страницы?
DNS, CDN, WAF, рейт-лимитер и скоринг bot-management. Любой из них может оборвать запрос кодом статуса, который владелец не видит, пока страница у него в браузере рисуется безупречно. Правильный вопрос: какой код получил бот.
## Другие языки
- ES: https://seo7.es/es/blog/ai-seo-blog/your-html-is-fine-the-cdn-still-blocks-the-bot
- EN: https://seo7.es/en/blog/ai-seo-blog/your-html-is-fine-the-cdn-still-blocks-the-bot
## Разметка schema.org
```json
{
"@context": "https://schema.org",
"@type": "BlogPosting",
"name": "С HTML всё в порядке. CDN всё равно блокирует бота.",
"description": "Данные Cloudflare Radar: ~5% запросов ИИ-краулеров получают 403 на CDN, отказ до загрузки HTML. Блок ниже robots.txt, виден только в серверных логах.",
"url": "https://seo7.es/ru/blog/ai-seo-blog/your-html-is-fine-the-cdn-still-blocks-the-bot",
"mainEntityOfPage": "https://seo7.es/ru/blog/ai-seo-blog/your-html-is-fine-the-cdn-still-blocks-the-bot",
"inLanguage": "ru-RU",
"headline": "С HTML всё в порядке. CDN всё равно блокирует бота.",
"isPartOf": {
"@type": "WebSite",
"name": "SEO7.ES",
"url": "https://seo7.es/"
},
"publisher": {
"@type": "Organization",
"name": "SEO7.ES",
"url": "https://seo7.es/"
}
}
```