--- title: "Verifica al crawler, no su nombre: Web Bot Auth e IP" description: "El nombre es una afirmación, la IP rota, Web Bot Auth prueba identidad, pero solo el comportamiento prueba intención. Un modelo de tres puertas." url: https://seo7.es/es/blog/ai-seo-blog/verify-the-crawler-not-its-name canonical: https://seo7.es/es/blog/ai-seo-blog/verify-the-crawler-not-its-name lang: es type: BlogPosting --- # Verifica al crawler, no su nombre: Web Bot Auth e IP > El nombre es una afirmación, la IP rota, Web Bot Auth prueba identidad, pero solo el comportamiento prueba intención. Un modelo de tres puertas. Página: https://seo7.es/es/blog/ai-seo-blog/verify-the-crawler-not-its-name ## Descripción para IA El nombre es una afirmación, la IP rota, Web Bot Auth prueba identidad: pero solo el comportamiento prueba intención. Un modelo de tres puertas. Hace dos posts dije que revisaras tus logs de servidor por si los crawlers de IA reciben un 403. De ahí sale la siguiente pregunta obvia: vale, encontraste el bloqueo: ¿y ahora cómo dejas pasar a los crawlers correctos sin dejar entrar a todos? ## Preguntas y respuestas ### ¿Por qué es peligroso dejar pasar bots por la cadena GPTBot en el User-Agent? El User-Agent es una simple cadena de texto que cualquiera puede escribir. Un scraper se firma como GPTBot y pasa por la regla pensada para la visibilidad en IA. El nombre es solo una declaración y no prueba la identidad. ### ¿Cómo funciona la verificación DNS de dos pasos de un rastreador? Primero, el reverse-DNS de la IP de la solicitud da un hostname, que debe pertenecer al proveedor: .crawl.openai.com, .anthropic.com, .perplexity.ai o .googlebot.com. Luego, la resolución forward de ese hostname debe devolver la IP original. Si coinciden ambos lados, la solicitud es auténtica. ### ¿Dónde publican OpenAI y Perplexity las IP de sus rastreadores? OpenAI publica gptbot.json, searchbot.json y chatgpt-user.json, y Perplexity publica perplexitybot.json y perplexity-user.json. Google tiene sus propios rangos de rastreador. Con estos archivos se puede comparar la IP de la solicitud con la lista oficial. ### ¿Publica Anthropic los rangos de IP de ClaudeBot? No. Las IP de la documentación de Anthropic corresponden a la API de Claude, y para el rastreador no hay rangos. Anthropic aconseja identificar a ClaudeBot por User-Agent más reverse-DNS en *.anthropic.com. Para uno de los mayores rastreadores no se puede comparar con un rango publicado. ### ¿Se puede distinguir Google-Extended por IP? No. Google-Extended controla el entrenamiento de Gemini y AI Overviews mediante un token de robots.txt; no tiene un conjunto propio de IP ni un archivo google-extended.json. Se puede permitir o prohibir en robots.txt, y a nivel de red no se distingue del resto del tráfico de Google. ### ¿Cómo perjudica la rotación de IP a la allowlist de rastreadores? Cada rango publicado es una instantánea de un objetivo en movimiento. El proveedor cambia los bloques y la lista se actualiza con retraso. El propietario elige entre una allowlist obsoleta y una ventana en la que los rastreadores legítimos reciben 403. Consultar el JSON con frecuencia solo enmascara el problema. ### ¿Qué es Web Bot Auth? Un borrador del IETF liderado por Cloudflare, draft-meunier-web-bot-auth-architecture, basado en RFC 9421 HTTP Message Signatures. El rastreador firma cada solicitud con una clave Ed25519, la clave pública está en un directorio well-known en el dominio del proveedor y el servidor verifica la firma. ### ¿Por qué la firma de Web Bot Auth sobrevive a la rotación de IP? La verificación pregunta si el visitante posee la clave y le da igual desde qué centro de datos salió la solicitud. Por eso no hace falta vigilar los bloques CIDR ni consultar JSON con rangos: la identidad la prueba la criptografía. ### ¿Quién ya soporta Web Bot Auth? Las firmas están integradas en el programa Cloudflare Verified Bots con el catálogo Signed Agents. El agente de ChatGPT entró en la primera cohorte firmada en 2025, y AWS WAF añadió soporte a finales de 2025 y deja pasar por sí mismo a los agentes verificados. El estándar sigue siendo un borrador activo. ### ¿Por qué las firmas no detienen a los scrapers dañinos? Las firmas solo verifican a quienes firman. Los scrapers que más se querría bloquear nunca implantarán Web Bot Auth. Para ellos quedan la comprobación de origen y el control del comportamiento. ### ¿Por qué una firma válida no garantiza buen comportamiento? La firma prueba la identidad y no muestra la intención. Un rastreador legítimo en un mal día y una clave robada se ven igual: ambos presentan una firma válida. Solo los límites de tasa y el análisis de solicitudes muestran si el visitante sobrecarga el servidor. ### ¿Qué tres puertas hacen falta para dejar pasar a los rastreadores de IA? Primero: la solicitud firmada pasa por la vía rápida tras verificar la firma. Segundo: la no firmada que declara ser un rastreador conocido pasa reverse-DNS con confirmación forward o la comparación con el rango. Tercero, para todos: límites de tasa y observación del comportamiento. ### ¿Por qué señales se detecta un GPTBot falso? La IP se resuelve a un hosting compartido como Hetzner, OVH o DigitalOcean, o no hay reverse-DNS en absoluto (NXDOMAIN). Las solicitudes van a /admin, /.env, /wp-login, a cientos por minuto sin Crawl-Delay. El nombre tiene una errata: GPT-Bot o una versión inexistente de ClaudeBot/2.x. ### ¿Ha implantado el autor el esquema de verificación descrito? Todavía no: el artículo describe una investigación y no una solución terminada. El plan del autor: firmas primero, IP como alternativa y control del comportamiento por debajo. Tras la implantación promete contar qué se rompió. ## Otros idiomas - RU: https://seo7.es/ru/blog/ai-seo-blog/verify-the-crawler-not-its-name - EN: https://seo7.es/en/blog/ai-seo-blog/verify-the-crawler-not-its-name ## Marcado schema.org ```json { "@context": "https://schema.org", "@type": "BlogPosting", "name": "Verifica al crawler, no su nombre: Web Bot Auth e IP", "description": "El nombre es una afirmación, la IP rota, Web Bot Auth prueba identidad, pero solo el comportamiento prueba intención. Un modelo de tres puertas.", "url": "https://seo7.es/es/blog/ai-seo-blog/verify-the-crawler-not-its-name", "mainEntityOfPage": "https://seo7.es/es/blog/ai-seo-blog/verify-the-crawler-not-its-name", "inLanguage": "es-ES", "headline": "Verifica al crawler, no su nombre: Web Bot Auth e IP", "isPartOf": { "@type": "WebSite", "name": "SEO7.ES", "url": "https://seo7.es/" }, "publisher": { "@type": "Organization", "name": "SEO7.ES", "url": "https://seo7.es/" } } ```