Tu empresa de hosting puede estar ocultando tu negocio a ChatGPT

Casi el 10 % de las webs pide a los rastreadores de IA que se mantengan alejados en su archivo robots.txt. Una segunda capa de bloqueo, que nadie mide, ocurre en el servidor, donde los sistemas de seguridad rechazan a asistentes de IA que el dueño de la web nunca quiso excluir.

Cada vez más empresas descubren que los asistentes de IA a los que sus clientes piden recomendaciones no pueden leer su página web. En la mayoría de los casos, nadie en la empresa tomó esa decisión.

Lo que muestran los datos publicados

Un estudio publicado en septiembre de 2026 por Suff Digital, que analizó los archivos robots.txt de 15,4 millones de páginas web con datos de HTTP Archive, encontró que el 9,9 % bloquea por nombre al menos a un rastreador de IA. Entre los sitios que sirven un archivo robots.txt funcional, la proporción sube al 11,5 %. Entre las 1.000 páginas más visitadas del mundo, llega al 28,9 %.

GPTBot, el rastreador de OpenAI, es el más citado: lo bloquea el 8,7 % de todos los sitios y el 23,1 % de los 1.000 primeros. Le siguen ClaudeBot con un 8,3 %, CCBot con un 8,2 % y Google-Extended con un 7,6 %.

Son decisiones deliberadas: una línea en robots.txt la escribe alguien. La cifra más importante es la que ningún estudio mide.

El bloqueo que nadie cuenta

Un archivo robots.txt es una petición pública. Una capa de seguridad es una puerta cerrada, y no deja registro público.

La mayoría de los proveedores de hosting usan algún tipo de protección contra bots, ya sea un cortafuegos de aplicaciones web, una página de verificación o un limitador de peticiones, para evitar que el tráfico automatizado consuma recursos del servidor. Estos sistemas clasifican a los visitantes por comportamiento y reputación, y muchos no reconocen a los rastreadores de IA más recientes. Cuando eso ocurre, el rastreador recibe una pantalla de verificación o un error de servidor en lugar de la página. El dueño de la web no ve nada: la analítica no registra ninguna visita, el robots.txt sigue diciendo que todo está permitido, y Googlebot, al que casi todos los sistemas de protección reconocen, pasa con normalidad.

SEO Soluciones España, agencia de marketing digital con sede en Alicante, encontró exactamente ese patrón en su propia web en septiembre de 2026 durante una auditoría interna. Google Search Console reportaba unas 9.400 peticiones de rastreo en tres meses, un 95 % de respuestas correctas y ningún problema a nivel de host. Cuando esas mismas páginas se solicitaron desde clientes que se identificaban como GPTBot, ClaudeBot, PerplexityBot y Bingbot, cada petición devolvió o una pantalla de espera que decía «One moment, please…» o un error de servidor 503. El archivo robots.txt del sitio los permitía expresamente a todos.

La agencia confirmó después el comportamiento con el propio rastreador. Al pedirle que abriera una página interior concreta y citara su primer párrafo, ChatGPT informó de que su petición directa había quedado detenida en una pantalla de verificación y de que solo podía alcanzar el texto a través de un índice de búsqueda. Después de que el proveedor de hosting añadiera reglas de permiso en su capa de seguridad, la misma prueba devolvió el texto real de la página.

Por qué lo hacen los proveedores

Hay un argumento defendible del lado del hosting. Los rastreadores de IA piden mucho más de lo que devuelven. Los datos de Cloudflare Radar del tercer trimestre de 2026 sitúan la proporción entre rastreo y visitas referidas de Anthropic en 988 a 1 y la de Perplexity en 1.083 a 1, frente a 4,9 a 1 de Google. En un servidor compartido, eso es coste sin tráfico de vuelta.

El problema no es la decisión, sino su alcance. La protección se aplica a toda una plataforma, rara vez se informa al dueño de la web, y el coste de ser ilegible lo paga el negocio, no el hosting.

Por qué importa ahora

Los resultados de búsqueda ya responden más preguntas de las que derivan. Los AI Overviews aparecían en torno al 48 % de las búsquedas de Google en marzo de 2026, según el seguimiento de BrightEdge, frente a cerca del 30 % en diciembre de 2025. Seer Interactive, analizando 25,1 millones de impresiones, midió que el porcentaje de clics orgánicos en búsquedas con AI Overview caía del 1,76 % al 0,61 %. Pew Research Center, sobre 68.000 búsquedas, encontró que los clics bajaban del 15 % al 8 % cuando aparecía un resumen generado por IA.

La visibilidad está pasando de posicionar en una lista a ser nombrado dentro de una respuesta, la práctica que hoy se conoce como posicionamiento GEO. Depende de algo más básico que una estrategia de contenidos: el asistente tiene que poder abrir la página.

Cómo comprobarlo en cinco minutos

Lee tu propio robots.txt. Abre tudominio.com/robots.txt y busca líneas Disallow que nombren a GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended o CCBot. Si el archivo ni siquiera carga, eso ya es un hallazgo.

Pide a un asistente que abra una página. Elige una página interior, no la portada, y pide a ChatGPT o Perplexity que cite su primer párrafo e indique si llegó a la página directamente o usó resultados de búsqueda. Un párrafo citado que coincida con un texto publicado hace poco significa que el acceso directo funciona.

Haz a tu hosting una pregunta concreta. No si la protección de bots está activa, sino si Googlebot, Bingbot, GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot y Google-Extended están en la lista de permitidos, y si el robots.txt se sirve sin verificación. Muchos rastreadores interpretan un error en ese archivo como una instrucción de no entrar.

El acceso es el suelo, no el resultado

Ser legible no garantiza ser recomendado. Los sistemas de IA valoran fuentes bien estructuradas, coherentes sobre quién es una empresa y dónde está, y corroboradas en otros lugares de la web. Pero nada de ese trabajo rinde en un sitio que el asistente no puede abrir. Las empresas que invierten en visibilidad harían bien en confirmar que la puerta está abierta antes de amueblar la habitación.

Sobre SEO Soluciones España

Fundada en 2017 y con sede en la provincia de Alicante, SEO Soluciones España es una agencia de marketing digital que trabaja con empresas de toda España e internacionales. Su equipo abarca posicionamiento en buscadores, visibilidad en búsquedas con IA, diseño web y publicidad digital. La agencia ha sido reconocida en los Global Business Awards durante cuatro años consecutivos.