[{"data":1,"prerenderedAt":96},["ShallowReactive",2],{"guide-ai-crawler-logs-es":3},{"copy":4,"related":83},{"name":5,"question":6,"title":7,"description":8,"h1":9,"lede":10,"panelTitle":11,"end":12,"sections":15},"Registros de rastreadores de IA","¿Qué rastreadores de IA visitan de verdad mi sitio?","Descubre qué rastreadores de IA visitan tu sitio","Encuentra GPTBot, ClaudeBot, PerplexityBot y otros rastreadores de IA en tus registros de acceso, comprueba que son auténticos y qué páginas les fallan.","Descubre qué rastreadores de IA visitan de verdad tu sitio","Tu robots.txt dice qué rastreadores de IA pueden leer tu sitio. Tu registro de acceso dice cuáles lo hicieron, con qué frecuencia y qué recibieron. Esta guía muestra dónde encontrar ese registro, cómo contar las visitas de rastreadores de IA con unos pocos comandos de shell y cómo distinguir un rastreador real de uno que solo toma prestado su nombre.","En esta página",{"heading":13,"text":14},"Comprueba quién puede leer tu sitio","Un análisis gratuito lee tu robots.txt y muestra qué rastreadores de IA deja entrar y cuáles bloquea, junto al resto de la preparación para IA de tu sitio.",{"why":16,"crawlers":22,"find":29,"format":37,"count":48,"verify":57,"errors":67,"limits":75},{"heading":17,"panel":18,"body":19},"Por qué importa quién visita de verdad","Por qué importa",[20,21],"Un asistente de IA solo puede citar una página que haya leído uno de sus rastreadores. Si ninguno ha descargado tu página de precios, ninguna respuesta la citará, por bien escrita que esté.","Tu robots.txt, y la tabla de bots de IA de un informe de SagBot, dicen qué rastreadores pueden leer tu sitio. No dicen cuáles vinieron. El registro de acceso de tu servidor sí: cada solicitud, con la dirección de origen, la página, el código de estado y el user agent que identifica al rastreador.",{"heading":23,"panel":24,"body":25},"Qué rastreadores de IA existen y por qué vienen","Quiénes son los rastreadores",[26,27,28],"Los rastreadores de IA vienen por uno de tres motivos. Los rastreadores de entrenamiento recopilan páginas para entrenar modelos. Los rastreadores de búsqueda construyen el índice en el que busca un asistente cuando responde. Los agentes de usuario descargan una página en directo porque alguien acaba de preguntarle al asistente por ella. Las visitas de estos dos últimos son las que pueden acabar en una cita.","OpenAI envía `GPTBot` para entrenamiento, `OAI-SearchBot` para búsqueda y `ChatGPT-User` para solicitudes en directo. Anthropic envía `ClaudeBot`, `Claude-SearchBot` y `Claude-User`; Perplexity envía `PerplexityBot` y `Perplexity-User`. Meta usa `meta-externalagent`, `meta-webindexer` y `meta-externalfetcher`, Amazon usa `Amazonbot`, `Amzn-SearchBot` y `Amzn-User`, y Mistral y DuckDuckGo envían `MistralAI-User` y `DuckAssistBot`. `Bytespider` (ByteDance) y `CCBot` (Common Crawl, un archivo abierto con el que se entrenan muchos modelos) recopilan datos de entrenamiento.","Dos nombres que no encontrarás en un registro: `Google-Extended` y `Applebot-Extended` son reglas de robots.txt, no rastreadores. Google descarga páginas con `Googlebot` y Apple con `Applebot`; las reglas Extended solo deciden si lo descargado puede usarse para IA. El agente de Google para solicitudes de usuarios en directo, `Google-Agent`, sí aparece con su nombre.",{"heading":30,"panel":31,"body":32},"Encuentra tu registro de acceso","Encuentra el registro",[33,34,35,36],"En tu propio servidor, el registro es un archivo de texto plano. nginx escribe `\u002Fvar\u002Flog\u002Fnginx\u002Faccess.log`. Apache escribe `\u002Fvar\u002Flog\u002Fapache2\u002Faccess.log` en Debian y Ubuntu, y `\u002Fvar\u002Flog\u002Fhttpd\u002Faccess_log` en Red Hat, Rocky y Alma. Los días anteriores se rotan a archivos numerados o con fecha junto a él, y los más antiguos se comprimen como `.gz`.","En un hosting compartido o gestionado, busca en el panel del hosting los registros de acceso sin procesar y descárgalos. Algunos proveedores solo guardan unos pocos días, así que guárdalos con regularidad si quieres una visión más larga.","Detrás de Cloudflare, abre AI Crawl Control para tu dominio en el panel. Está en todos los planes y muestra las solicitudes por rastreador de IA, sus códigos de estado y las rutas más solicitadas, sin ningún archivo de registro; en el plan gratuito sus métricas cubren las últimas 24 horas. Para las líneas de solicitud sin procesar, Logpush las exporta al almacenamiento que elijas. Cloudflare solo ve los nombres de host que pasan por su proxy (la nube naranja); las entradas DNS only van directamente a tu servidor.","En Vercel, la página Logs del proyecto muestra las solicitudes recientes con su user agent, durante una hora en Hobby y un día en Pro. Un log drain (Pro y Enterprise) envía cada solicitud, incluidas las de archivos estáticos, al almacenamiento que elijas.",{"heading":38,"panel":39,"body":40,"code":44},"Comprueba que el registro guarda el user agent","Comprueba el formato",[41,42,43],"El user agent es lo que identifica al rastreador, así que cada línea lo necesita. nginx y Apache tienen un formato llamado `combined` que termina cada línea con el referer y el user agent entre comillas. nginx lo usa salvo que elijas otro; Apache lo define, y tu línea `CustomLog` decide si se usa.","Mira las últimas líneas del registro con el primer comando de abajo. Si cada una termina con un nombre de navegador o de bot entre comillas, todo está listo. Si las líneas terminan con el estado y un número de bytes, el servidor escribe el Common Log Format, que no incluye el user agent: configura `combined` en la línea `access_log` (nginx) o en la línea `CustomLog` (Apache), como abajo, y recarga el servidor.","Los comandos de los siguientes pasos dan por hecho el formato `combined`. Si usas tu propio `log_format` o `LogFormat`, mantén `$http_user_agent` o `%{User-Agent}i` como último campo entre comillas, o ajusta los comandos.",[45,46,47],"tail -n 3 \u002Fvar\u002Flog\u002Fnginx\u002Faccess.log","access_log \u002Fvar\u002Flog\u002Fnginx\u002Faccess.log combined;","LogFormat \"%h %l %u %t \\\"%r\\\" %>s %b \\\"%{Referer}i\\\" \\\"%{User-Agent}i\\\"\" combined\nCustomLog ${APACHE_LOG_DIR}\u002Faccess.log combined",{"heading":49,"panel":50,"body":51,"code":54},"Cuenta las visitas por rastreador de IA","Cuenta las visitas",[52,53],"Pega el primer bloque en una shell del servidor. Asigna a `BOTS` los nombres de rastreadores de IA de la tabla de bots de IA de SagBot y cuenta las solicitudes por rastreador en el registro actual. Cambia la ruta si la tuya es distinta, por ejemplo `\u002Fvar\u002Flog\u002Fapache2\u002Faccess.log`.","El segundo bloque hace lo mismo con los archivos rotados, comprimidos o no; ejecútalo en la misma shell para que `BOTS` siga definida. Los rastreadores de entrenamiento suelen encabezar la lista. Las visitas de los rastreadores de búsqueda y de los agentes de usuario son las ligadas a las respuestas, así que vale la pena fijarse cuando faltan.",[55,56],"BOTS='GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User'\nBOTS=\"$BOTS|PerplexityBot|Perplexity-User|Google-Agent|Applebot|Bytespider|CCBot\"\nBOTS=\"$BOTS|meta-externalagent|meta-webindexer|meta-externalfetcher|Amazonbot\"\nBOTS=\"$BOTS|Amzn-SearchBot|Amzn-User|MistralAI-Training|MistralAI-Index\"\nBOTS=\"$BOTS|MistralAI-User|DuckAssistBot\"\nawk -F'\"' '{print $6}' \u002Fvar\u002Flog\u002Fnginx\u002Faccess.log \\\n  | grep -Eo \"$BOTS\" | sort | uniq -c | sort -rn","zgrep -hE \"${BOTS:?}\" \u002Fvar\u002Flog\u002Fnginx\u002Faccess.log* \\\n  | awk -F'\"' '{print $6}' | grep -Eo \"$BOTS\" | sort | uniq -c | sort -rn",{"heading":58,"panel":59,"body":60,"code":64},"Verifica que un rastreador es auténtico","Verifica los rastreadores",[61,62,63],"Cualquiera puede enviar una solicitud cuyo user agent diga `GPTBot`, y los scrapers lo hacen. Para fiarte de una visita, compara la dirección de origen con la lista del propio operador. El primer comando de abajo lista las direcciones que dijeron ser `GPTBot`; cámbialo por cualquier otro nombre.","OpenAI, Anthropic, Perplexity, Amazon, Apple y Common Crawl publican los rangos de IP de sus rastreadores en la documentación de sus bots. Google y Bing también se pueden comprobar con DNS inverso: la dirección debe resolverse a un nombre de `googlebot.com`, `google.com` o `googleusercontent.com` para Google, o de `search.msn.com` para Bing, y ese nombre debe resolverse de vuelta a la misma dirección. El segundo bloque muestra la comprobación con la dirección de ejemplo del propio Google. Apple (`applebot.apple.com`) y Common Crawl (`crawl.commoncrawl.org`) pasan la misma prueba.","Meta y ByteDance no publican ninguna lista de direcciones en el momento de escribir esto, así que sus visitas se pueden contar, pero no verificar.",[65,66],"awk '\u002FGPTBot\u002F {print $1}' \u002Fvar\u002Flog\u002Fnginx\u002Faccess.log | sort | uniq -c | sort -rn","host 66.249.66.1\nhost crawl-66-249-66-1.googlebot.com",{"heading":68,"panel":69,"body":70,"code":73},"Encuentra las páginas que fallan a los rastreadores de IA","Páginas con errores",[71,72],"Un rastreador que recibe un 404 o un 500 se va sin nada que citar, y una página que falla una y otra vez puede caerse de su índice.","El bloque de abajo lista las rutas que respondieron a rastreadores de IA con 404 o cualquier 5xx, las más frecuentes primero; necesita `BOTS` del paso de recuento en la misma shell. Redirige las páginas movidas a su nueva dirección, corrige los errores y quita los enlaces rotos de tu sitemap y de tus enlaces internos.",[74],"awk -F'\"' -v bots=\"${BOTS:?}\" '$6 ~ bots {\n  split($3, f, \" \"); split($2, r, \" \")\n  if (f[1] == 404 || f[1] >= 500) print f[1], r[2]\n}' \u002Fvar\u002Flog\u002Fnginx\u002Faccess.log | sort | uniq -c | sort -rn | head -20",{"heading":76,"panel":77,"body":78},"Lo que los registros no pueden mostrarte","Lo que no ven los registros",[79,80,81,82],"Una página servida desde la caché de una CDN nunca llega a tu servidor, así que tu propio registro se queda corto. Usa los registros de la CDN o su vista de rastreadores para tener el panorama completo.","Cloudflare solo ve los nombres de host que pasan por su proxy. Un nombre de host en DNS only no muestra visitas en AI Crawl Control, por muchos rastreadores que lleguen a él.","El user agent por sí solo se puede falsificar, y el Common Log Format ni siquiera lo registra.","Los registros muestran visitas, no citas. Que un rastreador lea una página no significa que un asistente vaya a citarla; con qué frecuencia te citan es una medición aparte.",[84,88,92],{"path":85,"name":86,"question":87},"\u002Ffor\u002Fdevelopers","Desarrolladores","¿Pueden los rastreadores y agentes de IA acceder a mi sitio y leerlo?",{"path":89,"name":90,"question":91},"\u002Fguides\u002Fimprove-geo","Mejora tu GEO","¿Cómo consigo que los motores de respuesta de IA citen mi sitio?",{"path":93,"name":94,"question":95},"\u002Fguides\u002Fai-visibility","Visibilidad en IA","¿Qué puedo corregir y qué solo puedo medir de cómo ve la IA mi marca?",1793992963421]