Cada cierto tiempo vuelve a circular la misma palabra mágica: crawl budget, o presupuesto de rastreo. Aparece en un artículo, alguien lo comparte, y de repente recibimos correos de clientes preocupados porque "Google no los rastrea lo suficiente". La mayoría de las veces, después de abrir Search Console y mirar los datos reales, la conversación acaba con un alivio: el crawl budget no es su problema. Pero la palabra da miedo, suena técnica y suena a cuello de botella oculto que te frena sin que lo veas.
Este artículo es el que explicamos a los clientes cuando sale el tema. Sin drama y sin vender nada que no haga falta. Vamos a ver qué es exactamente el crawl budget, cómo funciona por dentro, a quién afecta de verdad (spoiler: probablemente no a ti) y, cuando sí importa, qué hay que hacer para no tirar rastreo a la basura. Porque la parte interesante no es la definición, sino saber cuándo te tienes que preocupar y cuándo te puedes dedicar a cosas que sí que mueven la aguja.
Qué es el crawl budget, en cristiano
Googlebot es un programa que visita páginas, descarga su contenido y lo procesa para decidir qué vale la pena indexar. No tiene recursos infinitos ni tiempo ilimitado, y hay cientos de millones de sitios web en el mundo. Por tanto, para cada sitio dedica una cantidad determinada de recursos de rastreo en un periodo de tiempo. A esta cantidad, de manera informal, la llamamos crawl budget.
No es un número que puedas consultar en ningún panel ni una cifra que Google publique. Es más bien el resultado de dos factores que Google combina continuamente, y que vale la pena entender por separado porque se atacan de maneras diferentes.
Crawl rate limit: cuánto puede rastrear sin hacerte daño
El primer factor es el crawl rate limit, o límite de frecuencia de rastreo. Googlebot no quiere tumbarte el servidor. Si empezara a pedir cientos de páginas por segundo, muchas webs pequeñas colapsarían y la experiencia de los usuarios reales se resentiría. Para evitarlo, Google ajusta el ritmo según cómo responde tu servidor.
El mecanismo es bastante intuitivo: si tu servidor responde rápido y sin errores, Googlebot se atreve a pedir más páginas a la vez. Si empieza a ver tiempos de respuesta que suben o errores 5xx, frena inmediatamente. Es decir, el rendimiento de tu servidor es una palanca directa sobre cuánto puede rastrear Google. Un hosting lento no solo perjudica a los usuarios; también le dice a Googlebot que vaya con cuidado y rastree menos.
Crawl demand: cuántas ganas tiene Google de volver
El segundo factor es el crawl demand, o demanda de rastreo. Aunque tu servidor pudiera aguantar mucho más, Google no rastreará páginas que no le interesan. La demanda depende básicamente de dos cosas: la popularidad (las URLs que reciben más enlaces y más interés se rastrean más a menudo) y la frescura (Google intenta no dejar que su índice quede obsoleto, así que revisita más las páginas que cambian a menudo y menos las que llevan años iguales).
Aquí hay un matiz que mucha gente pasa por alto: si publicas contenido pobre, duplicado o de baja calidad, le estás diciendo a Google que no vale mucho la pena volver. La demanda de rastreo baja. En cambio, un sitio con contenido que la gente enlaza y que se actualiza con sentido genera demanda de manera natural. El crawl demand, en el fondo, es un reflejo de lo valioso que considera Google tu sitio.
La novedad que ha reabierto el debate: los sitios nuevos empiezan conservadores
El motivo por el que este tema ha vuelto a la conversación es una actualización reciente de la documentación oficial de Google sobre gestión del crawl budget. El mensaje que se ha subrayado es sencillo pero importante: todo sitio nuevo empieza con un rastreo conservador, y este ritmo crece a medida que Google gana confianza en tu dominio.
Tiene toda la lógica del mundo. Google no conoce tu servidor ni sabe si tu contenido merece atención frecuente. Hasta que no acumula suficientes señales —que el servidor aguanta, que las páginas valen la pena, que el sitio es estable— mantiene el ritmo moderado. Con el tiempo, si todo va bien, lo afloja y rastrea más rápido y más a menudo.
Esto no es ninguna penalización ni ningún castigo a los proyectos nuevos. Es prudencia por parte de Google. Pero sí que tiene una consecuencia práctica: si acabas de lanzar una web o una tienda con miles de páginas y esperas que Google se lo trague todo en días, te decepcionarás. La indexación de un sitio grande nuevo es gradual por diseño, e intentar forzarla con trucos suele ser contraproducente. La paciencia, aquí, es una estrategia legítima.
A quién afecta de verdad el crawl budget (y a quién no)
Esta es la parte que en Daimatics nos gusta dejar clarísima, porque ahorra muchos quebraderos de cabeza y muchas horas malgastadas. La propia documentación de Google lo dice sin rodeos: la mayoría de los sitios web no se deben preocupar por el crawl budget. Si tienes una web corporativa de treinta, cincuenta o doscientas páginas, Googlebot las rastrea todas sin despeinarse. Tu problema, si tienes uno, es otro.
- Web corporativa o de servicios con decenas o pocos centenares de páginas.
- Blog con un ritmo de publicación normal.
- PYME con una web estable que no genera URLs nuevas continuamente.
- Tienda pequeña con un catálogo reducido y bien estructurado.
- Cualquier sitio donde Googlebot ya rastrea las páginas nuevas en horas o pocos días.
- Ecommerce grandes con decenas o centenares de miles de URLs.
- Sitios con filtros, ordenaciones y parámetros que multiplican las URLs.
- Portales con mucho contenido generado automáticamente o agregadores.
- Webs con un historial de contenido pobre o duplicado masivo.
- Proyectos con servidores lentos o inestables que limitan el ritmo.
La regla práctica que usamos: si tu sitio tiene menos de diez mil URLs únicas y de valor, el crawl budget casi nunca será el cuello de botella. Google lo dice explícitamente en su Large site owner's guide to managing crawl budget, una guía pensada específicamente para sitios grandes, no para la web media. El nombre ya lo dice todo: large site.
El malentendido más caro: confundir "no indexado" con "crawl budget"
Aquí es donde vemos el grueso de los errores. Un cliente entra en el informe de cobertura de Search Console, ve páginas en "Descubierta: actualmente sin indexar" o "Rastreada: actualmente sin indexar" y concluye que es un problema de crawl budget. Casi nunca lo es.
Cuando Google ha rastreado una página y decide no indexarla, el rastreo ya ha ocurrido: el presupuesto no ha sido el obstáculo. Lo que ha pasado es que Google ha mirado la página y ha decidido que no merece un lugar en el índice, a menudo por calidad, por duplicación o por falta de señales. Y cuando una página está "descubierta pero no rastreada", puede ser crawl budget en sitios enormes, pero en sitios pequeños suele ser una cuestión de prioridades y de señales internas débiles.
Por eso, antes de tocar nada, siempre diagnosticamos. Si alguien quiere una segunda lectura de qué está pasando en su caso concreto, esto es exactamente el trabajo de una auditoría de SEO técnico bien hecha: separar lo que es ruido de lo que es señal, y no gastar esfuerzo donde no toca.
De dónde viene el rastreo malgastado de verdad
Cuando sí trabajamos con un sitio grande donde el crawl budget importa, el patrón se repite una y otra vez. Googlebot no se queda sin presupuesto porque tu contenido bueno sea demasiado; se queda sin presupuesto porque lo malgasta rastreando basura. El trabajo, pues, no es "conseguir más rastreo", sino dejar de tirarlo a la basura.
- Miles de URLs con parámetros de filtros y ordenaciones que generan duplicados infinitos.
- Cadenas de redirecciones 301 encadenadas y bucles.
- Páginas de resultados de búsqueda interna indexables.
- Contenido duplicado entre versiones con y sin barra, http/https, www/no-www.
- Sitemaps llenos de URLs que devuelven 404 o redirigen.
- Espacios infinitos: calendarios, paginaciones sin fin, IDs de sesión en la URL.
- URLs canónicas limpias, una por contenido, sin ruido de parámetros.
- Redirecciones directas, sin saltos intermedios.
- Búsquedas internas y facetas controladas con robots.txt o noindex según el caso.
- Una sola versión canónica del dominio, bien consolidada.
- Sitemaps solo con URLs 200 indexables y actualizadas.
- Arquitectura finita y previsible que Googlebot puede recorrer entera.
El caso de los parámetros y las facetas es, con diferencia, el más común en los ecommerce. Una categoría con cinco filtros combinables (talla, color, marca, precio, disponibilidad) puede generar, ella sola, miles de combinaciones de URL, y cada una parece una página nueva a los ojos de Googlebot. Multiplícalo por cientos de categorías y tienes un sitio que, sobre el papel, tiene millones de URLs de las cuales solo unas decenas de miles valen algo. Aquí sí, cada visita de Googlebot a una faceta inútil es una visita que no dedica al producto nuevo que acabas de subir.
Cómo se diagnostica bien, paso a paso
No tocamos nada sin mirar los datos primero. Este es, simplificado, el proceso que seguimos cuando sospechamos que un sitio grande tiene un problema real de rastreo. El orden importa: primero medimos, después decidimos, y solo al final actuamos.
Este ciclo de medir, actuar y volver a medir es lo que distingue una intervención seria de un listado de "buenas prácticas" aplicadas a ciegas. Si quieres que alguien te lo monte y te lo siga con criterio, es el tipo de encargo que gestiona una agencia SEO con experiencia en sitios grandes; no es un trabajo de probar cosas al azar y esperar.
Palancas concretas para no malgastar rastreo
Supongamos que ya has diagnosticado y que sí, eres de aquellos pocos a quienes el crawl budget afecta. Estas son las palancas que trabajamos, ordenadas más o menos por impacto típico. No hace falta aplicarlas todas; hay que aplicar las que tu diagnóstico señale.
- Consolida duplicados con canonicals correctos y una sola versión del dominio (protocolo, www y barra final coherentes).
- Controla facetas y parámetros: decide cuáles son indexables y cuáles se bloquean con robots.txt o se excluyen con noindex, según si quieren atraer tráfico o no.
- Limpia los sitemaps: solo URLs 200, canónicas e indexables. Fuera 404, redirecciones y noindex.
- Elimina cadenas de redirecciones: que cada redirección apunte directamente al destino final, sin saltos.
- Bloquea los espacios infinitos: búsquedas internas, calendarios, filtros combinatorios sin fin, IDs de sesión en la URL.
- Mejora el tiempo de respuesta del servidor: un servidor rápido permite a Googlebot rastrear más sin frenarse.
- Refuerza el enlazado interno hacia las páginas importantes para que Googlebot las encuentre y las priorice.
- Retira o consolida el contenido fino que no aporta valor ni genera demanda de rastreo.
Un apunte sobre robots.txt que genera confusión constante: bloquear una URL en robots.txt evita que Googlebot la rastree, y eso sí que ahorra presupuesto. Pero no la saca del índice si ya está o si recibe enlaces; de hecho, puede quedar indexada sin descripción. Si lo que quieres es desindexar, necesitas un noindex (que exige que la página sea rastreable para que Google lo vea) o eliminarla. Mezclar estas dos herramientas es uno de los errores que más a menudo tenemos que deshacer. Cuando hay dudas sobre el comportamiento exacto, vale la pena confirmarlo en la documentación oficial de Central de Search Console en lugar de guiarse por artículos de terceros que a menudo simplifican de más.
Rendimiento del servidor: la palanca infravalorada
Volvemos un momento al crawl rate limit, porque es donde mucha gente no mira y donde a veces está la ganancia más fácil. Si tu servidor tarda medio segundo en responder en lugar de tres segundos, Googlebot puede hacer muchas más peticiones en la misma ventana de tiempo sin miedo a hacerte daño. El rendimiento técnico no es solo una cuestión de experiencia de usuario o de Core Web Vitals; también es, literalmente, capacidad de rastreo.
Esto significa que invertir en un buen hosting, en caché, en una CDN y en optimización del backend tiene un doble retorno: usuarios más contentos y Googlebot más ágil. En sitios grandes con catálogos enormes, esta diferencia se traduce directamente en cuántas URLs nuevas o actualizadas puede procesar Google cada día. Es uno de los puntos que siempre revisamos en profundidad cuando auditamos un proyecto de tamaño serio.
Migraciones y replanteamientos: cuando el rastreo se descontrola
Hay un momento concreto en que incluso un sitio mediano puede sufrir problemas de rastreo temporales: una migración. Cuando cambias de estructura de URLs, de CMS o de dominio, de repente Googlebot se encuentra con un montón de redirecciones, URLs viejas que aún enlaza y una estructura nueva que tiene que aprender desde cero. Durante este período, si las redirecciones no están limpias y directas, se puede malgastar mucho rastreo visitando URLs antiguas que rebotan de un lado a otro.
Por eso insistimos tanto en que una migración web bien planificada incluye un mapa de redirecciones directas (sin cadenas), sitemaps actualizados el día del cambio y un seguimiento estrecho de las estadísticas de rastreo las semanas siguientes. Una migración mal hecha puede generar meses de rastreo ineficiente y, con ello, retrasos en la reindexación de las páginas que importan. Es uno de los contextos donde el crawl budget pasa de ser un tema teórico a un problema muy concreto y muy visible en los resultados.
La perspectiva Daimatics: prioridades, no pánico
Si te tienes que quedar con una sola idea de este artículo, que sea esta: el crawl budget es real, pero para la inmensa mayoría de webs no es lo que te frena. Antes de dedicarle ni un minuto, vale la pena hacerse las preguntas correctas. ¿Las páginas nuevas tardan días o semanas en aparecer en Google? ¿Tienes decenas o centenares de miles de URLs? ¿Tu servidor va lento? ¿Tienes un mar de facetas y parámetros? Si la respuesta a todo esto es no, tu crecimiento orgánico depende de otras cosas, y es ahí donde tienes que poner el dinero y las horas.
Nuestra metodología es clara en este punto: no hacemos acciones aisladas ni nos lanzamos sobre la palabra de moda. Conectamos el diagnóstico técnico con la arquitectura, el contenido, el enlazado interno, la autoridad y la conversión, y decidimos dónde invertir según el impacto real. El crawl budget es una pieza de este puzle, importante en su contexto y sobrevalorada fuera de él. Saber distinguir una cosa de la otra es, precisamente, lo que hace un consultor con oficio.
Y si después de leer esto todavía no tienes claro si el rastreo es o no tu cuello de botella, no pasa nada: esa ambigüedad es justamente el punto de partida de un buen diagnóstico. Vale más invertir unas horas en mirar los datos reales de tu caso que aplicar recetas genéricas que quizás no te hacen falta o, peor, que te pueden hacer daño.
Crawl budget y rastreo de Google: preguntas frecuentes
¿Cómo sé si el crawl budget es un problema en mi web?
La regla práctica es mirar dos cosas. Primero, el tamaño: si tienes menos de diez mil URLs únicas y de valor, casi seguro que no lo es. Segundo, el comportamiento: si las páginas nuevas aparecen en Google en horas o pocos días, Googlebot no tiene ningún problema para rastrearte. La señal de alerta real es tener un sitio muy grande (decenas o centenares de miles de URLs, típicamente ecommerce) donde una parte importante del contenido tarda semanas en rastrearse o directamente no se rastrea. En ese caso, el informe de estadísticas de rastreo de Search Console y, sobre todo, los logs del servidor te darán la respuesta definitiva.
¿El crawl budget afecta a mi posicionamiento directamente?
No directamente. El crawl budget no es un factor de ranking. Lo que pasa es que, si Googlebot no llega a rastrear una página, esta no se puede indexar, y lo que no está indexado no puede posicionar. Por lo tanto, el efecto es indirecto y solo relevante cuando el presupuesto es realmente insuficiente para cubrir el contenido de valor. En una web pequeña o mediana, donde todo se rastrea sin problema, trabajar el crawl budget no mejorará tus posiciones; lo que las mejorará es el contenido, la arquitectura, la autoridad y la intención de búsqueda bien resuelta.
Si bloqueo páginas con robots.txt, ¿recupero crawl budget?
Sí, bloquear el rastreo de URLs con robots.txt evita que Googlebot las visite y, por tanto, libera presupuesto para otras páginas. Es una técnica válida para espacios que no aportan valor de búsqueda, como filtros combinatorios infinitos o búsquedas internas. Ahora bien, cuidado con un malentendido muy común: robots.txt no desindexa. Si una página bloqueada ya está en el índice o recibe enlaces, puede seguir apareciendo (sin descripción). Si tu objetivo es sacarla de Google, necesitas noindex o eliminarla, no un Disallow.
¿Los sitios nuevos tienen menos crawl budget?
Sí, y es normal. Google ha aclarado en su documentación que todo sitio nuevo empieza con un rastreo conservador y que este ritmo crece a medida que Google gana confianza en el dominio: comprueba que el servidor aguanta, que el contenido vale la pena y que el sitio es estable. No es una penalización, es prudencia. La implicación práctica es que, si lanzas una web o una tienda grande, la indexación completa será gradual y no inmediata. Forzarla con trucos suele ser contraproducente; es mejor asegurar una buena arquitectura, sitemaps limpios y contenido de calidad desde el primer día.
¿Qué diferencia hay entre crawl rate limit y crawl demand?
Son los dos componentes del crawl budget. El crawl rate limit es cuánto puede rastrear Googlebot sin sobrecargar tu servidor: depende del rendimiento técnico, y si el servidor va rápido, Google se atreve a pedir más páginas. El crawl demand son las ganas que tiene Google de rastrearte, y depende de la popularidad (enlaces, interés) y de la frescura (con qué frecuencia cambia el contenido). El presupuesto real es la combinación de los dos: aunque el servidor aguante mucho, Google no rastreará páginas que no le interesan, y aunque el contenido sea muy demandado, no forzará un servidor que va lento.
Tengo un ecommerce con muchos filtros. ¿Qué debería hacer?
Los filtros y facetas son la fuente número uno de rastreo malgastado en los ecommerce, porque cada combinación genera una URL que parece una página nueva. El trabajo consiste en decidir, faceta por faceta, cuáles vale la pena que Google indexe (porque tienen demanda de búsqueda real, como «zapatos rojos talla 40») y cuáles no aportan nada. Las que no aportan se controlan con robots.txt o noindex según el caso, y se evitan los bucles combinatorios infinitos. Es un trabajo delicado porque un error puede desindexar páginas de categoría que sí que te traen tráfico, así que conviene hacerlo con datos y con criterio, no a ciegas.
¿Los sitemaps ayudan con el crawl budget?
Ayudan a orientarlo, pero no lo aumentan. Un sitemap limpio y actualizado le dice a Google cuáles son las URLs canónicas e importantes que quieres que priorice, y esto hace que el rastreo sea más eficiente. Lo contrario también es cierto: un sitemap lleno de URLs que devuelven 404, que redirigen o que tienen noindex envía señales contradictorias y hace que Google pierda confianza y tiempo. La buena práctica es mantener en los sitemaps solo URLs que responden 200, son canónicas e indexables, y mantenerlos sincronizados con los cambios reales del sitio.
¿Cada cuánto rastrea Google mi web?
No hay una frecuencia fija ni garantizada; depende de la demanda de rastreo. Las páginas populares y que cambian a menudo se visitan más (pueden ser a diario o más), mientras que las páginas estables y menos enlazadas se pueden rastrear cada muchas semanas. Lo puedes ver de manera agregada en el informe de estadísticas de rastreo de Search Console, que muestra las peticiones totales por día. Si quieres saber la frecuencia de URLs concretas, los logs del servidor son la única fuente fiable. En general, si publicas contenido de calidad y la web es técnicamente sana, la frecuencia se ajusta sola hacia arriba con el tiempo.
¿No sabes si el rastreo es tu cuello de botella?
Antes de tocar nada, miramos los datos reales de tu caso: qué rastrea Google, qué se indexa y dónde se pierde el esfuerzo. Diagnóstico primero, decisiones después, sin recetas genéricas.
Cuéntanos tu proyecto y te decimos si el crawl budget es realmente tu problema o si el crecimiento depende de otra cosa.
Solicitar un diagnóstico técnico →
