Cada cert temps torna a circular la mateixa paraula màgica: crawl budget, o pressupost de rastreig. Apareix en un article, algú la comparteix, i de sobte rebem correus de clients preocupats perquè "Google no els rastreja prou". La majoria de vegades, després d'obrir Search Console i mirar les dades reals, la conversa acaba amb un alleujament: el crawl budget no és el seu problema. Però la paraula fa por, sona tècnica i sona a coll d'ampolla ocult que et frena sense que ho vegis.
Aquest article és el que expliquem als clients quan surt el tema. Sense drama i sense vendre res que no calgui. Anem a veure què és exactament el crawl budget, com funciona per dins, a qui afecta de veritat (spoiler: probablement no a tu) i, quan sí que importa, què s'ha de fer per no llençar rastreig a la brossa. Perquè la part interessant no és la definició, sinó saber quan t'has de preocupar i quan et pots dedicar a coses que sí que mouen l'agulla.
Què és el crawl budget, en cristià
Googlebot és un programa que visita pàgines, en descarrega el contingut i el processa per decidir què val la pena indexar. No té recursos infinits ni temps il·limitat, i hi ha centenars de milions de llocs web al món. Per tant, per a cada lloc dedica una quantitat determinada de recursos de rastreig en un període de temps. A aquesta quantitat, de manera informal, li diem crawl budget.
No és un número que puguis consultar en cap panell ni una xifra que Google publiqui. És més aviat el resultat de dos factors que Google combina contínuament, i que val la pena entendre per separat perquè s'ataquen de maneres diferents.
Crawl rate limit: quant pot rastrejar sense fer-te mal
El primer factor és el crawl rate limit, o límit de freqüència de rastreig. Googlebot no vol tombar-te el servidor. Si comencés a demanar centenars de pàgines per segon, moltes webs petites col·lapsarien i l'experiència dels usuaris reals se'n ressentiria. Per evitar-ho, Google ajusta el ritme segons com respon el teu servidor.
El mecanisme és bastant intuïtiu: si el teu servidor respon ràpid i sense errors, Googlebot s'atreveix a demanar més pàgines alhora. Si comença a veure temps de resposta que pugen o errors 5xx, frena immediatament. És a dir, el rendiment del teu servidor és una palanca directa sobre quant pot rastrejar Google. Un hosting lent no només perjudica els usuaris; també li diu a Googlebot que vagi amb compte i rastregi menys.
Crawl demand: quantes ganes té Google de tornar-hi
El segon factor és el crawl demand, o demanda de rastreig. Encara que el teu servidor pogués aguantar molt més, Google no rastrejarà pàgines que no li interessen. La demanda depèn bàsicament de dues coses: la popularitat (les URLs que reben més enllaços i més interès es rastregen més sovint) i la frescor (Google intenta no deixar que el seu índex quedi obsolet, així que revisita més les pàgines que canvien sovint i menys les que porten anys iguals).
Aquí hi ha un matís que molta gent passa per alt: si publiques contingut prim, duplicat o de baixa qualitat, li estàs dient a Google que no val gaire la pena tornar-hi. La demanda de rastreig baixa. En canvi, un lloc amb contingut que la gent enllaça i que s'actualitza amb sentit genera demanda de manera natural. El crawl demand, en el fons, és un reflex de com de valuós considera Google el teu lloc.
La novetat que ha reobert el debat: els llocs nous comencen conservadors
El motiu pel qual aquest tema ha tornat a la conversa és una actualització recent de la documentació oficial de Google sobre gestió del crawl budget. El missatge que s'ha subratllat és senzill però important: tot lloc nou comença amb un rastreig conservador, i aquest ritme creix a mesura que Google guanya confiança en el teu domini.
Té tota la lògica del món. Google no coneix el teu servidor ni sap si el teu contingut mereix atenció freqüent. Fins que no acumula prou senyals —que el servidor aguanta, que les pàgines valen la pena, que el lloc és estable— manté el ritme moderat. Amb el temps, si tot va bé, l'afluixa i rastreja més ràpid i més sovint.
Això no és cap penalització ni cap càstig als projectes nous. És prudència per part de Google. Però sí que té una conseqüència pràctica: si acabes de llançar un web o una botiga amb milers de pàgines i esperes que Google ho engoleixi tot en dies, et decebràs. La indexació d'un lloc gran nou és gradual per disseny, i intentar forçar-la amb trucs sol ser contraproduent. La paciència, aquí, és una estratègia legítima.
A qui afecta de veritat el crawl budget (i a qui no)
Aquesta és la part que a Daimatics ens agrada deixar claríssima, perquè estalvia molts maldecaps i moltes hores malgastades. La pròpia documentació de Google ho diu sense embuts: la majoria de llocs web no s'han de preocupar pel crawl budget. Si tens un web corporatiu de trenta, cinquanta o dues-centes pàgines, Googlebot les rastreja totes sense despentinar-se. El teu problema, si en tens un, és un altre.
- Web corporatiu o de serveis amb desenes o poques centenes de pàgines.
- Blog amb un ritme de publicació normal.
- PIME amb una web estable que no genera URLs noves contínuament.
- Botiga petita amb un catàleg reduït i ben estructurat.
- Qualsevol lloc on Googlebot ja rastreja les pàgines noves en hores o pocs dies.
- Ecommerce grans amb desenes o centenars de milers d'URLs.
- Llocs amb filtres, ordenacions i paràmetres que multipliquen les URLs.
- Portals amb molt contingut generat automàticament o agregadors.
- Webs amb un historial de contingut prim o duplicat massiu.
- Projectes amb servidors lents o inestables que limiten el ritme.
La regla pràctica que fem servir: si el teu lloc té menys de deu mil URLs úniques i de valor, el crawl budget gairebé mai serà el coll d'ampolla. Google ho diu explícitament al seu Large site owner's guide to managing crawl budget, una guia pensada específicament per a llocs grans, no per a la web mitjana. El nom ja ho diu tot: large site.
El malentès més car: confondre "no indexat" amb "crawl budget"
Aquí és on veiem el gruix dels errors. Un client entra a l'informe de cobertura de Search Console, veu pàgines a "Descoberta: actualment sense indexar" o "Rastrejada: actualment sense indexar" i conclou que és un problema de crawl budget. Gairebé mai ho és.
Quan Google ha rastrejat una pàgina i decideix no indexar-la, el rastreig ja ha passat: el pressupost no ha estat l'obstacle. El que ha passat és que Google ha mirat la pàgina i ha decidit que no mereix un lloc a l'índex, sovint per qualitat, per duplicació o per manca de senyals. I quan una pàgina està "descoberta però no rastrejada", pot ser crawl budget en llocs enormes, però en llocs petits sol ser una qüestió de prioritats i de senyals interns febles.
Per això, abans de tocar res, sempre diagnostiquem. Si algú vol una segona lectura de què està passant al seu cas concret, això és exactament la feina d'una auditoria de SEO tècnic ben feta: separar el que és soroll del que és senyal, i no gastar esforç on no toca.
D'on ve el rastreig malgastat de veritat
Quan sí que treballem amb un lloc gran on el crawl budget importa, el patró es repeteix una vegada i una altra. Googlebot no es queda sense pressupost perquè el teu contingut bo sigui massa; es queda sense pressupost perquè el malgasta rastrejant escombraries. La feina, doncs, no és "aconseguir més rastreig", sinó deixar de tirar-lo a la brossa.
- Milers d'URLs amb paràmetres de filtres i ordenacions que generen duplicats infinits.
- Cadenes de redireccions 301 encadenades i bucles.
- Pàgines de resultats de cerca interna indexables.
- Contingut duplicat entre versions amb i sense barra, http/https, www/no-www.
- Sitemaps plens d'URLs que retornen 404 o redirigeixen.
- Espais infinits: calendaris, paginacions sense fi, IDs de sessió a la URL.
- URLs canòniques netes, una per contingut, sense soroll de paràmetres.
- Redireccions directes, sense salts intermedis.
- Cerques internes i facetes controlades amb robots.txt o noindex segons el cas.
- Una sola versió canònica del domini, ben consolidada.
- Sitemaps només amb URLs 200 indexables i actualitzades.
- Arquitectura finita i previsible que Googlebot pot recórrer sencera.
El cas dels paràmetres i les facetes és, de llarg, el més comú als ecommerce. Una categoria amb cinc filtres combinables (talla, color, marca, preu, disponibilitat) pot generar, ella sola, milers de combinacions d'URL, i cadascuna sembla una pàgina nova als ulls de Googlebot. Multiplica-ho per centenars de categories i tens un lloc que, sobre el paper, té milions d'URLs de les quals només unes desenes de milers valen alguna cosa. Aquí sí, cada visita de Googlebot a una faceta inútil és una visita que no dedica al producte nou que acabes de pujar.
Com es diagnostica bé, pas a pas
No toquem res sense mirar les dades primer. Aquest és, simplificat, el procés que seguim quan sospitem que un lloc gran té un problema real de rastreig. L'ordre importa: primer mesurem, després decidim, i només al final actuem.
Aquest cicle de mesurar, actuar i tornar a mesurar és el que distingeix una intervenció seriosa d'un llistat de "bones pràctiques" aplicades a cegues. Si vols que algú t'ho munti i t'ho segueixi amb criteri, és el tipus d'encàrrec que gestiona una agència SEO amb experiència en llocs grans; no és feina de provar coses a l'atzar i esperar.
Palanques concretes per no malgastar rastreig
Suposem que ja has diagnosticat i que sí, ets d'aquells pocs a qui el crawl budget afecta. Aquestes són les palanques que treballem, ordenades més o menys per impacte típic. No cal aplicar-les totes; cal aplicar les que el teu diagnòstic assenyali.
- Consolida duplicats amb canonicals correctes i una sola versió del domini (protocol, www i barra final coherents).
- Controla facetes i paràmetres: decideix quins són indexables i quins es bloquegen amb robots.txt o s'exclouen amb noindex, segons si volen atraure trànsit o no.
- Neteja els sitemaps: només URLs 200, canòniques i indexables. Fora 404, redireccions i noindex.
- Elimina cadenes de redireccions: que cada redirecció apunti directament al destí final, sense salts.
- Bloqueja els espais infinits: cerques internes, calendaris, filtres combinatoris sense fi, IDs de sessió a la URL.
- Millora el temps de resposta del servidor: un servidor ràpid permet a Googlebot rastrejar més sense frenar-se.
- Reforça l'enllaçat intern cap a les pàgines importants perquè Googlebot les trobi i les prioritzi.
- Retira o consolida el contingut prim que no aporta valor ni genera demanda de rastreig.
Un apunt sobre robots.txt que genera confusió constant: bloquejar una URL a robots.txt evita que Googlebot la rastregi, i això sí que estalvia pressupost. Però no la treu de l'índex si ja hi és o si rep enllaços; de fet, pot quedar-hi indexada sense descripció. Si el que vols és desindexar, necessites un noindex (que exigeix que la pàgina sigui rastrejable perquè Google el vegi) o eliminar-la. Barrejar aquestes dues eines és una de les errades que més sovint hem de desfer. Quan hi ha dubtes sobre el comportament exacte, val la pena confirmar-ho a la documentació oficial de la Central de Search Console en comptes de guiar-se per articles de tercers que sovint simplifiquen de més.
Rendiment del servidor: la palanca infravalorada
Tornem un moment al crawl rate limit, perquè és on molta gent no mira i on de vegades hi ha el guany més fàcil. Si el teu servidor triga mig segon a respondre en comptes de tres segons, Googlebot pot fer moltes més peticions en la mateixa finestra de temps sense por de fer-te mal. El rendiment tècnic no és només una qüestió d'experiència d'usuari o de Core Web Vitals; també és, literalment, capacitat de rastreig.
Això vol dir que invertir en un bon hosting, en cache, en una CDN i en optimització del backend té un doble retorn: usuaris més contents i Googlebot més àgil. En llocs grans amb catàlegs enormes, aquesta diferència es tradueix directament en quantes URLs noves o actualitzades Google pot processar cada dia. És un dels punts que sempre revisem en profunditat quan auditem un projecte de mida seriosa.
Migracions i replantejaments: quan el rastreig es descontrola
Hi ha un moment concret en què fins i tot un lloc mitjà pot patir problemes de rastreig temporals: una migració. Quan canvies d'estructura d'URLs, de CMS o de domini, de sobte Googlebot es troba amb un munt de redireccions, URLs velles que encara enllaça i una estructura nova que ha d'aprendre des de zero. Durant aquest període, si les redireccions no estan netes i directes, es pot malgastar molt rastreig visitant URLs antigues que reboten d'un lloc a l'altre.
Per això insistim tant que una migració web ben planificada inclou un mapa de redireccions directes (sense cadenes), sitemaps actualitzats el dia del canvi i un seguiment estret de les estadístiques de rastreig les setmanes següents. Una migració mal feta pot generar mesos de rastreig ineficient i, amb ell, retards en la reindexació de les pàgines que importen. És un dels contextos on el crawl budget passa de ser un tema teòric a un problema molt concret i molt visible als resultats.
La perspectiva Daimatics: prioritats, no pànic
Si t'has de quedar amb una sola idea d'aquest article, que sigui aquesta: el crawl budget és real, però per a la immensa majoria de webs no és el que et frena. Abans de dedicar-hi ni un minut, val la pena fer-se les preguntes correctes. Les pàgines noves triguen dies o setmanes a aparèixer a Google? Tens desenes o centenars de milers d'URLs? El teu servidor va lent? Tens un mar de facetes i paràmetres? Si la resposta a tot això és no, el teu creixement orgànic depèn d'altres coses, i és allà on has de posar els diners i les hores.
La nostra metodologia és clara en aquest punt: no fem accions aïllades ni ens llancem sobre la paraula de moda. Connectem el diagnòstic tècnic amb l'arquitectura, el contingut, l'enllaçat intern, l'autoritat i la conversió, i decidim on invertir segons l'impacte real. El crawl budget és una peça d'aquest puzle, important en el seu context i sobrevalorada fora d'ell. Saber distingir una cosa de l'altra és, precisament, el que fa un consultor amb ofici.
I si després de llegir això encara no tens clar si el rastreig és o no el teu coll d'ampolla, no passa res: aquesta ambigüitat és justament el punt de partida d'un bon diagnòstic. Val més invertir unes hores a mirar les dades reals del teu cas que aplicar receptes genèriques que potser no et calen o, pitjor, que et poden fer mal.
Crawl budget i rastreig de Google: preguntes freqüents
Com sé si el crawl budget és un problema al meu web?
La regla pràctica és mirar dues coses. Primer, la mida: si tens menys de deu mil URLs úniques i de valor, gairebé segur que no ho és. Segon, el comportament: si les pàgines noves apareixen a Google en hores o pocs dies, Googlebot no té cap problema per rastrejar-te. El senyal d'alerta real és tenir un lloc molt gran (desenes o centenars de milers d'URLs, típicament ecommerce) on una part important del contingut triga setmanes a rastrejar-se o directament no es rastreja. En aquest cas, l'informe d'estadístiques de rastreig de Search Console i, sobretot, els logs del servidor et donaran la resposta definitiva.
El crawl budget afecta el meu posicionament directament?
No directament. El crawl budget no és un factor de rànquing. El que passa és que, si Googlebot no arriba a rastrejar una pàgina, aquesta no es pot indexar, i el que no està indexat no pot posicionar. Per tant, l'efecte és indirecte i només rellevant quan el pressupost és realment insuficient per cobrir el contingut de valor. En un web petit o mitjà, on tot es rastreja sense problema, treballar el crawl budget no millorarà les teves posicions; el que les millorarà és el contingut, l'arquitectura, l'autoritat i la intenció de cerca ben resolta.
Si bloquejo pàgines amb robots.txt, recupero crawl budget?
Sí, bloquejar el rastreig d'URLs amb robots.txt evita que Googlebot les visiti i, per tant, allibera pressupost per a altres pàgines. És una tècnica vàlida per a espais que no aporten valor de cerca, com filtres combinatoris infinits o cerques internes. Ara bé, compte amb un malentès molt comú: robots.txt no desindexa. Si una pàgina bloquejada ja està a l'índex o rep enllaços, pot continuar apareixent-hi (sense descripció). Si el teu objectiu és treure-la de Google, necessites noindex o eliminar-la, no un Disallow.
Els llocs nous tenen menys crawl budget?
Sí, i és normal. Google ha aclarit a la seva documentació que tot lloc nou comença amb un rastreig conservador i que aquest ritme creix a mesura que Google guanya confiança en el domini: comprova que el servidor aguanta, que el contingut val la pena i que el lloc és estable. No és una penalització, és prudència. La implicació pràctica és que, si llances un web o una botiga gran, la indexació completa serà gradual i no immediata. Forçar-la amb trucs sol ser contraproduent; és millor assegurar bona arquitectura, sitemaps nets i contingut de qualitat des del primer dia.
Quina diferència hi ha entre crawl rate limit i crawl demand?
Són els dos components del crawl budget. El crawl rate limit és quant pot rastrejar Googlebot sense sobrecarregar el teu servidor: depèn del rendiment tècnic, i si el servidor va ràpid, Google s'atreveix a demanar més pàgines. El crawl demand són les ganes que té Google de rastrejar-te, i depèn de la popularitat (enllaços, interès) i de la frescor (amb quina freqüència canvia el contingut). El pressupost real és la combinació dels dos: encara que el servidor aguanti molt, Google no rastrejarà pàgines que no li interessen, i encara que el contingut sigui molt demandat, no forçarà un servidor que va lent.
Tinc un ecommerce amb molts filtres. Què hauria de fer?
Els filtres i facetes són la font número u de rastreig malgastat als ecommerce, perquè cada combinació genera una URL que sembla una pàgina nova. La feina consisteix a decidir, faceta per faceta, quines val la pena que Google indexi (perquè tenen demanda de cerca real, com «sabates vermelles talla 40») i quines no aporten res. Les que no aporten es controlen amb robots.txt o noindex segons el cas, i s'eviten els bucles combinatoris infinits. És una feina delicada perquè un error pot desindexar pàgines de categoria que sí que et porten trànsit, així que convé fer-la amb dades i amb criteri, no a cegues.
Els sitemaps ajuden amb el crawl budget?
Ajuden a orientar-lo, però no l'augmenten. Un sitemap net i actualitzat li diu a Google quines són les URLs canòniques i importants que vols que prioritzi, i això fa que el rastreig sigui més eficient. El contrari també és cert: un sitemap ple de URLs que retornen 404, que redirigeixen o que tenen noindex envia senyals contradictoris i fa que Google perdi confiança i temps. La bona pràctica és mantenir als sitemaps només URLs que responen 200, són canòniques i indexables, i mantenir-los sincronitzats amb els canvis reals del lloc.
Cada quant rastreja Google el meu web?
No hi ha una freqüència fixa ni garantida; depèn de la demanda de rastreig. Les pàgines populars i que canvien sovint es visiten més (poden ser diàriament o més), mentre que les pàgines estables i menys enllaçades es poden rastrejar cada moltes setmanes. Ho pots veure de manera agregada a l'informe d'estadístiques de rastreig de Search Console, que mostra les peticions totals per dia. Si vols saber la freqüència d'URLs concretes, els logs del servidor són l'única font fiable. En general, si publiques contingut de qualitat i el web és tècnicament sa, la freqüència s'ajusta sola cap amunt amb el temps.
No saps si el rastreig és el teu coll d'ampolla?
Abans de tocar res, mirem les dades reals del teu cas: què rastreja Google, què s'indexa i on es perd l'esforç. Diagnòstic primer, decisions després, sense receptes genèriques.
Explica'ns el teu projecte i et diem si el crawl budget és realment el teu problema o si el creixement depèn d'una altra cosa.
Sol·licitar un diagnòstic tècnic →
