Aranya Web
Una aranya web (o web crawler/spider, com el conegut Googlebot) és un programa automàtic que recorre internet seguint enllaços d'una pàgina a una altra per descobrir i llegir el seu contingut. Aquest contingut és, precisament, el que després els motors de cerca indexen.
Entendre com "veu" una aranya la teva web —què li permets rastrejar, on la portes i què li costa llegir— és la base de qualsevol estratègia de SEO tècnic.
Si l'aranya no hi arriba, Google no hi és
Abans de parlar de posicionar paraules clau, cal garantir que Googlebot i la resta d'aranyes puguin arribar a cada pàgina important, llegir-ne el contingut i entendre de què tracta. Una web pot tenir un contingut excel·lent i, tot i així, no aparèixer mai a Google si l'aranya no hi arriba mai.
Els motius més habituals: un robots.txt massa restrictiu, un sitemap desactualitzat, enllaços interns trencats o contingut que només es carrega amb JavaScript i que l'aranya no arriba a executar a temps. Cap d'aquests problemes es detecta navegant la web amb normalitat com un usuari qualsevol.
Què mira una aranya web quan visita una pàgina
Cada visita d'una aranya passa per una sèrie de comprovacions bàsiques abans de decidir què fer amb el contingut trobat.
robots.txt
El primer que consulta una aranya educada: quines carpetes o pàgines té permís per rastrejar i quines no.
Sitemap.xml
Un mapa de les URLs que el propietari de la web considera importants, pensat per facilitar-ne el descobriment.
Enllaços interns
La via principal per la qual l'aranya salta d'una pàgina a una altra i arriba a contingut nou.
JavaScript
Contingut generat dinàmicament que pot trigar a renderitzar-se o passar desapercebut per algunes aranyes.
Com es facilita la feina a les aranyes
Optimitzar el rastreig no és un tema aïllat: és la base tècnica sobre la qual es construeix la resta del SEO.
Revisar el robots.txt
Assegurar-se que no es bloquegen per error seccions que sí que s'haurien d'indexar.
Mantenir el sitemap actualitzat
Que reflecteixi només les URLs reals i rellevants, sense pàgines eliminades ni redireccions.
Cuidar l'enllaçat intern
Cap pàgina important hauria de dependre d'un únic enllaç perdut al peu de pàgina.
Verificar el renderitzat de JavaScript
Comprovar que el contingut clau és visible sense dependre exclusivament de scripts pesants.
Elements que revisem sempre en una auditoria de rastreig:
On es perd rastreig sense saber-ho
Dubtes ràpids sobre les aranyes web
El que més ens pregunten els clients quan els expliquem per què cal cuidar el rastreig tècnic abans que el contingut.
Una pàgina perfecta que l'aranya no arriba a rastrejar val exactament el mateix que una pàgina que no existeix per a Google.
Què és exactament una aranya web?
Googlebot i aranya web són el mateix?
Com sé si l'aranya de Google està rastrejant la meva web?
El robots.txt pot impedir que Google indexi una pàgina?
El JavaScript és sempre un problema per a les aranyes?
La teva web és fàcil de rastrejar per a Google?
Revisem robots.txt, sitemap, enllaçat intern i renderitzat com a part de cada projecte de SEO tècnic, abans de tocar cap paraula clau.
