Què és un Aranya Web?
Una Aranya Web o indexador web és un bot que s’encarrega de recopilar dades i crear un registre d’aquestes. S’utilitzen en àmbits diversos i per a tasques molt variades, però l’ús més comú que se li dona generalment és el d’entrar a una sèrie de URLs que es troben en una llista a la qual es coneix com a “llavors”.
El bot ingressa una per una a aquestes pàgines i va guardant registre de cadascuna d’elles perquè puguin ser visitades més tard.
Les pàgines recopilades per l’aranya web es guarden tal qual un les pot veure quan navega per elles normalment, però queden emmagatzemades a manera d’“instantània”, com a captures de pantalles perquè la navegació pugui ser més veloç. No obstant això, encara que són increïblement eficients, necessiten ajuda humana per a poder llançar resultats precisos, ja que hi ha moltes coses que poden obstaculitzar el criteri d’aquests bots.
A vegades, URLs que semblen duplicades són en realitat diferents formats d’un mateix lloc que es presenten en forma d’enllaços individuals. Per això, si una aranya web detecta un duplicat, no sempre significa que sigui aquest el cas. Per això, ha d’haver-hi una persona que supervisi els resultats d’aquests petits ajudants cibernètics.
Per a què serveix una Aranya Web
Aquesta eina pot ser usada per un administrador web per a detectar possibles enllaços trencats i altres problemes dins d’un lloc web. També són molt eficients per a, per exemple, registrar el catàleg d’una pàgina de vendes online i recopilar dades de preus i productes per a crear comparatives i altres registres útils.
No obstant això, l’ús més comú és el d’ajudar els cercadors a trobar noves pàgines i registrar-les en un índex que permet una cerca més veloç. L’Aranya Web és el que permet que Google pugui registrar cada nou lloc que és pujat a la xarxa i assignar-li un lloc en els seus resultats segons el seu algorisme de pagerank.
Exemples d'Aranya Web
L’exemple per excel·lència d’aquesta tecnologia és el que usa Google per a posicionar les webs en els seus resultats. Gràcies a aquest senzill, però eficient bot, el gran cercador pot registrar cada nou lloc, avaluar el seu valor i assignar-li un lloc apropiat en els resultats de les cerques.
Treballa d’una manera seqüencial. Com es va dir abans, l’aranya va visitant tots els llocs proveïts per una llista i són guardats en un registre per a després ser sotmesos a l’algorisme de pagerank de Google i així poder ser posicionades apropiadament.
