Araña Web

Una Aranya Web o indexador web és un bot que s’encarrega de recopilar dades i crear un registre d’aquestes. S’utilitzen en àmbits diversos i per a tasques molt variades, però l’ús més comú que se li dona generalment és el d’entrar a una sèrie de URLs que es troben en una llista a la qual es coneix com a “llavors”.

El bot ingressa una per una a aquestes pàgines i va guardant registre de cadascuna d’elles perquè puguin ser visitades més tard.

Les pàgines recopilades per l’aranya web es guarden tal qual un les pot veure quan navega per elles normalment, però queden emmagatzemades a manera d’“instantània”, com a captures de pantalles perquè la navegació pugui ser més veloç. No obstant això, encara que són increïblement eficients, necessiten ajuda humana per a poder llançar resultats precisos, ja que hi ha moltes coses que poden obstaculitzar el criteri d’aquests bots.

A vegades, URLs que semblen duplicades són en realitat diferents formats d’un mateix lloc que es presenten en forma d’enllaços individuals. Per això, si una aranya web detecta un duplicat, no sempre significa que sigui aquest el cas. Per això, ha d’haver-hi una persona que supervisi els resultats d’aquests petits ajudants cibernètics.