Wikipedia Daimatics · SEO técnico

Araña Web

Q: ¿Qué es exactamente una araña web?

Un programa automático como Googlebot que recorre internet siguiendo enlaces para descubrir y leer contenido, que después el motor de búsqueda puede indexar.

Q: ¿Googlebot y araña web son lo mismo?

Googlebot es una araña web concreta de Google; araña web es el término genérico que engloba la de cualquier motor de búsqueda.

Q: ¿El robots.txt puede impedir que Google indexe una página?

Puede impedir el rastreo, pero no siempre la indexación si hay enlaces externos; para bloquear indexación hace falta la metaetiqueta noindex.

Una araña web (o web crawler/spider, como el conocido Googlebot) es un programa automático que recorre internet siguiendo enlaces de una página a otra para descubrir y leer su contenido. Este contenido es, precisamente, lo que después los motores de búsqueda indexan.

Entender cómo "ve" una araña tu web, qué le permites rastrear, adónde la llevas y qué le cuesta leer, es la base de cualquier estrategia de SEO técnico.

Rastreo vs indexaciónDos pasos, no uno

Araña webTérmino genérico para cualquier robot rastreadorConcepto general

GooglebotLa araña web propia de GoogleCaso concreto

Rastreo (crawling)Acción de recorrer enlaces y leer el contenidoPaso 1

IndexaciónGuardar ese contenido en el índice de búsquedaPaso 2

Rastrear no es lo mismo que indexar: una página puede ser visitada por la araña y no llegar nunca al índice

Por qué importa

Si la araña no llega ahí, Google no está ahí

Antes de hablar de posicionar palabras clave, hay que garantizar que Googlebot y el resto de arañas puedan llegar a cada página importante, leer su contenido y entender de qué trata. Una web puede tener un contenido excelente y, aun así, no aparecer nunca en Google si la araña no llega nunca.

Los motivos más habituales: un robots.txt demasiado restrictivo, un sitemap desactualizado, enlaces internos rotos o contenido que solo se carga con JavaScript y que la araña no llega a ejecutar a tiempo. Ninguno de estos problemas se detecta navegando la web con normalidad como un usuario cualquiera.

El concepto clave

Qué mira una araña web cuando visita una página

Cada visita de una araña pasa por una serie de comprobaciones básicas antes de decidir qué hacer con el contenido encontrado.

Permisos

robots.txt

Lo primero que consulta una araña educada: qué carpetas o páginas tiene permiso para rastrear y cuáles no.

Hoja de ruta

Sitemap.xml

Un mapa de las URLs que el propietario de la web considera importantes, pensado para facilitar su descubrimiento.

Descubrimiento

Enlaces internos

La vía principal por la que la araña salta de una página a otra y llega a contenido nuevo.

Punto débil

JavaScript

Contenido generado dinámicamente que puede tardar en renderizarse o pasar desapercibido para algunas arañas.

El método

Cómo se facilita el trabajo a las arañas

Optimizar el rastreo no es un tema aislado: es la base técnica sobre la que se construye el resto del SEO.

Revisar el robots.txt

Asegurarse de que no se bloquean por error secciones que sí deberían indexarse.

Mantener el sitemap actualizado

Que refleje solo las URLs reales y relevantes, sin páginas eliminadas ni redirecciones.

Cuidar el enlazado interno

Ninguna página importante debería depender de un único enlace perdido en el pie de página.

Verificar el renderizado de JavaScript

Comprobar que el contenido clave es visible sin depender exclusivamente de scripts pesados.

Elementos que revisamos siempre en una auditoría de rastreo:

robots.txtSitemap XMLEnlaces internosRenderizado JS

Errores habituales

Dónde se pierde rastreo sin saberlo

Aciertos y errores típicos

✗Bloquear por error carpetas enteras en el robots.txt. Una regla mal escrita puede dejar fuera del índice secciones enteras del sitio sin que nadie se dé cuenta durante meses.

✗Dejar el sitemap lleno de URLs muertas. Redirecciones y páginas eliminadas que siguen apuntando a un sitemap desactualizado hacen perder tiempo de rastreo a la araña.

✗Ocultar contenido clave solo detrás de JavaScript. Si la araña no llega a ejecutarlo a tiempo, para Google ese contenido simplemente no existe.

✓Revisar los informes de rastreo periódicamente. Ver exactamente qué visita Googlebot y con qué frecuencia ayuda a detectar problemas antes de que afecten al posicionamiento.

✓Priorizar el enlazado interno hacia las páginas clave. Cuantos más enlaces internos relevantes recibe una página, más fácil le resulta a la araña encontrarla y volver a ella.

Preguntas frecuentes

Dudas rápidas sobre las arañas web

Lo que más nos preguntan los clientes cuando les explicamos por qué hay que cuidar el rastreo técnico antes que el contenido.

La regla de oro

Una página perfecta que la araña no llega a rastrear vale exactamente lo mismo que una página que no existe para Google.

¿Qué es exactamente una araña web?

Es un programa automático (como Googlebot) que recorre internet siguiendo enlaces para descubrir y leer el contenido de las páginas, que después el motor de búsqueda puede indexar.

¿Googlebot y araña web son lo mismo?

Googlebot es una araña web concreta, la que utiliza Google. "Araña web" es el término genérico que engloba la de Google y la de cualquier otro motor de búsqueda.

¿Cómo sé si la araña de Google está rastreando mi web?

Se puede comprobar en los informes de rastreo de Google Search Console, que muestran qué páginas visita Googlebot y con qué frecuencia.

¿El robots.txt puede impedir que Google indexe una página?

Puede impedir que la araña la rastree, pero no siempre evita que aparezca indexada si hay enlaces externos que apuntan a ella; para bloquear la indexación hace falta la metaetiqueta noindex.

¿El JavaScript es siempre un problema para las arañas?

No siempre: Google puede renderizar JavaScript, pero con retrasos y limitaciones, por lo que el contenido crítico es más seguro si es accesible sin depender de él en exclusiva.

Cómo lo trabajamos en Daimatics