Presupuesto de Rastreo
El presupuesto de rastreo es la cantidad de URLs de un sitio web que buscadores como Google rastrearán (descubrirán) dentro de un periodo de tiempo determinado. Dado que los buscadores tienen recursos finitos repartidos entre miles de millones de sitios web, asignan a cada sitio una cantidad limitada de capacidad de rastreo.
El presupuesto de rastreo es la cantidad de URLs de un sitio web que buscadores como Google rastrearán (descubrirán) dentro de un periodo de tiempo determinado. Dado que los buscadores tienen recursos finitos repartidos entre miles de millones de sitios web, asignan a cada sitio una cantidad limitada de capacidad de rastreo.
Por qué es importante
Los buscadores deben rastrear e indexar una página antes de que pueda aparecer en los resultados de búsqueda. Un presupuesto de rastreo insuficiente significa que páginas importantes pueden quedar sin descubrir, o que el contenido actualizado puede no reflejarse en los resultados de búsqueda con prontitud.
La mayoría de los sitios web pequeños no necesitan preocuparse por el presupuesto de rastreo, ya que Google gestiona el rastreo de forma eficiente en sitios más pequeños. Sin embargo, la gestión del presupuesto de rastreo se vuelve crítica para:
- Sitios grandes: Sitios con más de 10.000 páginas en los que los rastreadores quizá no visiten todas las páginas. Según el análisis de Botify de 6.200 millones de solicitudes de Googlebot en 413 millones de páginas, el 77 % de las páginas de los sitios web grandes no reciben tráfico de búsqueda alguno.
- Contenido que cambia con frecuencia: Sitios de noticias, plataformas de e-commerce o cualquier sitio donde el contenido se actualice con regularidad.
- Sitios con problemas técnicos de rastreo: Aquellos con cadenas de redirecciones, enlaces rotos o contenido duplicado excesivo.
Componentes
El presupuesto de rastreo está determinado por dos factores: la demanda de rastreo y el límite de capacidad de rastreo.
La demanda de rastreo refleja cuánto quiere Google rastrear un sitio, y está influida por:
- Inventario percibido: Google intenta rastrear todas las páginas conocidas salvo que se bloqueen mediante robots.txt o códigos de estado HTTP.
- Popularidad: Los sitios con backlinks de calidad y mayor tráfico se rastrean con más frecuencia.
- Frescura del contenido: Los sitios actualizados con regularidad (como los medios de noticias) se rastrean más a menudo que las páginas estáticas.
El límite de capacidad de rastreo es el límite superior que Google establece para evitar sobrecargar un servidor. Tiempos de respuesta más rápidos del sitio permiten más rastreo, mientras que los errores frecuentes del servidor reducen la frecuencia de rastreo.
Cómo optimizarlo
- Mejora la velocidad del sitio: Tiempos de respuesta del servidor más rápidos permiten a los rastreadores procesar más páginas en el mismo periodo.
- Refuerza el enlazado interno: Dirige a los rastreadores hacia las páginas importantes mediante una colocación estratégica de enlaces internos.
- Mantén los sitemaps XML: Excluye las URLs duplicadas o sin importancia y mantén los sitemaps actualizados.
- Usa robots.txt de forma eficaz: Bloquea las páginas innecesarias (páginas de administración, páginas de filtros) para evitar el desperdicio del presupuesto de rastreo.
- Elimina las cadenas de redirecciones: Las redirecciones de varios pasos consumen presupuesto de rastreo de forma innecesaria. Apunta las redirecciones directamente a los destinos finales.
- Corrige los enlaces internos rotos: Los enlaces que devuelven errores 404 desperdician recursos del rastreador.
- Resuelve el contenido duplicado: Muchas páginas idénticas o casi idénticas pueden agotar todo el presupuesto de rastreo. Usa etiquetas canónicas para consolidarlas.
Monitorización
El informe de estadísticas de rastreo de Google Search Console muestra el total de solicitudes de rastreo, los tamaños de descarga y los tiempos de respuesta a lo largo de periodos de 90 días. Una caída repentina en la frecuencia de rastreo o un pico en las tasas de error del servidor señalan problemas con el presupuesto de rastreo.
Sources: