Uno de los problemas más comunes que me suelo encontrar al inicio de cualquier auditoría SEO para eCommerce es la problemática de indexación de contenido en los buscadores. (Al hablar de buscadores, voy a hacer referencia a Google ya que en España es el buscador más utilizado con diferencia)
Día tras día la tecnología para crear una tienda online es más accesible, hasta el punto de poder pagar menos de 30€ al mes y en pocos clics empezar a vender online mediante plataformas cómo Shopify, Wix y entre otros CMS. Es fantástico, pero para los SEOs y Google empieza a complicarse el ecosistema, debido a la sobre saturación de contenido en internet, el cual debe ser rastreado.
Como consecuencia esto ha hecho plantearse al mismo Google la inversión destinada en servidores para este cometido.
A día de hoy, trabajar el SEO onpage básico de Meta Títulos y Meta Descripciones ya no es suficiente para posicionar en los resultados de búsqueda. Es aquí donde resalta la importancia del SEO técnico para facilitar el proceso de rastreo e indexación
Para ser más concretos en la mejora del crawl budget. (Que no te asuste “el parablejo”, a continuación te explico qué es y cómo nos puede ayudar su optimización para que tu tienda online sea visible en Google).
Veamos en qué consiste 
Qué es el crawl budget
Los causantes de la existencia del crawl budget son los crawlers, los “robots” (Googlebot) que rastrean internet para encontrar contenido para ser rastreado e indexado en los resultados de búsqueda.
Para entender qué es el crawl budget es fundamental comprender cómo funciona Google.
Este utiliza rastreadores web, “crawlers” los cuales van navegando por Internet siguiendo todos los enlaces que se encuentran. Con el objetivo de recopilar toda la información de las páginas que ha visitado para así guardarla en sus servidores. A partir de ahí, estos organizan toda esta información en función de unos parámetros (algoritmos) y la almacenan en su índice para después mostrarla a los usuarios.
Si quieres saber más sobre su funcionamiento aquí tienes la documentación oficial
Googlebot no se compone solo de un rastreador ya que utiliza varios rastreadores para encontrar todo tipo de información en la red. Este hecho es necesario tenerlo en cuenta ya que cada uno de estos crawlers suele centrarse en un tipo de información diferente: imágenes, vídeo, mobile, etc..
Google nos informa aquí sobre cada uno de ellos y su función: rastreadores de Google
La definición más acertada del Crawl Budget hace referencia al número de páginas que Google rastrea en un sitio web dentro de un plazo de tiempo determinado, que puede ser traducido al presupuesto de tiempo y recursos que destina Google a rastrear e indexar una web.
Por qué Google asigna presupuesto de rastreo a los sitios web
Aunque no lo parezca, Google no tiene recursos ilimitados para rastrear internet y estos los distribuye para rastrear los billones de páginas que hay en internet. Así que necesitan una forma de priorizar sus recursos para el rastreo más eficiente posible jugando con el coste de oportunidad de destinar X recursos a Y o Z.
Asignar un presupuesto de rastreo a cada sitio web les ayuda a ejecutar esta acción de forma eficiente para así no desperdiciar recursos de sus servidores en webs con poco valor (webs de spam).
Cómo asignan el crawl budget a los sitios web
Se basa en 2 factores:, crawl limit (el límite de rastreo) y crawl demand (la demanda de rastreo)
- Crawl limit: ¿Qué capacidad de rastreo tiene una página web? Va determinada por las peticiones que puede responder su servidor.
- Crawl demand: ¿Qué URLs merece más la pena (re)rastrear?, en función de su popularidad y la frecuencia con la que se actualiza.
Por qué es importante el crawl budget para SEO
Ahora ya entiendes el problema, donde el objetivo es establecer un marco de trabajo para hallar una solución.
Para que nos entendamos, Google solo destinará recursos a tu eCommerce si le facilitas su trabajo, de lo contrario estará tu competencia esperando su turno para ser rastreados y quedarse con un trozo del pastel del presupuesto de rastreo para tu temática.
Cuándo es recomendable trabajar el crawl budget
Cómo podemos leer en la propia guía de Google para sites grandes te tienes que preocupar si tu tienda online supera las 10.000 URLs, de lo contrario no debería tener problemas en rastrear toda tu web.
Cuántas páginas tiene mi eCommerce
Para comprobar la cantidad de páginas rastreadas de tu tienda ve a Google Search Console>Cobertura, allí podrás encontrar la cantidad de URL que Google ha rastreado.
En el ejemplo anterior analizo un eCommerce: puedes ver cómo Google ha rastreado un total de unas 11.966 páginas, con lo que tendré que preocuparme de optimizar y priorizar las páginas a rastrear e indexar.
Cómo saber el crawl budget de una tienda online
El crawl budget cómo tal es un concepto. Por lo tanto para medir el mismo utilizaremos el parámetro de cantidad de páginas rastreadas por día, con el objetivo de determinar la cantidad de páginas que se rastrean los bots de nuestra tienda online respecto a la cantidad total de la misma.
La forma fácil de ver cuántas páginas rastrea Google al día es ir a Google Search Console>Ajustes>Estadísticas de Rastreo.
El dato a tener en cuenta serán las solicitudes de rastreo por URL para así conocer las URLs que ha rastreado al día. En caso que la cantidad de URLs solicitadas durante un mes esté por debajo del total de páginas del site, podremos diagnosticar un problema de crawl budget, ya que Google bot no está teniendo suficiente budget de rastreo para descubrir toda nuestra página web.
Si quieres saber más sobre este panel aquí te dejo la documentación oficial
Cómo auditar mi crawl budget
Para saber la «Salud” del Budget de una tienda online bastará con conocer la cantidad de URLs que rastrea Googlebot durante un periodo de tiempo cómo hemos visto en el apartado anterior.
Por otro lado hay otros indicios de para auditar el Crawl Budget.
Descubierta: actualmente sin indexar
Este es una de las razones por las que una URL no se ha indexado en Google, la cual la podemos encontrar en el apartado de Google Search Console>Cobertura>Excluidas.
Cómo muy bien nos explica la documentación de Google: “Descubierta: actualmente sin indexar. Google ha encontrado la página, pero todavía no la ha rastreado; probablemente porque ha determinado que, de hacerlo, el sitio web se sobrecargaría. Por tanto, ha tenido que aplazar el rastreo. Por este motivo, en el informe no aparece la fecha del rastreo más reciente.”
En caso que te encuentres una cantidad considerable de páginas que quieres indexar excluidas por este motivo deberás empezar a trabajar en su optimización para que estas sean indexadas.
Pero no te preocupes ahora te explicará las diferentes formas de optimizar el crawl budget 
Cómo aumentar mi crawl budget
Para mejorar el crawl budget de tu tienda online lo puedes hacer sobre dos vías de trabajo:
- Reducir la cantidad de URLs a rastrear: Esta es la más sencilla, porque depende 100% de nosotros.
- Conseguir que Google bot te destine más tiempo de rastreo: En este caso será complicado demostrar la correlación de acción para que demuestre que debido a X acciones Googlebot no ha destinado más tiempo de rastreo.
Vemos las diferentes acciones que puedes realizar ordenadas por su facilidad de implementación e impacto en el crawl budget según mi experiencia:
Robots.txt
El Robots.txt es tu mejor aliado en este campo, ya que es el documento que te permitirá reducir la cantidad de páginas a rastrear. Simplemente le indicaremos a Google qué páginas no queremos que rastree, como por ejemplo páginas de gestión de un eCommerce cómo Mi cuenta, Carrito, Whislist y todas las páginas que no cubran una intención de búsqueda como tal.
Velocidad de carga
Facilita el rastreo de tu eCommerce mediante la optimización de tu servidor y una web más ligera.
Cadenas de redirecciones 301
Cuanto menos pasos tenga que realizar Google para encontrar una página en código 200 (códigos de respuesta correcta de un servidor) mejor, ya que cada salto de URL a URL hay un consumo innecesario de recursos para los preciados servidores de Google y esto no nos interesa.
Sitemaps.xml
Prioriza correctamente el rastreo e indexación de tus páginas de negocio mediante el uso correcto del documento Sitemap.xml
Control de etiquetas de indexación
Optimiza y prioriza las páginas que deben estar indexadas. Aprovecha para bloquear por robots.txt esas páginas rastreables que se encuentren en noindex.
Thin Content
No desperdicies tu presupuesto de rastreo en páginas que no cubren ninguna intención de búsqueda.
Contenido duplicado
Obviamente no hagamos que Google rastree dos veces las mismas URLs, debido a que estas tienen contenido duplicados entre ellas.
Frecuencia de publicación de contenido
Recuerda que la función de Google es descubrir nuevos contenidos en internet para que este sea indexado en los resultados de búsqueda. Si publicas frecuentemente contenido de valor y optimizado para las búsquedas de los usuarios, Google te premiará destinando más presupuesto de rastreo.
Autoridad
Aumenta tu autoridad en el sector mediante estrategias de link building y acciones de PR en otros medios para ser un eCommerce con notoriedad en tu vertical de negocio.
Conclusión
Si aún así necesitas más ideas sobre cómo optimizar el crawl budget te recomiendo que estés atento al blog de Google y a la documentación actualizada que ofrece el propio buscador, en especial el apartado de “Controlar el rastreo e indexación”
Cualquier duda que tengas al respecto no dudes en escribirla en los comentarios, ¡te ayudaré encantado! Hasta el próximo artículo 😉
¡Un abrazo!
[…]
La entrada Guía sobre el crawl budget en SEO: qué es y cómo optimizarlo para tu tienda online aparece primero en Marketing 4 Ecommerce - Tu revista de marketing online para e-commerce.
from Marketing archivos - Marketing 4 Ecommerce - Tu revista de marketing online para e-commerce https://ift.tt/H4AKdO3
via IFTTT
Comentarios
Publicar un comentario