Bloqueé dos de nuestras páginas de clasificación usando robots.txt. Hemos perdido una posición aquí o allá y todos nuestros fragmentos de página destacados. Esperaba un efecto mucho mayor, pero el mundo no se acabó.
Advertencia
No recomiendo hacer esto, y es muy posible que sus resultados difieran de los nuestros.
Traté de ver el impacto en las clasificaciones y el tráfico que tendría la eliminación de contenido. Mi teoría era que si tuviéramos que bloquear la indexación de páginas, Google tendría que depender únicamente de las señales de enlace para clasificar el contenido.
Sin embargo, no creo que lo que vi fuera realmente el resultado de la eliminación del contenido. Tal vez sea así, pero no puedo decirlo con 100% de certeza porque el impacto parece demasiado pequeño. Haré otra prueba para confirmar esto. Mi nuevo plan es eliminar el contenido del sitio y ver qué sucede.
Mi teoría de trabajo es que Google aún puede estar usando el contenido que ha visto en la página para clasificarla. Defensor del motor de búsqueda de Google Juan Mueller confirmó este comportamiento en el pasado.
Hasta ahora, la prueba se ha estado ejecutando durante casi cinco meses. En este punto, no parece que Google deje de posicionar la página. Sospecho que después de un tiempo probablemente dejará de confiar en que el contenido que estaba en la página todavía está allí, pero no he visto evidencia de eso.
Siga leyendo para ver la configuración de la prueba y el impacto. La conclusión principal es que es poco probable que bloquear accidentalmente la indexación de sus páginas (que Google ya realiza) con su archivo robots.txt tenga un gran impacto en sus clasificaciones y probablemente seguirá apareciendo en los resultados de búsqueda.
Elegí las mismas páginas que se usaron en el estudio “Impacto de los enlaces”, excepto el artículo Precios de SEO, porque Joshua Hardwick lo acaba de actualizar. Vi el impacto de eliminar enlaces a estos artículos y quería probar el impacto de eliminar el contenido. Como dije en la introducción, no estoy seguro de si eso fue lo que sucedió.
Bloqueé estos dos sitios el 30 de enero de 2023:
Estas líneas se han agregado a nuestro archivo robots.txt:
Disallow: /blog/top-bing-searches/Disallow: /blog/top-youtube-searches/
Como puede ver en los gráficos a continuación, ambos lados perdieron algo de tráfico. Pero no hizo mucha diferencia en nuestras previsiones de tráfico como esperaba.
Al observar las palabras clave individuales, puede ver que algunas palabras clave bajaron una posición o dos, mientras que otras en realidad ganaron posiciones mientras la página estaba bloqueada para que no pudiera rastrearse.
Lo más interesante que noté es que han perdido todos los fragmentos destacados. Mi conjetura es que bloquear páginas de la indexación las hizo inelegibles para fragmentos destacados. Cuando eliminé el bloqueo más tarde, el artículo de búsqueda de Bing recuperó rápidamente algunos fragmentos.
Los SERP tienen el impacto más notable en las páginas. Las páginas perdieron títulos personalizados y, en lugar de una meta descripción, mostraron un mensaje de que no había información disponible.
Era esperado. Esto sucede cuando la página está bloqueada por robots.txt. Además, cuando verifique la URL en Google Search Console, verá el estado “Rastreado pero bloqueado por robots.txt”.
Creo que el mensaje en las SERPs daña los clics en las páginas más de lo que baja el ranking. Observa una disminución en las visualizaciones, pero una disminución mayor en los clics en los artículos.
Tráfico para “Búsquedas principales de YouTube”:
Tráfico para “Búsquedas principales de Bing”:
Pensamientos finales
No creo que ninguno de ustedes se sorprenda por mi comentario sobre esto. No bloquees las páginas que quieres indexar. Duele. No es tan malo como crees, pero aún duele.
