Cómo corregir el error “indexado pero bloqueado por robots.txt” en GSC – Usabilidad web y seo

Cómo corregir el error “indexado pero bloqueado por robots.txt” en GSC

Vistas: 154
0 0
Tiempo de lectura:6 Minutos, 16 Segundos


Google Search Console dice “Indexado pero bloqueado por robots.txt” (GSC) cuando Google ha indexado URL que no puede rastrear.

La mayoría de las veces será un simple problema de rastreo atascado en su archivo robots.txt. Pero hay algunas condiciones adicionales que pueden desencadenar el problema, así que veamos el siguiente proceso de solución de problemas para diagnosticar y solucionar los problemas de la manera más eficiente posible:

Puede ver que el primer paso es preguntarse si desea que Google indexe URL.

si no quieres URL indexado …

Simplemente agregue la metaetiqueta robots noindex y asegúrese de permitir la indexación, asumiendo que sea canónica.

Si bloquea una página para que no se rastree, es posible que Google aún la rastree, porque descargar e indexar son dos cosas diferentes. A menos que Google pueda rastrear la página, no verá la metaetiqueta noindex y aún puede rastrearla porque contiene enlaces.

Si URL canonical a otra página, no agregue la metaetiqueta robots noindex. Solo asegúrese de que estén disponibles las señales canónicas correctas, incluida la etiqueta canónica en la página canónica, y permita que la indexación se transmita y consolide correctamente.

si quieres URL indexado …

Necesita averiguar por qué Google no puede indexar URL y quitar el bloque.

La causa más probable es un bloqueo de rastreo en el archivo robots.txt. Pero hay un par de otros escenarios en los que puede ver mensajes que dicen que está bloqueado. Analicémoslos en el orden en que probablemente debería buscarlos.

  1. Verifique el bloqueo de rastreo en el archivo robots.txt
  2. Compruebe si hay bloqueos intermitentes
  3. Verifique el bloqueo del cliente del usuario
  4. Echale un vistazo IP Unidad

Verifique el bloqueo de rastreo en el archivo robots.txt

La forma más sencilla de comprobar el problema es utilizar el probador de robots.txt en el programa. GSClo que significa regla de bloqueo.

2-robots-tester.gif

Si sabe lo que está buscando o no tiene acceso a él GSCpuede ir a domain.com/robots.txt para buscar el archivo. Consulte nuestro artículo de robots.txt para obtener más información, pero probablemente esté buscando una declaración de prohibición como:

Disallow: /

Se puede mencionar un agente de usuario específico o puede bloquear todo. Si su sitio es nuevo o se lanzó recientemente, puede buscar:

User-agent: *
Disallow: /

¿No encuentras el problema?

Es posible que alguien ya haya solucionado el bloqueo de robots.txt y haya solucionado el problema antes de que usted lo aborde. Este es el mejor escenario. Sin embargo, si el problema parece estar resuelto pero vuelve a ocurrir poco después, es posible que tenga un bloqueo intermitente.

Cómo reparar

Querrá eliminar la declaración de rechazo que causa el bloqueo. La forma en que lo hace varía según la tecnología que esté utilizando.

WordPress

Si el problema está en todo su sitio, la causa más probable es que haya seleccionado una configuración en WordPress para evitar la indexación. Este error es común en sitios web nuevos y después de la migración del sitio. Siga estos pasos para comprobarlo:

  1. Haga clic en “Configuración”
  2. Haga clic en “Leer”
  3. Asegúrese de que la opción “Visibilidad en motores de búsqueda” no esté seleccionada.
3-wordpress-search-engine-block.png
WordPress de Yoast

Si está usando Yoast SEO puede editar directamente el archivo robots.txt para eliminar la declaración de bloqueo.

  1. Haga clic en “Yoast SEO
  2. Haga clic en “Herramientas”
  3. Haga clic en “Editor de archivos”
WordPress de Rank Math

Al igual que Yoast, Rank Math te permite editar directamente el archivo robots.txt.

  1. Haga clic en “Clasificar matemáticas”
  2. Haga clic en “Configuración general”
  3. Haga clic en “Editar robots.txt”.
FTP o alojamiento

si usted tiene FTP para acceder al sitio, puede editar directamente el archivo robots.txt para eliminar la instrucción de rechazo problemática. Su proveedor de alojamiento también puede proporcionar un administrador de archivos que permite el acceso directo al archivo robots.txt.

Compruebe si hay bloqueos intermitentes

Los problemas intermitentes pueden ser más difíciles de solucionar, ya que es posible que las condiciones que causan el bloqueo no siempre estén presentes.

Recomiendo consultar el historial de su archivo robots.txt. Por ejemplo, en GSC tester del archivo robots.txt, si hace clic en el menú verá las versiones anteriores del archivo en el que puede hacer clic y verá lo que contienen.

4-robots-históricos-txt.gif

La Wayback Machine en archive.org también tiene un historial de archivos robots.txt para los sitios que indexa. Puede hacer clic en cualquier fecha para la que tengan datos y ver qué archivo contenía ese día en particular.

5-wayback-machine.png

O puede utilizar la versión beta del informe de cambios, que le permite ver fácilmente los cambios de contenido entre dos versiones diferentes.

6-wayback-machine.gif

Cómo reparar

El proceso para reparar bloqueos intermitentes dependerá de la causa del problema. Por ejemplo, una posible causa podría ser una caché compartida entre los entornos de prueba y activos. Cuando la caché del entorno de prueba está activa, el archivo robots.txt puede contener una directiva de bloqueo. Cuando el caché del entorno en vivo está activo, el sitio se puede indexar. En este caso, le gustaría dividir la caché o tal vez excluir los archivos .txt de la caché en el entorno de prueba.

Verifique los bloqueos de usuario del cliente

Los bloqueos de clientes de usuario ocurren cuando un sitio bloquea a un cliente de usuario específico, como Googlebot o AhrefsBot. En otras palabras, el sitio detecta el bot específico y bloquea el cliente de usuario correspondiente.

Si puede ver bien la página en su navegador habitual, pero se bloquea después de cambiar el cliente de usuario, significa que el agente de usuario específico ingresado está bloqueado.

Puede especificar un cliente de usuario específico con Chrome Devtools. Otra opción es usar una extensión del navegador para cambiar agentes de usuario como este.

Alternativamente, puede verificar los bloques del agente de usuario con el comando cURL. He aquí cómo hacerlo en Windows:

  1. Presione Windows + R para abrir la ventana “Ejecutar”.
  2. Ingrese “cmd” y luego haga clic en “bien. “
  3. Ingrese el comando cURL como este:
curl -A “user-agent-name-here” -Lv [URL]curl -A “Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)” -Lv https://ahrefs.com

Cómo reparar

Desafortunadamente, este es otro caso en el que saber cómo solucionarlo dependerá de dónde encuentre el bloqueo. Muchos sistemas diferentes pueden bloquear el bot, incluidos .htaccess, configuración del servidor, firewalls, CDNo incluso algo que su proveedor de alojamiento no esté viendo. Puede ser mejor ponerse en contacto con su proveedor de alojamiento o CDN y pregúnteles de dónde proviene el bloqueo y cómo puede solucionarlo.

Por ejemplo, aquí hay dos formas diferentes de bloquear el cliente de un usuario en .htaccess que es posible que deba buscar.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]RewriteRule .* - [F,L]

O…

BrowserMatchNoCase "Googlebot" bots
Order Allow,Deny
Allow from ALL
Deny from env=bots

Echale un vistazo IP Bloques

Si ha confirmado que el archivo robots.txt no lo está bloqueando y ha excluido el bloqueo de clientes de usuario, probablemente sea IP Unidad.

Cómo reparar

IP los bloques son problemas difíciles de rastrear. Al igual que con el bloqueo de agentes de usuario, lo mejor que puede hacer es ponerse en contacto con su proveedor de alojamiento o CDN y pregúnteles de dónde proviene el bloqueo y cómo puede solucionarlo.

Aquí hay un ejemplo de algo que puede buscar en .htaccess:

deny from 123.123.123.123

Pensamientos finales

En la mayoría de los casos, la advertencia “Indexado pero bloqueado por robots.txt” se debe a un archivo robots.txt bloqueado. Esperamos que esta guía le haya ayudado a encontrar y solucionar el problema si ese no fue su caso.

¿Tiene preguntas? Házmelo saber Gorjeo.



Happy
Happy
0
Sad
Sad
0
Excited
Excited
0
Sleepy
Sleepy
0
Angry
Angry
0
Surprise
Surprise
0
Previous post SEO vs PPC: qué elegir
Next post Google lanzará un mecanismo de reemplazo de cookies llamado FloC

Average Rating

5 Star
0%
4 Star
0%
3 Star
0%
2 Star
0%
1 Star
0%

Deja una respuesta