Cómo optimizar las instrucciones robóticas para SEO técnico


Voz de Amazon Polly

Contenido del Articulo

Robot.txt, instrucciones para robots en el sitio y su importancia en SEO

Indexar, indexar, generar y clasificar son los cuatro elementos básicos del SEO. Este artículo se centrará en cómo se pueden mejorar las instrucciones del robot para tener un impacto positivo en un sitio en SEO y ayudarlo a administrar las páginas de su sitio web que deben y no deben indexarse ​​para una clasificación potencial en Google, según su estrategia comercial.

Google indexará e indexará tantas páginas del sitio web como pueda. Siempre que las páginas no estén detrás de la utilidad de inicio de sesión, Google intentará indexar todas las páginas que pueda encontrar, a menos que le haya dado instrucciones especiales al robot para evitarlo. Alojar un archivo robots.txt con instrucciones de indexación en la raíz de su dominio es una forma antigua de brindar orientación a los motores de búsqueda sobre lo que debe y no debe indexarse ​​y clasificarse en un sitio web; Le dice al motor de búsqueda qué páginas, directorios y archivos deben indexarse ​​o no para su clasificación potencial en Google u otros motores de búsqueda. Para la mayoría de la indexación, Google ve las instrucciones de robots.txt como una recomendación, no como un requisito (la principal advertencia aquí es que la nueva herramienta de indexación de Google, Duplex Bot, que se utiliza para buscar conversaciones, también se basa en el archivo robots.txt. en Search Console, si necesita bloquear su acceso.) Esto se discutirá en un artículo futuro. Comenzamos a considerar las instrucciones para robots en la fuente principal de la página para obtener pautas sobre indexación e indexación. Las instrucciones para robots en la página son códigos que pueden ser incluido en la etiqueta páginas para marcar las instrucciones de indexación para esa página. Todos los sitios web que no desee que Google indexe deben contener instrucciones especiales para robots en la página que reflejen o agreguen lo que podría estar incluido en el archivo robots.txt. Esta guía explica cómo bloquear de manera confiable páginas que de otro modo podrían estar indexadas y no detrás de un firewall o inicio de sesión, para que no se indexen y clasifiquen en Google.

Cómo optimizar las instrucciones robóticas para SEO

  1. Revise su archivo robots.txt actual: Puede encontrar el archivo robots.txt en la raíz del dominio, por ejemplo: https://www.example.com/robots.txt. Siempre debemos comenzar por verificar que los directorios bloqueados en robots.txt estén optimizados para SEO. A continuación, puede ver un ejemplo de un archivo robots.txt. En este archivo robots.txt sabemos que trata todas las herramientas de indexación porque dice User-Agent: *. Es posible que vea un archivo robots.txt que es específico del agente de usuario pero usa un asterisco
    es un símbolo de 'reemplazo' de que la regla se puede aplicar ampliamente a 'todos' o 'cualquier cosa', en este caso bots o agentes de usuario.  Luego vemos una lista de directorios después de la palabra 'Disallow:'.  Estos son directorios que pedimos que no se indexen, queremos evitar que los robots los indexen e indexen.  No todos los archivos que aparecen en estos directorios se pueden indexar o clasificar.
  2. Ejemplo de archivo Robots.txtRevise las instrucciones para los robots en la página. : Google ahora toma las instrucciones sobre robots en la página más como una regla que como una sugerencia. Las instrucciones sobre robots en una página solo afectan la página en la que se encuentran y tienen el potencial de limitar la indexación de las páginas a las que está vinculada la página. Se pueden encontrar en el código fuente de la página en la etiqueta. . Aquí hay ejemplos de instrucciones en la página. Nombre= ‘robots contenido= ‘índice, seguir ‘/> En este ejemplo le decimos al motor de búsqueda que indexe la página y siga los enlaces en la página para que pueda encontrar otras páginas.

  3. Para realizar una evaluación exhaustiva de las instrucciones en la página, los webmasters deben indexar su sitio web dos veces: una como la herramienta de indexación de Google para teléfonos inteligentes o con un agente de usuario móvil, y una vez como Googlebot (para computadoras de escritorio) o con un agente de usuario de escritorio. Puede usar cualquier herramienta de indexación basada en la nube o alojada localmente (EX: ScreamingFrog, SiteBulb, DeepCrawl, Ryte, OnCrawl, etc.). La configuración del agente de usuario es parte de la configuración de indexación o, a veces, parte de la configuración avanzada en algunas herramientas de indexación. En Screaming Frog, simplemente use el menú desplegable Configuración en el sistema de navegación principal y haga clic en “Usuario-Agente” para ver la modalidad a continuación. Las herramientas de indexación tanto para dispositivos móviles como para computadoras de escritorio se destacan a continuación. Solo puede seleccionar uno a la vez, por lo que indexará una vez con cada agente de usuario (también conocido como: una vez como una herramienta de indexación móvil y una vez como un índice de trabajo).Revisión de páginas bloqueadas
    : Revise los resultados de la indexación para confirmar que no hay páginas que contengan instrucciones.
  4. Google Search Console: indexado, aunque bloqueado por robots.txtCompare las instrucciones en la página Móvil y Escritorio :
    • Compare la indexación para verificar que las instrucciones para los robots en la página coincidan entre dispositivos móviles y computadoras de escritorio:
    • Si está utilizando Responsive Design, esto no debería ser un problema a menos que los elementos Head Tag se llenen dinámicamente con JavaScript o Tag Manager. A veces, esto puede introducir diferencias entre las vistas de la página de escritorio y móvil.
    • Si su CMS crea dos versiones diferentes de la página de renderizado para dispositivos móviles y de escritorio, en lo que a veces se denomina ‘Diseño adaptable’, ‘Adaptativo-Responsivo’ o ‘Servicio selectivo’, es importante consultar las instrucciones del robot en la página que genera el coincidencia del sistema entre el móvil y una computadora de escritorio.
    • Si la etiqueta JavaScript se modifica o inyecta alguna vez, debe asegurarse de que JavaScript no sobrescriba / elimine instrucciones en una u otra versión (s) de la página.
      En el siguiente ejemplo, puede ver que las instrucciones de Robots en la página no están en el dispositivo móvil, pero están presentes en el escritorio.
  5. Instrucciones para robots en la página vs Robots.txtCompare Robots.txt y las instrucciones del robot en la página
    : Imajte na umu da ako se upute robots.txt i robota na stranici ne podudaraju, upute robota na stranici imaju prioritet i Google će vjerojatno indeksirati stranice u datoteci robots.txt;  čak i oni s 'Disallow: /example-page /' ako sadrže <meta name = ”robots” content = ”index” /> en la pagina.  En el ejemplo, puede ver que la página fue bloqueada por Robot.txt, pero contiene instrucciones de índice en la página.  Este es un ejemplo de por qué muchos webmasters ven “Indexado, aunque bloquea mi Robots.txt en Google Search Console.” width=”1463″ height=”452″/><br /></span></span></li>
<li><strong>Bloqueado en el archivo Robots.txt, pero con “Index, Follow” en Robots Insturctions en la página </strong><span style=IdentificarFaltan las instrucciones del robot en la página
    : Indeksiranje i indeksiranje zadano su ponašanje za sve alate za indeksiranje.  U slučajevima kada predlošci stranica ne sadrže upute za meta robote na stranici, Google će prema zadanim postavkama primijeniti upute za indeksiranje i indeksiranje stranice , en la etiqueta archivos HTML de origen. En este ejemplo, robots.txt bloquea la indexación de páginas, pero nos faltan las instrucciones de la página tanto para computadoras móviles como para computadoras de escritorio. Las instrucciones faltantes no serían una preocupación si quisiéramos indexar la página, pero en este caso es muy probable que Google indexe la página incluso si bloqueamos la página con un archivo Robots.txt.” width=”1463″ height=”452″/>
  6. Bloqueado en el archivo Robots.txt sin instrucciones para robots en la páginaIdentificar instrucciones duplicadas para el robot en la página. :

Idealmente, la página tendría solo un conjunto de instrucciones para meta robots en la página.  Sin embargo, ocasionalmente encontramos páginas con más instrucciones en la página.  Esta es una gran preocupación porque si no coinciden, Google puede enviar señales confusas.  Debe eliminarse una versión menos precisa o menos óptima de la etiqueta.  En el siguiente ejemplo, puede ver que la página contiene 2 conjuntos de instrucciones en la página.  Esta es una gran preocupación cuando estas instrucciones son contradictorias.

Página con 2 instrucciones diferentes para robots en la página

Conclusión

Las instrucciones del robot son fundamentales para el SEO porque permiten a los webmasters administrar y ayudar con la indelebilidad de sus sitios web. El archivo Robots.txt y las instrucciones del robot en la página (también conocidas como metaetiquetas de robot) son dos formas de decirle a las herramientas de indexación del motor de búsqueda que indexen o ignoren las URL de su sitio web. Conocer las pautas para cada página de su sitio web le ayuda a usted y a Google a comprender la accesibilidad y la priorización del contenido de su sitio web. Como práctica recomendada, asegúrese de que su archivo Robots.txt y las instrucciones del robot en la página reciban las instrucciones adecuadas para dispositivos móviles y computadoras para Google y otras herramientas de indexación revisando regularmente las discrepancias.

  1. Lista completa de artículos técnicos sobre SEO:
  2. Cómo detectar y gestionar las solicitudes de viaje de regreso
  3. Cómo alinear los activos del sitio con los equipos de escritorio puede mejorar su SEO
  4. Cómo reconocer CSS o JavaScript no utilizado en una página
  5. Cómo optimizar las instrucciones robóticas para SEO técnico

Cómo usar mapas de sitios web para ayudar al SEO

Previous post Hablemos de PPC español
Next post Lista de las mejores herramientas de SEO para usar en 2021 [Free & Paid]

Deja una respuesta