22 de julio de 2021
|
Contenido del Articulo
Robot.txt, instrucciones para robots en el sitio y su importancia en SEO
Indexar, indexar, generar y clasificar son los cuatro elementos básicos del SEO. Este artículo se centrará en cómo se pueden mejorar las instrucciones del robot para tener un impacto positivo en un sitio en SEO y ayudarlo a administrar las páginas de su sitio web que deben y no deben indexarse para una clasificación potencial en Google, según su estrategia comercial.
Google indexará e indexará tantas páginas del sitio web como pueda. Siempre que las páginas no estén detrás de la utilidad de inicio de sesión, Google intentará indexar todas las páginas que pueda encontrar, a menos que le haya dado instrucciones especiales al robot para evitarlo. Alojar un archivo robots.txt con instrucciones de indexación en la raíz de su dominio es una forma antigua de brindar orientación a los motores de búsqueda sobre lo que debe y no debe indexarse y clasificarse en un sitio web; Le dice al motor de búsqueda qué páginas, directorios y archivos deben indexarse o no para su clasificación potencial en Google u otros motores de búsqueda. Para la mayoría de la indexación, Google ve las instrucciones de robots.txt como una recomendación, no como un requisito (la principal advertencia aquí es que la nueva herramienta de indexación de Google, Duplex Bot, que se utiliza para buscar conversaciones, también se basa en el archivo robots.txt. en Search Console, si necesita bloquear su acceso.) Esto se discutirá en un artículo futuro. Comenzamos a considerar las instrucciones para robots en la fuente principal de la página para obtener pautas sobre indexación e indexación. Las instrucciones para robots en la página son códigos que pueden ser incluido en la etiqueta páginas para marcar las instrucciones de indexación para esa página. Todos los sitios web que no desee que Google indexe deben contener instrucciones especiales para robots en la página que reflejen o agreguen lo que podría estar incluido en el archivo robots.txt. Esta guía explica cómo bloquear de manera confiable páginas que de otro modo podrían estar indexadas y no detrás de un firewall o inicio de sesión, para que no se indexen y clasifiquen en Google.
Cómo optimizar las instrucciones robóticas para SEO
- Revise su archivo robots.txt actual: Puede encontrar el archivo robots.txt en la raíz del dominio, por ejemplo: https://www.example.com/robots.txt. Siempre debemos comenzar por verificar que los directorios bloqueados en robots.txt estén optimizados para SEO. A continuación, puede ver un ejemplo de un archivo robots.txt. En este archivo robots.txt sabemos que trata todas las herramientas de indexación porque dice User-Agent: *. Es posible que vea un archivo robots.txt que es específico del agente de usuario pero usa un asterisco
- Ejemplo de archivo Robots.txtRevise las instrucciones para los robots en la página. : Google ahora toma las instrucciones sobre robots en la página más como una regla que como una sugerencia. Las instrucciones sobre robots en una página solo afectan la página en la que se encuentran y tienen el potencial de limitar la indexación de las páginas a las que está vinculada la página. Se pueden encontrar en el código fuente de la página en la etiqueta. . Aquí hay ejemplos de instrucciones en la página. Nombre= ‘robots ‘contenido= ‘índice, seguir ‘/> En este ejemplo le decimos al motor de búsqueda que indexe la página y siga los enlaces en la página para que pueda encontrar otras páginas.
- Para realizar una evaluación exhaustiva de las instrucciones en la página, los webmasters deben indexar su sitio web dos veces: una como la herramienta de indexación de Google para teléfonos inteligentes o con un agente de usuario móvil, y una vez como Googlebot (para computadoras de escritorio) o con un agente de usuario de escritorio. Puede usar cualquier herramienta de indexación basada en la nube o alojada localmente (EX: ScreamingFrog, SiteBulb, DeepCrawl, Ryte, OnCrawl, etc.). La configuración del agente de usuario es parte de la configuración de indexación o, a veces, parte de la configuración avanzada en algunas herramientas de indexación. En Screaming Frog, simplemente use el menú desplegable Configuración en el sistema de navegación principal y haga clic en “Usuario-Agente” para ver la modalidad a continuación. Las herramientas de indexación tanto para dispositivos móviles como para computadoras de escritorio se destacan a continuación. Solo puede seleccionar uno a la vez, por lo que indexará una vez con cada agente de usuario (también conocido como: una vez como una herramienta de indexación móvil y una vez como un índice de trabajo).Revisión de páginas bloqueadas
- Google Search Console: indexado, aunque bloqueado por robots.txtCompare las instrucciones en la página Móvil y Escritorio :
- Compare la indexación para verificar que las instrucciones para los robots en la página coincidan entre dispositivos móviles y computadoras de escritorio:
- Si está utilizando Responsive Design, esto no debería ser un problema a menos que los elementos Head Tag se llenen dinámicamente con JavaScript o Tag Manager. A veces, esto puede introducir diferencias entre las vistas de la página de escritorio y móvil.
- Si su CMS crea dos versiones diferentes de la página de renderizado para dispositivos móviles y de escritorio, en lo que a veces se denomina ‘Diseño adaptable’, ‘Adaptativo-Responsivo’ o ‘Servicio selectivo’, es importante consultar las instrucciones del robot en la página que genera el coincidencia del sistema entre el móvil y una computadora de escritorio.
- Si la etiqueta JavaScript se modifica o inyecta alguna vez, debe asegurarse de que JavaScript no sobrescriba / elimine instrucciones en una u otra versión (s) de la página.
- Instrucciones para robots en la página vs Robots.txtCompare Robots.txt y las instrucciones del robot en la página
IdentificarFaltan las instrucciones del robot en la página
, en la etiqueta archivos HTML de origen. En este ejemplo, robots.txt bloquea la indexación de páginas, pero nos faltan las instrucciones de la página tanto para computadoras móviles como para computadoras de escritorio. Las instrucciones faltantes no serían una preocupación si quisiéramos indexar la página, pero en este caso es muy probable que Google indexe la página incluso si bloqueamos la página con un archivo Robots.txt.” width=”1463″ height=”452″/> - Bloqueado en el archivo Robots.txt sin instrucciones para robots en la páginaIdentificar instrucciones duplicadas para el robot en la página. :
Página con 2 instrucciones diferentes para robots en la página
Conclusión
Las instrucciones del robot son fundamentales para el SEO porque permiten a los webmasters administrar y ayudar con la indelebilidad de sus sitios web. El archivo Robots.txt y las instrucciones del robot en la página (también conocidas como metaetiquetas de robot) son dos formas de decirle a las herramientas de indexación del motor de búsqueda que indexen o ignoren las URL de su sitio web. Conocer las pautas para cada página de su sitio web le ayuda a usted y a Google a comprender la accesibilidad y la priorización del contenido de su sitio web. Como práctica recomendada, asegúrese de que su archivo Robots.txt y las instrucciones del robot en la página reciban las instrucciones adecuadas para dispositivos móviles y computadoras para Google y otras herramientas de indexación revisando regularmente las discrepancias.
- Lista completa de artículos técnicos sobre SEO:
- Cómo detectar y gestionar las solicitudes de viaje de regreso
- Cómo alinear los activos del sitio con los equipos de escritorio puede mejorar su SEO
- Cómo reconocer CSS o JavaScript no utilizado en una página
- Cómo optimizar las instrucciones robóticas para SEO técnico
Cómo usar mapas de sitios web para ayudar al SEO