¿Obtener noticias SEO directamente en tu bandeja de entrada?

Qué es User-Agent

El agente de usuario es enviado por el navegador a un servidor web con cada petición y se supone que muestra información sobre el sistema utilizado. Por lo tanto, por así decirlo, es la etiqueta que usa como «nombre» el navegador.

¿Qué es el Agente de Usuario?

El user-agent es un campo del protocolo HTTP que puede utilizarse para transmitir información más o menos detallada sobre el dispositivo de consulta que efectúa una petición de red.

Esto se hace a través de la cabecera HTTP y esta información puede utilizarse, por ejemplo, para entregar ciertos elementos sólo a aquellos navegadores que se sabe que son capaces de manejarlos.

¿Cuál es la composición de un User-Agent?

La sintaxis del user-agent es muy sencilla:

User-Agent: <Producto> / <Versión del producto> <Comentarios>

Pero si nos fijamos en un user agent estándar del smartphone de Google, por ejemplo, las cosas se ven diferentes:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Podemos desglosar este agente de usuario de la siguiente manera:

  • Mozilla– es el producto.
  • 5.0– es la versión del producto.
  • (Linux;– es el sistema operativo del dispositivo.
  • Android 6.0.1;– es la versión del sistema operativo.
  • Nexus 5X Build/MMB29P)– es el nombre de la compilación del sistema operativo.
  • AppleWebKit/537.36– es el motor de renderizado del navegador.
  • (KHTML, like Gecko)– el motor de renderizado basado en KHTML, que se comporta como Gecko.
  • Chrome/41.0.2272.96– es el navegador y su número de versión.
  • Mobile Safari/537.36– el navegador se comporta como Safari con el número de versión 537.36.
  • (compatible;– aquí comienza el comentario real, con la explicación de que el dispositivo de consulta es compatible con el navegador Mozilla.
  • Googlebot/2.1;– nombre y número de versión del rastreador.
  • +http://www.google.com/bot.html)– ¿dónde puedo obtener más información sobre este agente?

Si te preguntas por qué Googlebot, que es un navegador de Google Chrome, finge ser Mozilla, no estás solo. Hay una divertida «historia de la cadena de usuario-agente del navegador» en la que se recoge todo lo importante.

La conclusión es que casi todos los navegadores, por «razones», pretenden ser Mozilla. El valor <Producto> es por lo tanto irrelevante y los comentarios fueron mucho más largos.

¿Cómo utiliza la información el User-Agent del Servidor?

El servidor puede utilizar la información sobre el sistema solicitante para proporcionar a los usuarios una versión adecuada del sitio web. Por ejemplo, si el agente de usuario le dice al servidor que una petición viene de un teléfono Android con el navegador Chrome, el servidor puede reproducir la versión móvil de la página web solicitada si hay una versión móvil de la página disponible.

Con la ayuda del agente de usuario, el servidor también puede determinar si la versión de navegador utilizada sigue siendo actual. Por ejemplo, si se utiliza un navegador «antiguo» como Internet Explorer 6, el servidor puede responder y enviar una solicitud de actualización en lugar de la dirección web solicitada.

Finalmente, la información del agente de usuario puede ser recogida por los servidores web con fines estadísticos, por ejemplo.

Agentes de usuario y rastreadores

Los rastreadores también tienen un agente de usuario. Debido a que el user agent identifica a un bot como tal, los servidores web le otorgan «privilegios» especiales. Por ejemplo, el servidor web puede mover el Googlebot a través de una página de registro. Es muy importante no correr el riesgo de mostrar a los usuarios otros contenidos que los mostrados a Googlebot, puesto que se puede incurrir en cloaking.

Utilizando el archivo robots.txt (que también contiene el agente de usuario), el servidor web también puede pedir a los robots que no rastreen ciertas áreas de un sitio web.

¿Cómo puedo utilizar el User-Agent para SEO?

Sabiendo qué información utilizan los distintos rastreadores de Google, puedes configurar tu navegador para que envíe el mismo identificador, ya sea a través de un complemento del navegador o a través de la Consola de developers.

Por ejemplo, a menudo es posible comprobar si un sitio web ofrece un contenido diferente al de Googlebot que el que ofrece a los visitantes habituales.

Para hacerlo en la consola de Chrome, podemos simplemente acceder a la console a de chrome, o bien con un atajo:

Mac:        Command+Alt+C
Windows: Control+Shift+C

O bien con botón derecho e «Inspeccionar».

console chrome network conditions

Como se ve en la imagen, tan solo hay que:

1 Hacer clic en la configuración, representada por los 3 puntos

2 Hacer clic en More Options

3 Hacer clic en Network Options

Después de esto, tan solo debemos elegir qué user-agent queremos utilizar para navegar, añadiéndolo en el recuadro rojo.

cambiar user-agent en consola chrome

Esto sólo funciona mientras el servidor no lleve a cabo una comprobación interna para ver si un agente de usuario que afirma ser un Googlebot proviene realmente de una IP de Google.

Lista de User-Agent útiles para SEO?

Los principales user-agents más usados en entornos SEO se muestran en las siguientes tablas, indicando a qué corresponde y qué registro quedará en las cabeceras de las peticiones, algo que se puede revisar analizando los logs del servidor:

User-agent relacionados con Google

RastreadorToken User-AgentUser-Agent completo
Robot de Google para Imágenes- Googlebot-Image
- Googlebot
Googlebot-Image/1.0
Robot de Google para Noticias- Googlebot-News
- Googlebot
Googlebot-News
Robot de Google para Vídeo- Googlebot-Video
- Googlebot
Googlebot-Video/1.0
Robot de Google (Ordenadores)Googlebot- Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

o bien (se utiliza con poca frecuencia)

- Googlebot/2.1 (+http://www.google.com/bot.html)
Robot de Google (smartphones)GooglebotMozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Robot de Google (smartphones) ***GooglebotMozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Aplicaciones móviles para AndroidAdsBot-Google-Mobile-AppsAdsBot-Google-Mobile-Apps

Sobre el User-Agent de Smartphones *: a patir de Diciembre de 2019 se irá actualizando la versión del navegador de Chrome, por lo que las letras X.Y.Z. se sustituirán por las versiones que esté usando Chrome (más información oficial aquí).

Otros User-agent a tener en cuenta

Existen otros user-agent que pueden ser relevantes en proyectos SEO y también respecto a economizar el ancho de banda de los proyectos web, por lo que requieren de monitorización y optimización.

RastreadorToken User-AgentUser-Agent completo
PinterestPinterestbotPinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
LinkedinLinkedInBotLinkedInBot/1.0 (compatible; Mozilla/5.0; Jakarta Commons-HttpClient/3.1 +http://www.linkedin.com)
Bingbingbot- Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
- Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
- Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Yandex*YandexBotMozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Wayback Machinearchive.org_botMozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot)

Sobre el User-Agent de Yandex *: existen muchas otras cadenas que se identifican como YandexBot y que pueden ser válidas (más información oficial aquí).

Artículos relacionados