Un Sitemap o mapa web es una lista de todas las páginas (URLs) de un sitio web y, su función es darle a los usuarios y motores de búsqueda un resumen de todo el contenido disponible en la página, así como la estructura general de la misma. Esto ayudará a entender (mejor) cómo está estructurada la página web.
Por regla general el rastreador de Google puede capturar contenido de forma fiable. Sin embargo, los Sitemaps ayudan a los motores de búsqueda a encontrar, rastrear y comprender mejor el contenido. Especialmente para sitios web muy grandes tiene sentido crear un Sitemap. Para los usuarios puede ser también una herramienta útil de orientación.
Diferencia entre Sitemap XML y Sitemap HTML
Con un Sitemap XML, que se dirige principalmente a los motores de búsqueda, se pueden encontrar mejor las páginas que el rastreador de Google podría pasar por alto en determinadas circunstancias. Esto puede ocurrir, por ejemplo, si el sitio web o las URLs correspondientes son muy nuevas o están anidadas muy profundamente dentro de la estructura de la página.
Crear un Sitemap XML no es complicado y debería ser proporcionado por cada propietario de sitio web para los motores de búsqueda.
Un Sitemap HTML también ayuda a los motores de búsqueda a rastrear el sitio web, pero es especialmente útil para los usuarios como herramienta de orientación y, por lo tanto, contribuye a la facilidad de uso (Usability) del sitio web.
Un Sitemap XML no garantiza la indexación de todas las URLs
Para una mejor comprensión hay que decir que un Sitemap es una ayuda para que el Google-Bot encuentre el contenido más fácilmente.
Sin embargo, la presencia de un Sitemap no garantiza que Google incluya en el índice todas las URLs del archivo del Sitemap.
Enviar un Sitemap no hace/ tiene como objetivo que todas las páginas de referencia sean indexadas. Piensa en un Sitemap como una vía para ayudar al Googlebot a encontrar tu contenido. Si las URLs no fueron incluidas en el Sitemap los rastreadores tendrán más dificultad para encontrarlas y, en consecuencia, serán indexadas más lentamente.
Otra cosa en la que debes estar atento es que los algoritmos pueden decidir no indexar ciertas URLs. Por ejemplo, si el contenido es superficial, puede que sea indexado completo o no ser indexado en absoluto.
Gary Illyes, Ingeniero de Google, Foro de Ayuda para Webmasters de Google
El algoritmo de Google para el rastreo e indexación de sitios web decide automáticamente si y qué URLs se indexan. Por ejemplo, si se considera que un contenido es de baja calidad o «pobre» es posible que la URL correspondiente no se incluya en el índice de Google. Ni siquiera un Sitemap cambiaría esta situación.
Lo que dice Google
Cuando las páginas de tu sitio están correctamente enlazadas, nuestros rastreadores web pueden capturar la mayor parte de tu sitio. Sin embargo, un sitemap puede ayudar a mejorar el rastreo de tu sitio.
Fuente: Guía-Search-Console
Aquí encuentras más información relevante sobre el tema de los Sitemaps: