¿Cómo puedo evitar que el Google-Bot rastree mi página web?

de_DEen_USfr_FRit_IT

Cualesquieran que sean tus razones para bloquear a Google de rastrear toda o partes de tu página web, puedes hacerlo dentro el archivo robots.txt.

Bloquear el Google-Bot utilizando el archivo robots.txt

robots.txt es un simple archivo de texto con el nombre “robots”. Tiene que ser colocado en la raíz del directorio de la página web para que los motores de búsqueda sigan las directrices.

Si una página web tiene un archivo robots.txt, puede ser accedido a través de la siguiente dirección:

http://www.mi-dominio.com/robots.txt

El contenido de robots.txt

Utilizando las siguientes instrucciones, exclusivamente le prohibimos el acceso al Google-Bot a toda nuestra página web:

Tienes que agregar lo siguiente a tu archivo robots.txt para indicarle al Google-Bot de que se aleje completamente de nuestro dominio:

User-Agent: Googlebot
Disallow: /

Si tan solo quieres restringir el acceso a algunos directorios o archivos en lugar de la página web completa, el archivo robots.txt debe contener lo siguiente:

User-Agent: Googlebot
Disallow: /a-directory/
Disallow: /one-file.pdf

El siguiente código solo le indicará a Google-Bot que tiene prohibido el acceso al directorio “a-directory” así como al archivo “one-file.pdf”:

User-Agent: Googlebot
Disallow: /a-directory/
Disallow: /one-file.pdf

Consejo

Los códigos usados aquí como ejemplo solo son para el Google-Bot. Rastreadores de otros motores de búsqueda, como Bing, no serán bloqueados.

Restringir el acceso a rastreadores específicos no garantiza que la página web o URL individuales (posiblemente) no aparezcan en los resultados de búsqueda (SERPs). Puedes encontrar más información adicional en nuestro artículo “¿Por qué un URL que está bloqueado a través de robots.txt aparece en los resultados de búsquedas?

Más información por parte de Google respecto al tema:

https://support.google.com/webmasters/answer/6062608?hl=es

Artículos relacionados