¿Cuándo tiene sentido utilizar los valores meta-robots, NoIndex y Follow juntos?

Los valores del Meta-Elemento «robots» solo son interpretados por los rastreadores de los motores de búsqueda. En la mayoría de los casos, los valores «Index» y «Follow» se utilizan para indicar al crawler que incluya la página en el índice y que siga los enlaces que se puedan encontrar.

Index & NoIndex

Esta especificación en el código fuente añade la página al índice y rastrea todos sus enlaces:

<meta name="robots" content="index, follow">

Si no quieres tener una URL específica en el índice de Google (o en el índice de otro motor de búsqueda), puedes establecer el valor del metaelemento «robots» en NoIndex.

La siguiente especificación en el código fuente no incluye el índice:

<meta name="robots" content="noindex">

¿Tiene sentido utilizar los valores NoIndex y Follow juntos?

Esto depende del objetivo que quieras lograr. ¿Qué puedes buscar con que quieras que una página no sea indexada por los motores de búsqueda pero al mismo tiempo querer que todos los enlaces de la página sean rastreados?

Matt Cutts nos dió un ejemplo excelente en uno de sus videos para webmasters de Google:

Supongamos que tienes un sitemap HTML con algunos cientos de enlaces internos, y por algún motivo este sitemap no es tan atractivo y por eso no es tan útil para un visitante. Entonces, a un usuario probablemente no le agradará aterrizar en esta página mediante los resultados de búsqueda. Con el fin de evitar lo dicho, asegurate de que los motores de búsqueda puedan seguir todos los enlaces de una página, y utiliza los valores NOINDEX y FOLLOW juntos.

Esta especificación en el código fuente no incluye el índice, pero rastrea todos los enlaces de la página:

<meta name="robots" content="noindex, follow">

Otra suposición pueden ser las páginas de etiquetas en blogs:

Existen casos en donde webmasters decretan que las páginas de etiqueta de sus blogs obtuvieron mejores clasificaciones que artículos correspondientes. Las páginas de etiquetas se posicionaron cerca de 2 a 3 lugares arriba de los artículos respectivos. Después que las páginas de etiquetas cambiaron a noindex y follow, las posiciones del artículo mejoraron entre estas 2 y 3 posiciones.

Lo que dice Google

No es común, pero hay algunas situaciones en las que se puede hacer eso.

Fuente: Matt Cutts

Conclusion

Por favor, considera cuidadosamente por qué quieres mantener una página fuera del índice y piensa primero en tus visitantes.