Archivo robots.txt virtual en el Optimizer

El archivo robots.txt para un dominio puede ser una forma efectiva de dirigir un rastreador a través de un dominio. Tristemente, muchos proyectos se incendian debido a simples solicitudes de cambio a este archivo, o las solicitudes demoran una eternidad en completarse.

Para solucionar este problema y para permitirle un control de rastreador mucho más preciso para tus propios proyectos, ahora puedes agregar un archivo robots.txt virtual para cada proyecto.

Simplemente ve a «Ajustes del projecto > Rastreo» y allí puedes seleccionar la opción «Archivo robots.txt virtual», si deseas definir su propio archivo robots.txt en lugar de usar el real para el proyecto.

Una vez que establezcas la marca de verificación, puedes escribir el contenido para el archivo robots.txt virtual. Puedes usar la misma sintaxis para el archivo virtual, como lo puedes hacer para uno real.

La próxima vez que se rastree tu proyecto, que puedes comenzar manualmente justo después de configurar el archivo robots.txt virtual, el sistema usará el contenido del archivo virtual en lugar de buscar el real.

Un ejemplo de uso para esta característica sería si deseas rastrear solamente unos pocos directorios específicos en tu proyecto.

29.01.2018