El archivo robots es aquel que ponemos en la raíz del servidor para indicarle a Google qué debe ver, qué no debe ver, qué debe indexar y qué no. Y todo esto podemos especificarlo, además, por bot (Googlebot, Googlebot Mobile, Yahoo, Bing, Slurp…). Es decir, podemos especificar qué ver e indexar por user-agent de la visita que estemos recibiendo.
Nutricion enteral y parenteral
El robots.txt es crítico para tener control sobre lo que se indexa o no
En este archivo es importante abrir todas aquellas URLs y extensiones de archivo que queramos que vean y/o indexen los bots, especialmente imágenes, CSS y JS. Digo especialmente, porque si Google no puede acceder a dichos archivos, no verá la página como un usuario final (con su maquetación e interacciones) y eso no es bueno.
Cursos de Sketchup
Lo mismo para las que no queramos que vea/indexe: página de carrito, login, recuperación de password…
Y para los parámetros que no deba seguir como filtros de ordenación, facetas…
¡Ah! y poner también la URL del sitemap, que acostumbramos a dejárnosla.