Alguien sabe como se crea ese archivo para que lo lean los robots? y lo de que debe ir dentro?

gracias.

Si te hubieras molestado en bucar en Google antes de preguntar, habrías encontrado algo como esto, por ejemplo.

Recuerda siempre... Google conoce la respuesta.

Gracias por el enlace, es verdad mire poco, por si alguien tiene la misma pregunta que yo, dejo unos ejemplos sacados de esa pagina.



Ejemplos:

User-agent: *
Disallow :

El asterisco * significa TODOS LOS ROBOTS. En este caso no hay ninguna regla especial, así que este fichero no restringe el acceso a ninguna página ni a ningún robot. Implica acceso total.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /borrador/

Todos los robots tienen restringido el acceso a los directorios /cgi-bin, al /tmp o / borrador .