Tutoriales

< campo > ": " < valor >
¡El archivo de robots.txt se debe crear en modo del ender de la línea de Unix! La mayoría de los buenos editores de textos harán que un modo de Unix o su cliente del ftp * * haga la conversión para usted. No procure utilizar un redactor del HTML que no tenga específicamente un modo de texto para crear un archivo de robots.txt.

Usuario-agente
La línea del Usuario-agente especifica la robusteza. Por ejemplo:

Usuario-agente: googlebot
Usted puede también utilizar el charcter del comodín " * " para especificar todas las robustezas:

Usuario-agente: *
Usted puede encontrar nombres del agente del usuario en sus propios registros comprobando para saber si hay peticiones a robots.txt. La mayoría de los motores de búsqueda importantes tienen nombres cortos para sus arañas.
Rechace:
La segunda parte de un expediente consiste en rechaza: líneas directivas. Estas líneas especifican archivos y/o directorios. Por ejemplo, la línea siguiente manda a arañas que no pueda descargar email.htm:

Rechace: email.htm
Usted puede también especificar directorios:
Rechace: Cuál bloquearía arañas de su directorio del cgi-compartimiento.Hay una naturaleza del comodín a rechaza directorio. El estándar dicta que /sacudida rechaza /bob.html y /bob/indes.html (la sacudida y los archivos del archivo en el directorio de la sacudida no serán puestos en un índice).Si usted se va rechace el espacio en blanco de la línea, él indica que TODOS LOS archivos pueden ser recuperados. Por lo menos uno rechaza la línea debe estar presente para cada directorio del Usuario-agente estar correcto. Un archivo totalmente vacío de Robots.txt es igual como si no estuviera presente.
Espacio Y Comentarios Blancos
Cualquier línea en el robots.txt con el cual comienza # se considera ser un comentario solamente. El estándar permite comentarios en el extremo de líneas directivas, pero éste es estilo realmente malo:
Rechace: sacudida # comentario
Alguna araña no interpretará la línea antedicha correctamente y en lugar de otro no procurará rechaza el "bob#comment". La moraleja es poner comentarios en líneas por sí mismos.
El espacio blanco al principio de una línea se permite, pero no se recomienda.

Rechace: sacudida # comentario
Ejemplos
Lo que sigue permite que todas las robustezas visiten todos los archivos porque el comodín "*" especifica todas las robustezas.
Usuario-agente: * Rechace:
Éste guarda todas las robustezas hacia fuera.
Usuario-agente: * Rechace: El siguiente barra todas las robustezas de cgi-compartimiento y de los directorios de las imágenes: Usuario-agente: * Rechace: cgi-compartimiento/rechaza: Éste prohíbe Roverdog de todos los archivos en el servidor: Usuario-agente: Roverdog Rechaza: Éste prohíbe el googlebot de las subsistencias de conseguir en el archivo de cheese.htm: Usuario-agente: el googlebot rechaza: cheese.htm Por ejemplos más complejos, el intento que recupera algo del robots.txt archiva de los sitios grandes como el CNN, o de Looksmart.
Extensiones al estándar
Aunque ha habido extetions propuestos de los estándares tales como un control de la línea del permit o de la versión de la robusteza, no ha habido endoso formal por el grupo de funcionamiento estándar de la exclusión de las robustezas.