Robots.txt es un
archivo de los muchos que hay en
el software que gestiona nuestro
servidor (ubicado por ejemplo en
http://www.tu dominio.com/robots.txt).
Identifica a los robots, y les indica
qué pueden o no visitar del
árbol de tu directorio de
ficheros.
También es recomendable ayudarse
de los metatags, que pueden indicar
si el robot puede indexar y/o seguir
visitando ese directorio, o cada
cuánto la página hace
un "refresh", informando
al robot buscador (en el caso de
google, googlebot) de tu periodicidad
de inclusión de contenido
novedoso.
Ojito con eso, porque si le ponemos
un refresh muy rápido, puede
ser que a los buscadores no les
guste, y te penalizen, bien bajándote
en los puestos de ránking,
bien incluso eliminándote
de su base de datos.
Ahí va un poco de información
para los que quieran controlar al
detalle cómo visitan los
robots nuestro sitio web, no sólo
google, todos; si vamos a enseñarles
todo nuestro contenido, o hay apartados
privados (sobre todo para extranets
de portales corporativas) que no
queremos que sean indexados por
los robots. Hablan exactamente de
cómo funciona el protocolo
de exclusión de robots (Standard
for Robot Exclusion), y el fichero
robots.txt. Espero que sirva:
(Este articulo pertenece y ha sido cedido por Trucos
de Google -
trucosdegoogle@terra.es )
.
Top Secciones de descargas
