#########################################################
# Fichier autorisant ou non la visite des robots de recherche Web
#########################################################
# Pour connaitre les visites d'un robot, le serveur
# doit supporter les User-agent
# Rem: Pour limiter les robots sans etre administrateur
# du serveur, utiliser dans la page HTML:
# <META NAME="ROBOTS" CONTENT="INDEX|NOINDEX,FOLLOW|NOFOLLOW">
#
# Nom des robots (* pour tous) et restrictions
#
#########################################################

User-agent: *
Disallow: /cgi-private
Disallow: /cgi-bin
Disallow: /private

User-agent: webcrawler
Disallow: /cgi-private
Disallow: /cgi-bin
Disallow: /private

User-agent: lycra
Disallow: /cgi-private
Disallow: /cgi-bin
Disallow: /private