Robots.txt

Le robots.txt est un fichier placé à la racine d'un site qui indique aux robots des moteurs quelles zones ils peuvent explorer.

C'est une consigne, pas une serrure. Les robots sérieux la respectent, les autres non. Ne jamais y compter pour protéger quoi que ce soit de confidentiel : une page vraiment privée doit être derrière une authentification.

Attention au contresens le plus courant : interdire l'exploration d'une page n'empêche pas forcément son apparition dans les résultats. Pour retirer une page des résultats, c'est une balise noindex qu'il faut, et le robot doit alors pouvoir lire la page pour la voir.