Référencement
Robots.txt
Le sens, l’usage et les repères pour votre projet
Pour comprendre
C'est une consigne, pas une serrure. Les robots sérieux la respectent, les autres non. Ne jamais y compter pour protéger quoi que ce soit de confidentiel : une page vraiment privée doit être derrière une authentification.
Attention au contresens le plus courant : interdire l'exploration d'une page n'empêche pas forcément son apparition dans les résultats. Pour retirer une page des résultats, c'est une balise noindex qu'il faut, et le robot doit alors pouvoir lire la page pour la voir.
Les termes liés
À votre tour
Et si le prochain projet,
c’était le vôtre ?
Imaginons votre site
Votre maquette à 0 €, sans engagement.