Un fichier minuscule, souvent mal compris : robots.txt ne protège rien, n'empêche pas l'indexation à coup sûr, et reste pourtant un outil utile quand on comprend ses vraies limites.
Placé à la racine du domaine (https://exemple.fr/robots.txt), ce fichier texte indique aux robots d'indexation quelles zones du site ils sont autorisés ou non à explorer, groupe par groupe de user-agent. Avant de crawler un site, un robot respectueux des standards (Googlebot, Bingbot...) télécharge et lit ce fichier en premier.
C'est la confusion la plus dangereuse : robots.txt est une simple déclaration d'intention, pas un mécanisme de contrôle d'accès. Rien n'empêche techniquement un robot malveillant — ou n'importe qui connaissant l'URL — d'ignorer ces règles et d'accéder directement au contenu "interdit". Pire : déclarer un chemin sensible dans Disallow révèle son existence à quiconque consulte ce fichier public, ce qui peut attirer l'attention plutôt que la détourner.
Pour protéger réellement une ressource, la seule solution fiable est une authentification côté serveur (mot de passe, jeton, contrôle d'accès) — jamais une simple ligne dans robots.txt.
Un autre piège fréquent : bloquer une page via Disallow empêche son exploration, mais pas nécessairement son apparition dans les résultats de recherche. Si d'autres pages pointent vers cette URL avec des liens, Google peut l'indexer quand même (sans en explorer le contenu, juste à partir du contexte des liens entrants) — affichant parfois un résultat de recherche sans description. Pour vraiment exclure une page de l'index, la balise <meta name="robots" content="noindex"> directement sur la page est l'outil approprié, pas robots.txt.
Ajouter une ligne Sitemap: https://exemple.fr/sitemap.xml dans robots.txt est une convention largement supportée qui aide les robots à découvrir rapidement où se trouve la liste complète des pages du site — robots.txt étant l'un des tout premiers fichiers consultés, c'est un emplacement logique pour cette information, en plus d'une soumission directe via Google Search Console.
Disallow: / sous User-agent: * laissé par erreur après une phase de développement — à vérifier systématiquement avant une mise en production.Disallow: /admin bloque aussi /administration par effet de bord, pas seulement le dossier /admin/ exact.Pas nécessairement — en l'absence de ce fichier, les robots considèrent généralement qu'ils sont libres d'explorer tout le site. Son absence évite simplement de bénéficier des avantages pratiques (déclaration du sitemap, exclusion ciblée de zones inutiles à indexer).
Les moteurs de recherche majeurs (Google, Bing) le respectent scrupuleusement, mais ce n'est qu'une convention — certains robots (scrapers malveillants, outils d'analyse moins scrupuleux) l'ignorent délibérément.
Oui, c'est tout l'intérêt des groupes User-agent distincts — par exemple autoriser Googlebot partout tout en bloquant un crawler IA spécifique, en créant un groupe séparé pour chacun.
Outils similaires