Optimisation du fichier robots.txt pour le SEO

Règle simple : robots.txt = gérer le crawl. Pour empêcher l’indexation, on utilise plutôt noindex (ou un contrôle d’accès), pas robots.txt.

1) Les bases : où se trouve robots.txt et comment il fonctionne

• Le fichier est accessible à la racine : https://votredomaine.com/robots.txt
• Il contient des règles par robot via User-agent
• Les règles principales : Disallow (bloquer), Allow (autoriser une sous-partie)
• Vous pouvez déclarer le sitemap : Sitemap:

2) Directives robots.txt utiles (et à éviter)

✅ Recommandé

• Déclarer le sitemap (simple, clair, utile)
• Limiter l’exploration de pages “sans valeur SEO” (filtres, tri, paramètres inutiles)
• Bloquer les zones d’admin (ex : /wp-admin/) tout en laissant admin-ajax.php

⚠️ À éviter

• Bloquer CSS/JS (Google doit pouvoir rendre la page)
• Bloquer des pages business (catégories, services, produits) “par erreur”
• Utiliser robots.txt pour “cacher” des infos sensibles (mauvaise approche)

3) Exemples robots.txt prêts à copier

A) WordPress (standard propre)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://theusrcompany.com/sitemap.xml

B) E-commerce : limiter filtres/paramètres (à adapter)

Objectif : éviter le crawl massif de pages de tri/filtre qui n’apportent pas de valeur (ou qui dupliquent). À adapter selon votre CMS et vos URLs.

User-agent: *
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?price=
Disallow: /*?color=
Disallow: /*&sort=
Disallow: /*&filter=

Sitemap: https://theusrcompany.com/sitemap.xml

C) Préprod / staging : empêcher l’exploration

Attention : pour une préprod, le mieux reste un mot de passe (auth), pas uniquement robots.txt.

User-agent: *
Disallow: /

4) Robots.txt et crawl budget : quand ça compte vraiment

• Sites avec beaucoup d’URLs (e-commerce, annonces, médias) : robots.txt aide à prioriser.
• Sites avec paramètres, facettes, pagination mal gérée : robots.txt peut limiter l’explosion d’URLs.
• Sites “petits” : l’impact existe, mais les priorités restent souvent l’indexation, le contenu, et le maillage.

5) Erreurs courantes qui font mal

1. Bloquer /wp-content/ (CSS/JS/images) → rendu incomplet, signaux dégradés.
2. Bloquer une section puis tenter de la “forcer” indexée → contradiction.
3. Disallow trop large (ex : Disallow: /*?) → bloque aussi des pages utiles.
4. Oublier le sitemap ou pointer un sitemap inexistant/obsolète.

Checklist rapide (avant mise en prod)

• Le fichier est accessible en /robots.txt (HTTP 200).
• Le sitemap déclaré est valide et accessible (HTTP 200).
• Aucune ressource critique (CSS/JS) n’est bloquée.
• Les pages business ne sont pas bloquées par inadvertance.
• Les filtres/paramètres inutiles sont limités (si volume important).

Conclusion

Robots.txt est un outil de pilotage du crawl. L’objectif : aider les bots à passer plus de temps sur ce qui compte (pages stratégiques), et moins sur ce qui dilue (filtres/paramètres/sections inutiles). Une optimisation propre évite les erreurs de blocage et améliore la stabilité SEO.