Robots.txt et IA : quels robots autoriser, lesquels bloquer

Régler son robots.txt pour les robots IA revient à distinguer les robots de recherche des robots d’entraînement. OpenAI, Anthropic et Perplexity ont chacun un robot qui trouve des pages pour les réponses de leur assistant, et OpenAI comme Anthropic en ont un second qui collecte des pages pour entraîner leurs futurs modèles. Laissez entrer les premiers, et ChatGPT, Claude ou Perplexity peuvent citer vos pages ; bloquez-les, et vous risquez de disparaître de leurs réponses. Bloquer les seconds est une autre décision, sans effet sur la recherche.

Le piège : beaucoup de sites bloquent les robots IA à l’insu de leur propriétaire, à cause d’un réglage Cloudflare activé par défaut, d’une case cochée dans un outil de création de site ou d’une extension.

Ce tutoriel fait partie de mon guide complet du référencement IA.

Ce que fait le fichier robots.txt, et ce qu’il ne fait pas

Le robots.txt est un fichier texte placé à la racine d’un site (votredomaine.fr/robots.txt) qui indique aux robots d’exploration les parties du site qu’ils peuvent visiter. Chaque groupe de règles commence par une ou plusieurs lignes User-agent qui nomment les robots concernés, suivies de lignes Disallow (interdire) et Allow (autoriser). L’astérisque * désigne tous les robots non nommés ailleurs.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.votredomaine.fr/sitemap.xml

Ce fichier demande à GPTBot de ne pas explorer le site et laisse entrer tous les autres robots. La ligne Sitemap donne l’adresse de votre plan de site.

Trois pièges classiques :

• Un robot qui a son propre groupe ignore le groupe *. Si vous écrivez un groupe pour GPTBot, les règles placées sous User-agent: * ne s’appliquent plus à lui : recopiez-y celles qu’il doit suivre.
• Chaque domaine et sous-domaine a besoin de son propre fichier. Le robots.txt de www.votredomaine.fr ne couvre pas boutique.votredomaine.fr.
• C’est une demande, pas un verrou. Les robots sérieux la respectent, mais rien ne les y oblige : en août 2025, Cloudflare a accusé Perplexity de contourner des blocages avec des robots non déclarés, ce que Perplexity conteste. Et le fichier est public : n’y listez jamais de dossiers privés.

Le robots.txt contrôle l’exploration, pas l’indexation. Bloquer Googlebot par erreur est une cause classique de site invisible sur Google, et mon guide pour référencer son site sur Google passe en revue les autres. Ne le confondez pas non plus avec le llms.txt : ce fichier plus récent résume votre site pour les outils d’IA mais n’ouvre ni ne ferme aucune porte (voir mon guide sur le fichier llms.txt).

Recherche, entraînement, demandes d’utilisateurs : les trois familles de robots IA

La plupart des entreprises d’IA séparent leurs robots selon leur rôle :

• Les robots de recherche construisent l’index où l’assistant cherche quand il répond. Bloquez-en un, et vos pages peuvent disparaître de ses réponses.
• Les robots d’entraînement collectent des pages pour entraîner les futurs modèles. Bloquez-en un, et vos pages sortent des prochains entraînements, sans effet sur la recherche.
• Les robots à la demande ouvrent une page quand quelqu’un le demande à l’assistant, par exemple en collant un lien dans la conversation.

OpenAI : OAI-SearchBot, GPTBot et ChatGPT-User

La documentation d’OpenAI sur ses robots est la plus claire de toutes. OAI-SearchBot décide si vos pages peuvent apparaître dans la recherche ChatGPT : selon OpenAI, un site qui le bloque en est exclu, hormis de simples liens de navigation. GPTBot collecte des pages qui peuvent servir à entraîner les modèles d’OpenAI.

ChatGPT-User visite une page quand la demande d’un utilisateur l’exige. Depuis décembre 2025, OpenAI précise que, ces visites étant déclenchées par un utilisateur, le robots.txt peut ne pas s’appliquer, et que ChatGPT-User ne sert pas à décider de ce qui apparaît dans la recherche. Autre condition pour la recherche : votre hébergeur ou votre CDN doit accepter le trafic des adresses IP publiées par OpenAI pour OAI-SearchBot.

Anthropic : Claude-SearchBot, ClaudeBot et Claude-User

Anthropic reprend les trois mêmes rôles sous ses propres noms, selon son article d’aide sur l’exploration du web (en anglais). Ses trois robots respectent le robots.txt, et bloquer Claude-SearchBot ou Claude-User peut, selon Anthropic, réduire la visibilité de votre site dans les réponses de Claude.

Perplexity : PerplexityBot et Perplexity-User

PerplexityBot construit l’index derrière les réponses de Perplexity, qui précise qu’il ne sert pas à entraîner des modèles d’IA (page de Perplexity sur ses robots, en anglais). Perplexity-User récupère des pages à la demande d’un utilisateur et, pour cette raison, ignore généralement le robots.txt, selon Perplexity.

Google : Googlebot et Google-Extended

Chez Google, les Aperçus IA et le Mode IA, arrivés en France le 22 juillet 2026, puisent dans l’index de recherche habituel, celui de Googlebot : bloquer Googlebot vous retire de Google tout entier. Google-Extended n’est pas un robot mais un jeton à nommer dans le robots.txt. Il détermine si Google peut utiliser vos contenus pour entraîner ses modèles Gemini et pour étayer les réponses de l’application Gemini et de Vertex AI, sans aucun effet sur la recherche Google, Aperçus IA compris. Pour sortir des Aperçus IA et du Mode IA, l’outil est le réglage IA générative dans la Recherche de la Search Console (il n’est peut-être pas encore arrivé sur votre propriété), présenté dans mon guide sur les Aperçus IA et le Mode IA de Google.

Les autres noms que vous croiserez

Parmi les dizaines d’autres noms, quatre méritent d’être connus :

• Bingbot explore le web pour Bing, et Bing Webmaster Tools signale quand Copilot, l’assistant de Microsoft, cite vos pages. Traitez-le comme Googlebot.
• CCBot appartient à Common Crawl, un organisme sans but lucratif dont l’archive ouverte du web alimente de nombreux jeux de données d’entraînement. Il respecte le robots.txt.
• Applebot-Extended est un jeton, comme Google-Extended : le bloquer demande que vos pages ne servent pas à entraîner les modèles d’Apple, tandis qu’Applebot continue d’explorer le web pour Siri et Spotlight.
• Meta-ExternalAgent sert notamment à l’entraînement des modèles d’IA de Meta. Ne le confondez pas avec facebookexternalhit, qui fabrique l’aperçu d’un lien partagé sur Facebook : bloquez celui-là, et vos liens partagés perdent leur image et leur titre.

Quels robots IA une petite entreprise doit-elle autoriser ?

Pour presque toutes les petites entreprises, ma réponse est : tous, car les assistants IA sont devenus un endroit de plus où vos clients cherchent. Voici comment je tranche :

1. Robots de recherche : autorisés. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et Bingbot permettent aux assistants et aux moteurs de recherche de vous trouver. En bloquer un revient à retirer votre numéro d’un annuaire que vos clients consultent encore.
2. Robots à la demande : autorisés. Ils ne viennent que lorsque quelqu’un s’intéresse à vous ou colle votre lien : exactement la personne que vous voulez toucher.
3. Robots d’entraînement : à vous de voir. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot et Meta-ExternalAgent alimentent les futurs modèles. Mon propre site les laisse entrer. L’argument pour faire de même : ce qu’un modèle a appris à l’entraînement fait partie de ce qu’il sait d’une entreprise quand il répond sans chercher. Les refuser est un choix défendable si vos contenus sont ce que vous vendez : le portfolio d’un photographe, les dessins d’une illustratrice, des articles payants ou une formation en ligne.

Le robots.txt n’est qu’une première étape : pour le reste (des pages de services claires, des mentions sur d’autres sites), lisez mon guide pour apparaître dans ChatGPT.

Robots.txt IA : trois fichiers prêts à copier

Remplacez votredomaine.fr par votre domaine, et ne gardez la ligne Sitemap que si cette adresse ouvre bien votre plan de site.

Fichier 1 : ouvert à tous les robots (mon choix)

User-agent: *
Allow: /

Sitemap: https://www.votredomaine.fr/sitemap.xml

À l’adresse près, c’est le fichier de mlkwebstudio.com : tous les robots sont les bienvenus, IA ou non.

Fichier 2 : recherche IA autorisée, entraînement refusé

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.votredomaine.fr/sitemap.xml

Le premier groupe refuse les robots et jetons d’entraînement (plusieurs lignes User-agent peuvent partager les mêmes règles) ; le groupe * laisse entrer tous les autres. ChatGPT, Claude et Perplexity peuvent donc toujours vous citer, et vos pages restent en dehors des futurs entraînements, du moins chez les entreprises qui respectent le fichier. Un compromis à connaître : refuser Google-Extended prive aussi l’application Gemini de vos pages pour étayer ses réponses. Si Gemini compte pour vos clients, supprimez cette ligne.

Fichier 3 : tous les robots IA refusés

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.votredomaine.fr/sitemap.xml

Pesez le coût avant de l’utiliser : vous sortez en grande partie des réponses de ChatGPT, Claude et Perplexity, alors que les Aperçus IA de Google, qui dépendent de Googlebot, peuvent toujours vous afficher. Et ChatGPT-User comme Perplexity-User peuvent continuer à venir à la demande d’un utilisateur, le robots.txt pouvant ne pas s’appliquer à eux selon leurs éditeurs.

Vérifier et modifier votre robots.txt, étape par étape

Étape 1 : lire le fichier actuel

Ouvrez votredomaine.fr/robots.txt dans une fenêtre de navigation privée et cherchez trois choses :

1. Disallow: / sous User-agent: *, qui ferme la porte à tous les robots.
2. Un robot de recherche (OAI-SearchBot, Claude-SearchBot ou PerplexityBot) suivi de Disallow: /.
3. Des lignes que vous n’avez pas écrites, comme une liste de robots IA ajoutée par votre plateforme, une extension ou Cloudflare. Un nom seul ne bloque rien : c’est la ligne Disallow placée dessous qui compte.

Une erreur « page introuvable » (404) signifie qu’il n’y a pas de fichier : rien n’est bloqué. Une erreur serveur (500 ou 503) est plus grave, car Google considère alors tout le site comme temporairement bloqué : demandez à votre hébergeur de la corriger.

Étape 2 : sur Squarespace, vérifier le panneau des robots d’exploration

Squarespace écrit le fichier pour vous et ne vous laisse pas le modifier. Vous contrôlez en revanche le panneau des robots d’exploration, dans les Paramètres (Crawlers dans l’interface en anglais) :

• L’option de blocage des robots d’intelligence artificielle connus (« Block known artificial intelligence crawlers ») demande aux robots IA de la liste de Squarespace de rester à l’écart. Désactivée par défaut, elle ne permet pas de choisir les robots concernés : laissez-la désactivée si vous voulez que les assistants IA vous citent.
• L’option de blocage des moteurs de recherche (« Block search engine crawlers ») ferme aussi la porte à Google : ne l’activez jamais sur un site qui doit attirer des clients.

Je mets sur Squarespace les clients qui gèrent eux-mêmes leur site, parce qu’ils peuvent le modifier quand ils le veulent sans tout casser. Revers de la médaille : toute personne qui a accès au site peut cocher cette case, alors jetez-y un œil de temps en temps. Mon tutoriel de référencement Squarespace liste les autres réglages à vérifier.

Étape 3 : sur WordPress, trouver ce qui écrit le fichier

WordPress sert un robots.txt minimal tant qu’aucun vrai fichier n’est déposé à la racine du site, et les extensions SEO comme Yoast SEO proposent un éditeur pour le modifier. Les extensions de sécurité et les « bloqueurs d’IA » peuvent aussi ajouter leurs règles : si le fichier contient des lignes que vous n’avez pas écrites, regardez d’abord vos extensions. Plus il y en a, plus un réglage a d’endroits où se cacher, et c’est une des raisons pour lesquelles j’oriente les personnes qui gèrent elles-mêmes leur site vers des plateformes plus simples.

Étape 4 : sur un site codé à la main, un hébergement mutualisé ou Hugo

Enregistrez un fichier texte nommé robots.txt à la racine du dossier que vous publiez, à côté de index.html. Chez un hébergeur mutualisé comme o2switch ou OVHcloud, déposez-le avec le gestionnaire de fichiers ou en FTP dans le dossier racine du site, souvent public_html ou www. Sur Hugo, qui fait tourner ce site, ajoutez enableRobotsTXT = true dans la configuration et écrivez vos règles dans un modèle layouts/robots.txt. Terminez-le par Sitemap: {{ "sitemap.xml" | absURL }}, comme sur ce site, et Hugo écrira l’adresse complète du plan de site à chaque génération.

Étape 5 : sur Cloudflare, vérifier les réglages des robots IA

Si votre site passe par le proxy de Cloudflare (le nuage orange dans ses réglages DNS), Cloudflare peut bloquer les robots IA avant même qu’ils lisent votre robots.txt. Depuis le 1er juillet 2025, Cloudflare bloque par défaut les robots d’IA connus sur les domaines nouvellement ajoutés (il pose la question à l’ajout), et un site plus ancien a pu activer ce blocage en un clic.

Ouvrez votre domaine dans le tableau de bord Cloudflare et allez dans AI Crawl Control. Cette section montre quels robots IA visitent votre site, à quelle fréquence et s’ils respectent votre robots.txt, et permet d’autoriser ou de bloquer chacun d’eux (documentation de Cloudflare, en anglais). Vérifiez qu’OAI-SearchBot, Claude-SearchBot et PerplexityBot sont autorisés.

Si vous activez l’option de robots.txt géré (managed robots.txt), Cloudflare ajoute à votre fichier des règles qui demandent aux robots IA connus de rester à l’écart, et un signal de contenu comme Content-Signal: search=yes, ai-train=no : vos pages peuvent servir à la recherche, pas à l’entraînement. Là encore, ce sont des demandes.

Étape 6 : vérifier que votre texte figure dans le HTML

GPTBot, ClaudeBot et PerplexityBot n’exécutent pas le JavaScript, contrairement à Googlebot : un texte qui n’apparaît qu’après le chargement des scripts peut leur sembler vide. Sur une de vos pages, faites un clic droit et choisissez Afficher le code source de la page (Ctrl+U sous Windows) : si vos services, vos villes et votre numéro de téléphone n’y figurent pas, les robots IA ne peuvent probablement pas les lire.

Tester votre robots.txt après une modification

1. Rechargez votredomaine.fr/robots.txt dans une fenêtre privée pour vérifier que la nouvelle version est en ligne : les plateformes et les CDN servent parfois l’ancienne un moment.
2. Dans la Search Console, ouvrez Paramètres, puis le rapport robots.txt. Il affiche la version que Google a récupérée en dernier et signale les erreurs.
3. Testez votre page d’accueil et une page de service avec l’outil Inspection de l’URL, puis cliquez sur Tester l’URL en direct : le résultat indique si Googlebot a le droit de les explorer.
4. Sur Cloudflare, revenez dans AI Crawl Control quelques jours plus tard pour voir quels robots IA sont passés.

Les journaux du serveur, si votre hébergeur y donne accès, le montrent aussi : chaque visite porte le nom du robot dans son user-agent.

Votre vérification des robots IA en 15 minutes

1. Ouvrez votredomaine.fr/robots.txt et cherchez Disallow: / sous User-agent: * ou sous un robot de recherche.
2. Tranchez pour les robots d’entraînement : les autoriser (fichier 1) ou les refuser (fichier 2).
3. Sur Squarespace, vérifiez que le blocage des robots d’intelligence artificielle est désactivé.
4. Sur Cloudflare, vérifiez dans AI Crawl Control qu’OAI-SearchBot, Claude-SearchBot et PerplexityBot sont autorisés.
5. Vérifiez que le texte important figure dans le code source de vos pages principales.
6. Un jour ou deux plus tard, consultez le rapport robots.txt de la Search Console.

Vous n’avez besoin de personne pour ce travail, pas même de moi : c’est un quart d’heure, et c’est gratuit. Si le fichier est géré par un développeur que vous ne pouvez plus joindre, ou par un compte Cloudflare dont plus personne n’a le mot de passe, c’est le genre de correction technique que prend en charge mon accompagnement SEO.