
Oui, robots.txt est le moyen standard d’indiquer aux crawlers IA s’ils peuvent indexer vos pages ou les utiliser pour l’entraînement, mais le respect de ces consignes reste volontaire. Utilisez des tokens nommés comme GPTBot pour bloquer les crawlers d’entraînement tout en laissant autorisés les tokens dédiés à la recherche si vous souhaitez encore que vos pages soient citées dans les résultats de recherche IA. Le fichier n’arrêtera pas physiquement un bot malveillant, mais chaque grand fournisseur d’IA le documente et le respecte.
En bref :
- Placez robots.txt à la racine du domaine, créez un fichier distinct pour chaque sous-domaine et respectez exactement la casse de User-agent et Disallow, car les noms de directive sont sensibles à la casse.
- OpenAI sépare son crawler de recherche de son crawler d’entraînement, ce qui vous permet d’autoriser les citations dans la recherche tout en bloquant l’entraînement ; les changements peuvent prendre environ 24 heures.
- Le contrôle de l’entraînement IA de Google n’affecte pas le crawl de recherche de Googlebot ; l’exclusion chez Anthropic nécessite des règles distinctes pour ses deux crawlers d’entraînement.
- Une page interdite ne peut pas exposer sa balise noindex aux crawlers ; utilisez donc des directives meta pour les pages HTML et des en-têtes HTTP pour les PDF et les images.
- Robots.txt ne peut pas protéger les contenus sensibles ni arrêter les bots non conformes ; utilisez une authentification pour les contenus privés et un blocage via CDN ou WAF si les requêtes persistent.
Extraits robots.txt à copier pour bloquer ou autoriser les crawlers IA
Un fichier robots.txt se place à la racine de votre domaine (yoursite.com/robots.txt), jamais dans un sous-dossier, et chaque sous-domaine doit avoir sa propre copie. Les noms de directives et les jetons user-agent sont sensibles à la casse, donc Disallow et User-agent doivent être écrits exactement comme indiqué, même si les chemins que vous listez peuvent varier selon la configuration du serveur.
Voici à quoi ressemble une configuration minimale qui bloque les robots d’exploration utilisés pour l’entraînement tout en préservant la visibilité dans les moteurs de recherche :
User-agent: GPTBotsuivi deDisallow: /pour refuser le robot d’exploration d’entraînement d’OpenAI.User-agent: OAI-SearchBotsuivi deAllow: /pour continuer à apparaître dans les résultats de recherche de ChatGPT.User-agent: *suivi deAllow: /afin que les robots d’exploration généraux, y compris les moteurs de recherche, conservent un accès complet.
Pour les sites qui veulent refuser totalement l’entraînement de l’IA, une liste de blocage de secours répète simplement Disallow: / sous chaque jeton d’entraînement nommé (GPTBot, Google-Extended, ClaudeBot et autres), tout en laissant le groupe générique ouvert aux moteurs de recherche. Un modèle prudent de type « ne rien bloquer » ignore complètement les groupes nommés et utilise seulement User-agent: * avec Allow: /, qui est l’état par défaut si vous n’ajoutez jamais de fichier robots.txt.
Gardez le fichier court. Search Engine Land recommande d’interdire uniquement les jetons d’entraînement spécifiques que vous voulez exclure, plutôt que d’essayer d’autoriser explicitement chaque robot d’exploration qui ne vous pose pas de problème, car les listes d’autorisation étendues sont plus difficiles à maintenir et plus susceptibles de provoquer par erreur un blocage de tout le site.

Conseil pro : Testez d’abord chaque nouvelle modification de robots.txt sur un sous-domaine de préproduction, car un caractère générique mal placé peut bloquer Googlebot par erreur en même temps que les robots d’exploration IA que vous vouliez exclure.
Fonctionnement des jetons user-agent et des règles de priorité
Le traitement de robots.txt suit des règles strictes, et se tromper est le moyen le plus simple de bloquer des moteurs de recherche par erreur. Selon RFC 9309, les jetons user-agent ne peuvent contenir que des lettres, des traits de soulignement et des tirets ; les caractères génériques à l’intérieur d’un nom de jeton lui-même sont donc invalides. Vous devez lister chaque robot d’exploration que vous voulez cibler par son nom exact, au lieu d’essayer de viser plusieurs robots à la fois avec un motif.
Quelques règles déterminent quel groupe et quelle règle s’appliquent réellement :
- Un groupe nommé comme
User-agent: GPTBota priorité sur le groupe génériqueUser-agent: *pour ce robot d’exploration précis. - Quand plusieurs
DisallowouAllowpeuvent correspondre à une URL, c’est le chemin correspondant le plus long qui l’emporte, quel que soit l’ordre d’apparition des règles dans le fichier. - Un
$final ancre une règle à la fin exacte d’un chemin, ce qui permet de bloquer un type de fichier précis sans affecter tout un répertoire.
Se tromper dans le nom du jeton, ne serait-ce que d’un caractère, signifie que le robot d’exploration se rabat simplement sur le groupe générique au lieu d’appliquer la règle prévue.
Entrées robots.txt propres aux fournisseurs à connaître
Chaque grand fournisseur d’IA publie ses propres jetons, et ils ne correspondent pas toujours directement à un seul robot. OpenAI utilise OAI-SearchBot pour l’indexation de recherche et GPTBot pour la collecte de données d’entraînement, et les deux sont contrôlés indépendamment : vous pouvez donc autoriser l’un et interdire l’autre. Les modifications apportées à l’une ou l’autre directive peuvent prendre environ 24 heures pour prendre effet, d’après la documentation d’OpenAI elle-même ; n’attendez donc pas un changement instantané du comportement d’exploration après avoir modifié votre fichier.
Google Google-Extended est un jeton de contrôle, pas un agent de requête HTTP distinct. Il détermine si les produits d’IA de Google peuvent utiliser votre contenu pour l’entraînement et les fonctionnalités génératives, tandis que Googlebot continue d’explorer pour la recherche selon ses propres règles.
User-agent: GPTBotavecDisallow: /permet de refuser l’entraînement d’OpenAI tout en laissantOAI-SearchBotinchangé.User-agent: Google-ExtendedavecDisallow: /permet de refuser l’utilisation par Google pour l’entraînement de son IA sans affecter l’indexation classique dans les moteurs de recherche.User-agent: anthropic-aietUser-agent: ClaudeBotcouvrent les robots d’exploration d’Anthropic, et les deux nécessitent généralement unDisallowsi vous voulez exclure l’entraînement.User-agent: Applebot-Extendedcontrôle l’utilisation pour l’entraînement de l’IA d’Apple séparément duApplebotutilisé pour Siri et Spotlight.- Pour les robots d’exploration de Perplexity, il est utile de prévoir aussi un contrôle d’accès en périphérie du réseau, car des rapports ont décrit des cas de non-respect où un robot continuait à récupérer des pages malgré une règle Disallow.
Combiner robots.txt avec des balises meta et le contrôle en périphérie
Robots.txt est une demande, pas un mur, et la documentation officielle de Google confirme que le respect de ces règles reste volontaire et non une mesure de sécurité contraignante. Les pages interdites peuvent quand même apparaître sous forme d’URL brutes dans les résultats de recherche et, comme une règle Disallow empêche complètement la récupération de la page, toute balise meta noindex placée sur cette page ne sera jamais lue.
C’est pourquoi il est important de combiner plusieurs couches. Les pages HTML peuvent inclure des directives meta noai ou noimageai pour des exclusions page par page, tandis que les ressources non HTML comme les PDF, images et flux nécessitent un en-tête X-Robots-Tag en-tête HTTP à la place, puisqu’il n’y a pas de corps de page pour contenir une balise meta.
- Utilisez robots.txt comme première couche pour les robots d’exploration bien comportés qui le lisent et le respectent.
- Ajoutez des balises meta ou des en-têtes
X-Robots-Tagpour un contrôle précis par page ou par type de fichier. - Tournez-vous vers l’authentification ou la protection par mot de passe lorsque le contenu est réellement sensible, car robots.txt n’a jamais été conçu comme une mesure de sécurité.
- Envisagez Bot Preference Sync de Cloudflare, qui peut ajouter des directives gérées à votre robots.txt existant et associer ces préférences à un blocage appliqué en périphérie par catégorie (Search, Agent, Training), afin que vos préférences déclarées et leur application réelle restent alignées.
Conseil pro : Si un robot ignore complètement votre robots.txt, l’application au niveau réseau de périphérie via votre CDN ou WAF est la seule couche qui bloque réellement la requête.
Tester et vérifier que vos directives fonctionnent
Confirmer qu’un robot respecte réellement votre robots.txt nécessite une courte liste de vérification plutôt que des suppositions.
- Vérifiez les journaux de votre serveur pour les requêtes vers
/robots.txtprovenant des user agents spécifiques des fournisseurs que vous ciblez, et confirmez qu’elles apparaissent avant toute exploration de chemins interdits. - Prévoyez le délai de propagation des mises à jour des fournisseurs. La documentation d’OpenAI indique que les changements peuvent prendre environ 24 heures à se propager ; vérifiez donc à nouveau après une journée complète plutôt qu’immédiatement.
- Utilisez un outil de récupération en direct ou un validateur, comme le vérificateur robots.txt de BabyLoveGrowth, pour confirmer que votre syntaxe est correctement interprétée et correspond à votre intention.
- Examinez les rapports de votre CDN ou WAF en parallèle de vos règles robots.txt afin d’identifier tout robot qui continue à récupérer des chemins bloqués malgré vos directives.
- Configurez une page de test ciblée avec une règle Disallow unique et surveillez si elle apparaît dans la sortie de ce fournisseur au cours des jours suivants.
Trouver l’équilibre entre visibilité liée à l’IA et refus de l’entraînement
Pour les sites ecommerce, la décision repose généralement sur trois facteurs : la part du chiffre d’affaires dépendant des recommandations pilotées par l’IA, la sensibilité de votre contenu produit et la fréquence des changements de votre catalogue. Si les citations issues de la recherche IA apportent un trafic significatif, autorisez les tokens de recherche et interdisez uniquement ceux liés à l’entraînement. Si vos descriptions, tarifs ou visuels peuvent facilement être récupérés et réutilisés ailleurs, bloquer les robots d’entraînement protège cet investissement. Les marchands qui privilégient la visibilité ont malgré tout besoin d’un moyen de mesurer si cela fonctionne, et c’est là qu’un outil d’optimisation dédié prend tout son sens.
— Xhurian
ecentic : mesurer et optimiser votre visibilité dans le shopping IA
Choisir d’autoriser les tokens de recherche ne représente que la moitié du travail. La vraie question est de savoir si des agents d’achat IA comme ChatGPT et Gemini recommandent réellement vos produits une fois qu’ils peuvent les voir. Nous avons créé ecentic pour répondre directement à cette question : nous nous connectons à votre boutique Shopify ou WooCommerce, simulons la manière dont les agents IA évaluent vos fiches produit et vous montrons précisément où vous gagnez ou perdez face à vos concurrents.

Si votre objectif est d’obtenir plus de trafic généré par l’IA plutôt que moins, l’optimisation est plus efficace que le blocage. Nous transformons nos diagnostics en suggestions de réécriture concrètes et les republions dans votre boutique en un clic, afin de réduire l’écart entre « visible par l’IA » et « recommandé par l’IA ».
- Lancez des analyses basées sur des simulations pour voir comment différents agents d’achat IA lisent vos fiches produit.
- Obtenez des recommandations concrètes et exploitables en langage clair, liées à des pages produit spécifiques plutôt qu’à des conseils SEO génériques.
- Publiez les corrections directement dans Shopify ou WooCommerce sans quitter votre tableau de bord.
Commencez par un scan produit gratuit pour voir où en sont vos fiches produit aujourd’hui.
FAQ
Est-il légal d’utiliser robots.txt pour bloquer les bots IA ?
Oui, publier un fichier robots.txt et y lister les tokens de robots d’exploration que vous choisissez d’interdire fait partie des pratiques standard et légales de gestion d’un site web dans le cadre du Robots Exclusion Protocol. Cela exprime simplement vos préférences d’exploration ; ce mécanisme n’a aucun pouvoir d’application juridique à lui seul. Associez-le donc à une authentification pour tout contenu qui nécessite une réelle protection.
Existe-t-il un chat ou un forum pour discuter du comportement des bots IA ?
Il n’existe pas de salon de discussion officiel unique géré par les fournisseurs d’IA pour les questions liées à robots.txt, mais chaque fournisseur publie sa propre documentation, comme la présentation des robots d’OpenAI et le guide robots.txt de Google, qui restent les sources les plus fiables pour confirmer le comportement actuel des tokens.
Robots.txt est-il encore utilisé et pertinent aujourd’hui ?
Robots.txt reste le principal moyen reconnu par les fournisseurs pour exprimer des préférences d’exploration, y compris pour les nouveaux bots de recherche et d’entraînement IA d’OpenAI, Google et Anthropic. Les grandes entreprises de l’IA continuent de documenter et mettre à jour les tokens pris en charge, ce qui explique pourquoi il s’agit encore du premier contrôle configuré par la plupart des propriétaires de sites.
Les bots représentent-ils la majorité du trafic Internet ?
Le trafic des bots, y compris les robots d’exploration de recherche et les agents IA, représente une part significative des requêtes reçues par la plupart des sites web, même si la proportion exacte varie fortement selon les sites et les secteurs. Vérifier les user agents des robots dans vos propres journaux serveur reste le moyen le plus fiable d’évaluer la part automatisée de votre trafic plutôt que de vous appuyer sur un chiffre global unique pour l’ensemble du secteur.
Bloquer GPTBot bloque-t-il aussi les résultats de recherche ChatGPT ?
Non, bloquer GPTBot permet uniquement de refuser la collecte de données pour l’entraînement et n’a aucun effet sur OAI-SearchBot, qu’OpenAI gère séparément pour l’indexation de recherche. Vous devez interdire OAI-SearchBot spécifiquement si vous voulez également exclure vos pages des résultats de recherche de ChatGPT.