Vandolo
Tous les articlesRéférencement de site (SEO & GEO)

Robots des IA : lesquels autoriser dans votre robots.txt ?

8 min · 15 novembre 2026

Les éditeurs d'IA utilisent plusieurs robots aux rôles différents : certains collectent des pages pour entraîner les modèles, d'autres alimentent la recherche intégrée à l'assistant, d'autres encore ouvrent une page à la demande d'un utilisateur. Dans robots.txt, chacun se règle séparément. Une marque qui veut être citée par les IA a intérêt à autoriser au moins les robots de recherche et de requête utilisateur ; refuser l'entraînement est un choix distinct, qui ne retire pas des réponses avec recherche web.

Quelles sont les trois familles de robots d'IA ?

  • Entraînement : collecte de pages publiques pouvant servir à entraîner les modèles.
  • Recherche : exploration pour construire l'index que l'assistant interroge quand il cherche sur le web.
  • Requête d'un utilisateur : visite ponctuelle d'une page parce qu'un utilisateur l'a demandée ou que sa question le nécessite.

OpenAI : quels robots ?

  • GPTBot : entraînement des modèles.
  • OAI-SearchBot : recherche dans ChatGPT ; c'est lui qui conditionne l'apparition dans les résultats de recherche de ChatGPT.
  • ChatGPT-User : visite d'une page à la demande d'un utilisateur.

Anthropic : quels robots ?

  • ClaudeBot : entraînement des modèles.
  • Claude-SearchBot : recherche de Claude.
  • Claude-User : visite d'une page à la demande d'un utilisateur.

Perplexity, Google, Microsoft, Apple : quels robots ?

  • PerplexityBot : indexation pour les résultats de Perplexity.
  • Perplexity-User : visite d'une page à la demande d'un utilisateur.
  • Google-Extended : jeton de contrôle qui permet de refuser l'usage de vos pages pour les modèles Gemini ; il n'affecte ni Google Search ni l'indexation.
  • Bingbot : robot de Bing, dont l'index sert aussi aux réponses web de Microsoft Copilot.
  • Applebot-Extended : jeton qui permet de refuser l'usage de vos pages pour entraîner les modèles d'Apple, sans retirer le site des résultats d'Applebot.

Que se passe-t-il si on les bloque ?

Bloquer un robot d'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended) dit à l'éditeur de ne pas utiliser vos pages pour ses futurs modèles ; cela ne retire pas, en principe, votre site des réponses avec recherche web. Bloquer un robot de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) réduit fortement vos chances d'être cité dans ces moteurs. Bloquer Bingbot vous retire de Bing et donc des sources de Copilot. Gardez en tête que robots.txt est une consigne : les éditeurs cités déclarent la respecter, mais ce n'est pas une barrière technique.

Quelle configuration choisir pour une marque B2B ?

  • Pour être cité : autoriser OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User et Bingbot.
  • Pour l'entraînement : décider en connaissance de cause ; l'autoriser peut aider les modèles à connaître votre marque, le refuser protège vos contenus.
  • Ne bloquer que les zones privées (compte client, panier, recherche interne), pas tout le site.
  • Vérifier que le pare-feu ou le CDN ne bloque pas ces robots alors que robots.txt les autorise.
  • Relire le fichier après chaque refonte : un « Disallow: / » oublié de la préproduction suffit à tout fermer.

Ce que fait Vandolo

Le site vandolo.com autorise les robots des IA dans son robots.txt et publie un llms.txt mis à jour automatiquement. Le module Santé du site contrôle la technique et l'indexation de vos pages, et le module GEO relève, sur les moteurs d'IA activés (la liste des moteurs réellement interrogés est affichée dans l'outil), si votre domaine est cité, si votre marque est nommée et quelles marques concurrentes le sont, avec des relevés historisés.

Sources de référence

  • Documentation officielle d'OpenAI sur ses robots (GPTBot, OAI-SearchBot, ChatGPT-User).
  • Documentation officielle d'Anthropic sur ses robots.
  • Google Search Central : robots.txt et liste des robots Google, dont Google-Extended.
  • Documentation Microsoft sur Bingbot ; documentation de Perplexity et d'Apple sur leurs robots.

Questions fréquentes

Bloquer GPTBot retire-t-il mon site de ChatGPT ?

Pas des résultats de recherche de ChatGPT : ceux-ci dépendent d'OAI-SearchBot. GPTBot sert à l'entraînement. On peut bloquer GPTBot et autoriser OAI-SearchBot.

Google-Extended a-t-il un effet sur mon référencement Google ?

Non. Google indique que Google-Extended n'affecte ni l'inclusion dans Google Search ni le classement : il contrôle l'usage de vos pages pour ses modèles Gemini.

Faut-il autoriser tous les robots d'IA ?

Non, c'est un choix. Pour être cité, autorisez les robots de recherche et de requête utilisateur. Pour l'entraînement, décidez selon la valeur que vous accordez à vos contenus.

robots.txt empêche-t-il vraiment un robot d'accéder à mes pages ?

C'est une consigne, pas une protection technique. Les grands éditeurs déclarent la respecter ; pour un contenu vraiment privé, utilisez une authentification.

Quel robot compte pour Microsoft Copilot ?

Bingbot : Copilot s'appuie sur l'index de Bing pour ses réponses web. Le bloquer vous retire de Bing et donc des pages que Copilot peut citer.

Le module correspondant

Savoir si les IA citent votre marque

Vos requêtes posées aux moteurs de réponse : marque citée ou non, à quelle place, et les sources citées à votre place. Module Visibilité dans les IA, 59 € HT par mois.

À lire aussi

Référencement IA (GEO) : se faire citer par les moteurs de réponse
Référencement IA : comment structurer vos contenus pour être cité dans les réponses des moteurs génératifs, et comment mesurer cette présence.
Comment apparaître dans ChatGPT : le bon robot, les bonnes pages
Comment apparaître dans ChatGPT : quel robot d'OpenAI autoriser, ce qui rend une page citable, les fausses pistes, et comment vérifier votre présence.
Référencement Perplexity : comment être choisi comme source
Référencement Perplexity : le rôle de PerplexityBot et de Perplexity-User, les pages que le moteur peut citer, et comment suivre votre présence.
Référencement Gemini : comment l'IA de Google choisit ses sources, et ce qui dépend de vous
Référencement Gemini : comment l'IA de Google choisit ses sources, la différence avec AI Overviews, le rôle de Google-Extended et comment mesurer.
llms.txt : ce que ce fichier fait vraiment (et ce qu'il ne fait pas)
llms.txt est présenté comme le robots.txt des IA. Ce qu'il contient, comment le déposer, et pourquoi il ne faut pas en attendre un gain d'indexation.
AI Overviews : comprendre l'encadré IA de Google
Ce qu'est l'encadré généré par Google en haut des résultats, comment il choisit ses sources, et ce que vous pouvez réellement faire pour y figurer.
Audit GEO : la méthode pas à pas pour mesurer votre visibilité dans les IA
La méthode d'audit GEO à faire soi-même : choisir les questions de vos clients, interroger plusieurs IA, noter qui est cité, repérer les pages manquantes.