Quelles sont les trois familles de robots d'IA ?
- Entraînement : collecte de pages publiques pouvant servir à entraîner les modèles.
- Recherche : exploration pour construire l'index que l'assistant interroge quand il cherche sur le web.
- Requête d'un utilisateur : visite ponctuelle d'une page parce qu'un utilisateur l'a demandée ou que sa question le nécessite.
OpenAI : quels robots ?
- GPTBot : entraînement des modèles.
- OAI-SearchBot : recherche dans ChatGPT ; c'est lui qui conditionne l'apparition dans les résultats de recherche de ChatGPT.
- ChatGPT-User : visite d'une page à la demande d'un utilisateur.
Anthropic : quels robots ?
- ClaudeBot : entraînement des modèles.
- Claude-SearchBot : recherche de Claude.
- Claude-User : visite d'une page à la demande d'un utilisateur.
Perplexity, Google, Microsoft, Apple : quels robots ?
- PerplexityBot : indexation pour les résultats de Perplexity.
- Perplexity-User : visite d'une page à la demande d'un utilisateur.
- Google-Extended : jeton de contrôle qui permet de refuser l'usage de vos pages pour les modèles Gemini ; il n'affecte ni Google Search ni l'indexation.
- Bingbot : robot de Bing, dont l'index sert aussi aux réponses web de Microsoft Copilot.
- Applebot-Extended : jeton qui permet de refuser l'usage de vos pages pour entraîner les modèles d'Apple, sans retirer le site des résultats d'Applebot.
Que se passe-t-il si on les bloque ?
Bloquer un robot d'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended) dit à l'éditeur de ne pas utiliser vos pages pour ses futurs modèles ; cela ne retire pas, en principe, votre site des réponses avec recherche web. Bloquer un robot de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) réduit fortement vos chances d'être cité dans ces moteurs. Bloquer Bingbot vous retire de Bing et donc des sources de Copilot. Gardez en tête que robots.txt est une consigne : les éditeurs cités déclarent la respecter, mais ce n'est pas une barrière technique.
Quelle configuration choisir pour une marque B2B ?
- Pour être cité : autoriser OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User et Bingbot.
- Pour l'entraînement : décider en connaissance de cause ; l'autoriser peut aider les modèles à connaître votre marque, le refuser protège vos contenus.
- Ne bloquer que les zones privées (compte client, panier, recherche interne), pas tout le site.
- Vérifier que le pare-feu ou le CDN ne bloque pas ces robots alors que robots.txt les autorise.
- Relire le fichier après chaque refonte : un « Disallow: / » oublié de la préproduction suffit à tout fermer.
Ce que fait Vandolo
Le site vandolo.com autorise les robots des IA dans son robots.txt et publie un llms.txt mis à jour automatiquement. Le module Santé du site contrôle la technique et l'indexation de vos pages, et le module GEO relève, sur les moteurs d'IA activés (la liste des moteurs réellement interrogés est affichée dans l'outil), si votre domaine est cité, si votre marque est nommée et quelles marques concurrentes le sont, avec des relevés historisés.
Sources de référence
- Documentation officielle d'OpenAI sur ses robots (GPTBot, OAI-SearchBot, ChatGPT-User).
- Documentation officielle d'Anthropic sur ses robots.
- Google Search Central : robots.txt et liste des robots Google, dont Google-Extended.
- Documentation Microsoft sur Bingbot ; documentation de Perplexity et d'Apple sur leurs robots.