Comment Claude trouve-t-il les pages qu'il cite ?
Quand la recherche web est activée et que la question l'exige, Claude lance des recherches, lit les pages retenues et rédige une réponse en indiquant ses sources. Il peut aussi ouvrir une URL précise qu'un utilisateur lui donne. Dans les deux cas, la page doit être accessible au robot concerné et lisible sans difficulté : texte présent dans le HTML, pas de mur de connexion, pas de blocage par le pare-feu.
Quels sont les robots d'Anthropic ?
- ClaudeBot : collecte des contenus web publics pouvant servir à l'entraînement des modèles.
- Claude-SearchBot : explore le web pour améliorer la qualité des résultats de recherche de Claude.
- Claude-User : récupère une page quand un utilisateur pose une question qui le nécessite.
- Chacun se contrôle séparément dans robots.txt : on peut refuser l'entraînement tout en restant visible dans la recherche.
Que se passe-t-il si on bloque ces robots ?
Bloquer ClaudeBot indique à Anthropic de ne pas utiliser vos pages futures pour l'entraînement ; cela n'empêche pas, en soi, la recherche. Bloquer Claude-SearchBot réduit la visibilité de vos pages dans les réponses avec recherche web. Bloquer Claude-User empêche Claude d'ouvrir vos pages même quand un utilisateur le lui demande. Pour une marque qui veut être citée, la logique est de laisser passer au minimum Claude-SearchBot et Claude-User.
Qu'est-ce qui aide une page à être citée par Claude ?
- Une réponse autonome en tête de page, qui tient sans le reste de l'article.
- Des faits précis et sourcés plutôt que des affirmations générales.
- Des titres en questions, des listes et des définitions nettes.
- Un éditeur identifiable : qui écrit, qui publie, comment le joindre.
- Une page à jour, avec sa date de mise à jour visible.
- Être mentionné par d'autres sources crédibles, que les recherches font aussi remonter.
Le fichier llms.txt est-il nécessaire pour Claude ?
Non. Le fichier llms.txt est une proposition de convention pour résumer un site à l'intention des modèles de langage ; il ne remplace ni robots.txt ni l'indexation, et aucun éditeur ne s'est engagé à en tenir compte pour classer ou citer une page. Il peut être utile comme carte du site, mais les fondamentaux restent l'accès des robots et la qualité des pages.
Ce que fait Vandolo
Le site vandolo.com autorise les robots des IA dans son robots.txt et publie un llms.txt mis à jour automatiquement. Pour vos propres marques, le module GEO pose vos requêtes aux moteurs d'IA activés (la liste des moteurs réellement interrogés est affichée dans l'outil), relève si votre domaine est cité, si votre marque est nommée et quelles marques concurrentes le sont, historise les relevés et propose des actions. Le module Santé du site contrôle la technique et les balises de vos pages.
Sources de référence
- Documentation officielle d'Anthropic sur ses robots d'exploration et la recherche web de Claude.
- Google Search Central : introduction à robots.txt.
- Aggarwal et al., « GEO: Generative Engine Optimization ».