Robots qui citent, robots qui entraînent : lesquels bloquer

La question n’est pas « faut-il bloquer les IA ». Elle est « lesquelles, et qu’est-ce que je perds ».

---

## Deux familles, deux conséquences

Ceux qui citent — OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot. Ils vont chercher ta page au moment où quelqu’un pose une question, et te citent avec un lien. Les bloquer, c’est disparaître des réponses aujourd’hui.

Ceux qui entraînent — GPTBot, ClaudeBot, Google-Extended, CCBot, meta-externalagent, Applebot-Extended. Ils moissonnent pour les corpus d’entraînement. Les bloquer, c’est ne pas figurer dans les prochains modèles — un effet lent, et un arbitrage parfaitement défendable.

Ce n’est pas le même calendrier, pas la même perte, pas la même décision.

---

## Le piège Cloudflare

Si tu es derrière Cloudflare et que tu as activé « bloquer les robots d’IA », Cloudflare insère son propre bloc devant ton robots.txt et refuse tout le site à GPTBot, ClaudeBot, Google-Extended et les autres.

Conséquence qu’on n’anticipe pas : un assistant à qui tu demandes de lire ta documentation refuse d’y aller. Nous l’avons eu sur letock.fr même — nos propres pages écrites *pour* les agents leur étaient interdites.

Et un cas plus vicieux, vu sur un compte client : le robots.txt dit Allow: / pour GPTBot, et le serveur répond quand même 403. Quelque chose au-dessus décide. Le module SEO le détecte parce qu’il vérifie ce que chaque robot obtient, pas seulement ce que le fichier déclare.

---

## Ce que nous faisons, et pourquoi

Nous gardons le blocage d’entraînement, et nous rouvrons nommément trois chemins aux assistants :

/llms.txt
/notice.md
/api/v1/openapi.json

Un robot réunit toutes les règles des groupes qui le nomment, et la plus spécifique gagne. On perce trois trous dans le refus, et rien d’autre.

---

## Ne « corrige » pas ça sans y penser

Un Disallow sur un robot d’entraînement est presque toujours délibéré. Le module le signale parce que ça change ce que tu peux espérer d’un moteur, pas parce que c’est une faute.