Douze agents d'assistants lisent le web : ce que chacun fait de vos textes
Ils ne se valent pas : certains peuvent vous citer, d'autres apprennent de vous sans rien rendre. Le partage par rôle, et ce qu'il change à votre décision.
contient une mesure de notre moteur
Notre moteur d’audit surveille 12 agents nommément. Les mettre dans le même sac est l’erreur qui mène aux mauvais arbitrages.
Les trois rôles
5 agents peuvent vous citer dans une réponse. Ils vont chercher une page au moment où quelqu’un pose une question, et la réponse porte un lien vers vous. Les bloquer, c’est disparaître de ce canal.
5 agents apprennent de vos textes. Ils constituent des corpus d’entraînement. Aucune citation, aucun lien, aucun visiteur en retour.
2 agents collectent pour un tiers. Ni citation, ni entraînement direct : la collecte est revendue ou redistribuée. Les bloquer ne coûte à peu près rien.
Ce que ce partage change
Le blocage global est presque toujours une erreur. « Disallow: / » pour tous les agents d’assistants ferme la porte aux 5 qui pouvaient vous apporter des lecteurs, pour empêcher les autres de lire ce qui est déjà public.
Le blocage sélectif se défend. Autoriser ceux qui citent, refuser ceux qui entraînent : c’est un arbitrage cohérent, et il se décide en trois lignes de fichier.
Et un blocage n’est pas une protection technique. Le fichier robots.txt
est une déclaration d’intention, respectée par les acteurs sérieux. Ce n’est ni
un pare-feu ni une licence.
Le cas le plus fréquent, et il n’est pas voulu
Un blocage que personne n’a décidé. Certaines plateformes d’hébergement et certains services intermédiaires ajoutent d’eux-mêmes un blocage des agents d’assistants devant votre fichier, par défaut.
Le contrôle : ouvrez votre robots.txt dans un navigateur et lisez-le. Ce
que vous voyez servi n’est pas forcément ce que vous avez écrit.
C’est le premier constat que notre moteur d’audit rend, agent par agent, avec la ligne exacte qui décide pour chacun.
Comment nous mesurons
Nous lisons votre robots.txt et nous appliquons, pour chacun des
12 agents, la règle qui l’emporte : groupe propre à l’agent d’abord,
groupe générique ensuite, motif le plus long en cas de conflit.
Le rapport affiche la ligne qui a décidé. Sans cette ligne, un verdict n’est pas vérifiable, et un verdict non vérifiable ne vaut rien.