Les robots dans vos statistiques : comment les repérer et pourquoi ils augmentent
Une part croissante du trafic n'est pas humaine, et les agents d'assistants y sont pour beaucoup. Trois signatures qui les trahissent.
contient une mesure de notre moteur
Le trafic non humain n’est pas une anomalie à corriger : c’est une catégorie à part entière, et elle grandit.
Pourquoi elle grandit
Aux robots d’indexation classiques s’ajoutent depuis peu les agents des assistants. Notre moteur d’audit en surveille 12 nommément : 5 qui peuvent vous citer dans une réponse, 5 qui apprennent de vos textes, et 2 qui collectent pour un tiers.
Chacun visite des pages, et aucun n’exécute votre script de mesure.
Les trois signatures
1. Aucune exécution de script. Presque tous les robots lisent le HTML sans exécuter le JavaScript. Ils sont donc absents d’une mesure par script, et présents dans les journaux du serveur.
C’est la signature la plus utile : si vos journaux montrent dix fois plus de requêtes que votre compteur, l’écart est en grande partie non humain.
2. Un rythme régulier. Un humain lit deux pages puis s’arrête. Un robot parcourt cent pages à intervalle constant, souvent la nuit.
3. Un parcours exhaustif et absurde. Toutes les pages de pagination, toutes les combinaisons de filtres, y compris celles qu’aucun humain n’ouvrirait.
Ce qu’il faut en faire
Ne les excluez pas de vos journaux : c’est là qu’ils vous apprennent quelque chose, en particulier quels agents d’assistants vous lisent, et à quelle fréquence.
Excluez-les des chiffres que vous suivez pour décider. Une hausse de trafic due à un robot ne vaut aucune décision éditoriale.
Et distinguez les deux questions : « combien d’humains me lisent » et « quels agents me lisent » sont deux mesures différentes, avec deux méthodes.
L’angle mort commun à tous les compteurs par script
Le nôtre compris : nous ne voyons aucun robot, par construction. Nous mesurons des navigateurs qui exécutent du code.
Pour la question des agents, notre moteur d’audit lit votre robots.txt
agent par agent et dit lequel entre. C’est un autre outil pour une autre
question, et il est gratuit.