« 99 % de mon trafic provient désormais de robots » : l’IA continue de tout extraire d’Internet

Nick Gray, créateur de PatronView, analyse depuis un an et demi l’impact des robots IA sur son site Internet. En une seule semaine, son serveur a servi 1,28 million de pages, tandis que les visites réelles ont été de 5 977. La conclusion était claire : pour chaque page vue réelle, il y en avait 214 provenant de robots, et les choses vont de plus en plus, pas de moins. Comme il l’a dit, « 99 % du trafic de mon site Web est constitué de robots ».

Claude est un glouton. Gray a commencé à mesurer l’activité des robots d’exploration Internet avec une mesure très simple : les pages explorées par chaque visiteur. Google a besoin d’environ 46 pages pour son moteur de recherche, mais ce développeur a découvert que le robot d’exploration de Claude, appelé Claude-Searchbot, demandait 420 680 pages en une semaine, et que Claude n’envoyait que 12 utilisateurs vers son site Web. Ou ce qui revient au même : il lui fallait 35 000 pages visitées pour qu’une personne incite une personne à visiter son site Web. Gray a fini par le bloquer et Anthropic a honoré le code 403 installé sur son serveur Web. Les dizaines de milliers de requêtes quotidiennes de Claude ont ainsi été réduites à quelques tentatives.

Amazon est encore pire. Amzn-SearchBot, utilisé pour les produits Amazon comme Rufus et Alexa, s’est montré encore plus gourmand en explorant le site Web de cet utilisateur. Selon leurs données, ce robot accédait chaque jour à 117 000 pages de leur site Web Patronview. Et le plus triste, c’est qu’il n’a pas eu une seule page vue envoyée par Amazon sur son site web, donc son rapport entre les pages consommées et les lecteurs reçus était littéralement infini. Il a également bloqué ce robot et a constaté que ces robots d’exploration de plateforme d’IA demandent tout sans pratiquement rien offrir en retour.

Des robots camouflés. En avril, PatronView a reçu 3,6 millions de visites en une seule journée provenant de 361 844 adresses IP différentes, presque toutes situées en Chine. Puis sont arrivées des vagues d’accès en provenance du Vietnam et de Singapour, des navigateurs Chrome automatisés hébergés sur AWS et Azure ainsi que sur des réseaux proxy résidentiels. Ces derniers étaient particulièrement difficiles à identifier car les accès provenaient de connexions domestiques apparemment normales. Et ils ne l’étaient pas.

La défense a un prix. Gray a utilisé les détections d’exécution de code JavaScript de Cloudflare pour faire la distinction entre les humains et les machines. Elle a cependant découvert que ce système ajoutait 2 875 secondes de traitement sur un téléphone mobile milieu de gamme, ce qui pénalisait ses performances web. En effet, en désactivant cette protection, son score dans Lighthouse, qui évalue l’expérience et la vitesse des sites Web, est passé de 58 à 99. Juste après l’avoir bloqué, un scraper hébergé dans Azure a téléchargé 23 000 pages en une heure, répartissant les requêtes entre plus de 80 IP pour éviter de dépasser les limites.

Création du mur d’antibots. Cet utilisateur a fini par créer un mécanisme de blocage pour ces robots qui bloque certains pays et trackers, mais utilise également des systèmes CAPTCHA s’il détecte de grands centres de données, filtre les navigateurs suspects et applique des limites de vitesse. Le résultat a été constaté 48 heures plus tard. Cloudflare, par exemple, a activé 106 437 popups avec CAPTCHA et seulement 252 ont été résolues, soit 0,24 %. Pour Gray, la conclusion est claire : on ne peut pas faire confiance à Google Analytics, Plausible ou à des outils similaires : pour savoir qui consomme réellement un site web, il faut regarder les logs du serveur.

Les robots font grimper la note. Et dans le cas de ce site Web, ce suivi continu des robots a fait grimper la facture. PatronView lui coûte environ 90 dollars par mois, mais lors de l’un des pires pics de trafic de robots, sa facture a augmenté de près de 500 %. Sans oublier que les analyses ont cessé d’être utiles et que son site Web est devenu du fourrage pour les robots pendant tout ce temps pendant qu’il payait la facture.

Si vous voulez suivre, payez. Pour cet utilisateur, la solution finale serait simple : facturer le suivi. Cloudflare travaille déjà sur un système de paiement par exploration qui permettra aux propriétaires de sites Web de fixer le prix de l’accès aux robots. Jusqu’à ce qu’une telle chose existe, Gray applique une règle beaucoup plus simple et logique : si un tracker ne renvoie pas les visiteurs, il le bloque. Google vous suivait était raisonnable. Que l’IA le fasse n’est pas durable.

À Simseo | Toutes les grandes IA ont ignoré les lois sur le droit d’auteur. Ce qui est étonnant c’est qu’il n’y a toujours aucune conséquence