Écrire un script qui lit une page prend une heure. Le faire tourner six mois sans interruption demande autre chose.
Les sites évoluent et se défendent. Une collecte fragile finit toujours par s'arrêter. Quelques principes font la différence.
Répartir les requêtes
Des proxies rotatifs étalent le trafic sur un parc d'adresses qui change régulièrement. Un seul point d'accès qui martèle un site se repère en quelques minutes. Cinquante adresses qui passent de temps en temps, beaucoup moins.
Ralentir
Le réflexe est d'aller vite. C'est l'erreur la plus courante. Un collecteur qui espace ses requêtes reste sous les seuils de détection, et il ne pèse pas sur le site consulté.
Le fichier robots.txt indique par ailleurs ce que l'éditeur d'un site souhaite voir automatisé. Sa spécification tient en deux pages et vaut le détour.
Franchir les protections proprement
Captchas, empreintes de navigateur, détection de comportement automatisé : les mécanismes se sont multipliés ces dernières années. Les traiter demande des outils adaptés et une veille constante, parce qu'ils changent souvent.
Contrôler ce qui sort
Une collecte sérieuse vérifie ses propres résultats. Champs vides, formats incohérents, doublons, valeurs aberrantes. Cent mille lignes propres valent mieux que trois millions inexploitables.
Réparer vite
Un site cible modifie sa structure, l'extracteur doit suivre. Cette partie du travail ne s'arrête jamais. Nous avons listé les cinq pannes les plus fréquentes et la façon de les repérer avant qu'elles ne coûtent.