Un extracteur qui tourne depuis six mois finira par tomber. C'est dans la nature de l'exercice : il dépend d'un site qu'il ne contrôle pas.
La vraie question n'est donc pas de savoir s'il va casser, mais en combien de temps on s'en aperçoit.
1. Le site change de mise en page
La cause la plus fréquente, très loin devant. Un bloc déplacé, une classe renommée, et l'extracteur cherche un élément qui n'existe plus.
Le piège, c'est qu'il ne s'arrête pas forcément. Il renvoie un champ vide et la collecte continue comme si de rien n'était.
2. La pagination change
Le site passe d'une navigation par pages à un chargement au défilement, ou plafonne le nombre de résultats atteignables. La collecte tourne toujours. Elle ne rapporte plus qu'une fraction du catalogue, et elle ne le signale pas.
3. Une nouvelle protection apparaît
Captcha, contrôle de comportement plus strict, plage d'adresses bloquée. Celle-là est bruyante : la collecte s'arrête net. C'est paradoxalement la plus confortable à traiter, parce qu'on la voit tout de suite.
4. Le contenu bouge sans que la page bouge
Une devise qui change. Un format de date qui passe du jour-mois au mois-jour. Un séparateur décimal différent selon la région.
Les données arrivent, elles paraissent propres, elles sont fausses. C'est la panne la plus coûteuse, parce qu'elle se découvre en aval, une fois les décisions prises.
5. Le volume
Un catalogue qui double, une fenêtre d'exécution devenue trop courte, un quota atteint. La dégradation est progressive et ressemble d'abord à un simple ralentissement.
Ce qui rend tout ça gérable
La surveillance, et rien d'autre. Un extracteur en bonne santé produit un volume, un taux de champs remplis et une distribution de valeurs qui varient peu d'un jour sur l'autre.
Suivre ces trois indicateurs révèle presque toutes les pannes ci-dessus avant qu'un utilisateur ne les remarque. Y compris les silencieuses, qui sont les pires.
Nous traitons donc la maintenance comme une partie du service et non comme une option. Une collecte n'est pas livrée le jour où elle fonctionne, mais le jour où l'on sait qu'elle a cessé de fonctionner. Notre méthode détaille comment nous nous y prenons.