Dans un monde numérique en constante évolution, rester informé des changements sur les sites web qui nous intéressent peut rapidement devenir un défi chronophage. Que vous soyez webmaster soucieux de la sécurité de vos sites, professionnel IT en quête des dernières mises à jour logicielles, ou simplement un internaute désireux de suivre l'évolution d'un prix sur un site e-commerce, la surveillance manuelle n'est plus une option viable.

C'est précisément pour répondre à cette problématique que ChangeDetection.io a été développé. Cette solution open source permet d'automatiser entièrement la surveillance des modifications apportées à n'importe quelle page web, et de recevoir des alertes instantanées dès qu'un changement est détecté. Dans cet article, je vous propose de découvrir en détail cet outil puissant, de son installation à son utilisation avancée, en passant par ses multiples cas d'usage pratiques.

Qu'est-ce que ChangeDetection.io ?

Principe de fonctionnement

ChangeDetection.io repose sur une approche simple mais redoutablement efficace : l'outil visite les pages web que vous avez définies à intervalles réguliers, compare la version actuelle avec la précédente stockée en mémoire, puis vous notifie en cas de différence détectée. Ces différences peuvent être des ajouts de contenu, des suppressions ou des modifications de texte.

Le nom de l'outil est d'ailleurs explicite : "Change Detection" signifie littéralement "détection de changement". Contrairement à une consultation manuelle qui nécessite votre présence et votre attention, ChangeDetection agit comme un assistant virtuel qui surveille pour vous 24 heures sur 24 et 7 jours sur 7.

Open source et flexibilité

L'un des atouts majeurs de ChangeDetection.io réside dans sa nature open source, publié sous licence Apache 2.0. Cela signifie que vous pouvez librement télécharger, installer et utiliser l'outil sur votre propre infrastructure, sans limitation de fonctionnalités ni contrainte de nombre d'URLs surveillées. Le code source est disponible sur GitHub, permettant à quiconque de contribuer au projet ou de l'adapter à ses besoins spécifiques.

Pour ceux qui préfèrent une solution clé en main, les développeurs proposent également une offre SaaS hébergée. Cette alternative peut s'avérer intéressante si vous ne disposez pas de serveur personnel ou si vous souhaitez éviter les aspects techniques de l'installation et de la maintenance.

Avantages par rapport aux flux RSS

Bien que les flux RSS restent un excellent moyen de suivre les actualités de vos sites préférés, ChangeDetection offre une flexibilité supérieure dans plusieurs situations. Tout d'abord, de nombreux sites web ne proposent tout simplement pas de flux RSS, vous privant ainsi d'un moyen automatisé de suivre leurs mises à jour. Ensuite, même lorsqu'un flux RSS existe, il ne vous informe généralement que des nouveaux articles ou contenus, sans vous permettre de surveiller des modifications spécifiques sur des pages existantes.

ChangeDetection comble cette lacune en vous permettant de surveiller n'importe quelle partie de n'importe quelle page web, qu'il s'agisse d'un simple paragraphe, d'un tableau de données, ou d'une section complète. L'outil conserve également un historique détaillé des changements, vous permettant de visualiser précisément ce qui a été modifié, ajouté ou supprimé au fil du temps.

Cas d'usage et scénarios pratiques

Les applications de ChangeDetection.io sont nombreuses et couvrent des besoins variés, tant personnels que professionnels. Voici les principaux scénarios où cet outil se révèle particulièrement pertinent.

Surveillance de sécurité et détection de defacement

Pour tout webmaster ou responsable de site web, la détection rapide d'une compromission est cruciale. Un site défiguré (defacement) peut gravement nuire à votre réputation et à la confiance de vos visiteurs. En configurant ChangeDetection pour surveiller la page d'accueil et les pages critiques de votre site, vous serez immédiatement alerté en cas de modification inattendue du contenu.

Cette approche est particulièrement utile si vous gérez plusieurs sites web, que ce soit vos propres projets, le site de votre entreprise, ou les sites de vos clients dans le cadre d'une agence web. Plutôt que de vérifier manuellement chaque site quotidiennement, ChangeDetection le fait automatiquement et ne vous contacte qu'en cas d'anomalie.

Veille technologique et suivi des versions logicielles

Dans le secteur IT, rester informé des dernières versions de logiciels, systèmes d'exploitation, firmwares ou pilotes est essentiel pour maintenir vos infrastructures à jour et sécurisées. De nombreux éditeurs publient leurs mises à jour sur des pages web statiques ou des dépôts GitHub.

Avec ChangeDetection, vous pouvez surveiller automatiquement ces pages et être notifié dès qu'une nouvelle version est disponible. Plus besoin de consulter régulièrement les sites des fabricants : l'outil vous prévient en temps réel, vous permettant de planifier vos mises à jour de manière proactive plutôt que réactive.

Conformité réglementaire et veille juridique

Les conditions générales d'utilisation (CGU), politiques de confidentialité et mentions légales des services en ligne évoluent régulièrement. Pour les entreprises qui utilisent des services tiers ou qui doivent assurer la conformité avec des partenaires, suivre ces modifications est crucial, notamment dans le contexte du RGPD et autres réglementations sur la protection des données.

ChangeDetection permet de surveiller automatiquement ces documents juridiques et d'être alerté dès qu'une modification intervient. Vous pouvez ainsi examiner les changements, évaluer leur impact sur votre organisation, et prendre les mesures nécessaires en toute connaissance de cause.

Du point de vue juridique, il est important de noter que le web scraping et la surveillance automatisée doivent respecter certaines limites. En France et dans l'Union européenne, l'extraction de données publiquement accessibles est généralement légale, à condition de respecter les conditions d'utilisation du site, de ne pas surcharger les serveurs, et de ne pas porter atteinte aux droits de propriété intellectuelle. ChangeDetection, utilisé de manière raisonnable avec des intervalles de vérification appropriés, s'inscrit dans ce cadre légal.

Veille concurrentielle et tarification

Dans un contexte commercial compétitif, surveiller les prix pratiqués par vos concurrents peut vous donner un avantage stratégique significatif. ChangeDetection vous permet de suivre l'évolution des tarifs sur les sites e-commerce de vos compétiteurs et d'ajuster votre propre stratégie tarifaire en conséquence.

Cette fonctionnalité s'avère également précieuse pour vos achats personnels ou professionnels. Vous recherchez un composant informatique spécifique mais il est actuellement en rupture de stock ? Configurez une surveillance sur la page produit et recevez une alerte dès que l'article redevient disponible ou que son prix baisse.

Veille générale et suivi de contenus

Au-delà des cas d'usage spécifiques mentionnés ci-dessus, ChangeDetection excelle dans la veille générale. Vous pouvez surveiller :

Les possibilités sont pratiquement infinies, limitées uniquement par votre imagination et les ressources de votre serveur.

Installation pas à pas avec Docker

Pour déployer ChangeDetection.io, j'ai choisi d'utiliser Docker et Docker Compose, qui offrent une méthode d'installation standardisée, reproductible et facile à maintenir. Cette approche est idéale que vous soyez débutant ou administrateur système expérimenté.

Prérequis système

Avant de commencer l'installation, assurez-vous que votre environnement répond aux prérequis suivants :

Configuration matérielle minimale :

Logiciels requis :

La consommation de ressources dépend principalement du nombre d'URLs surveillées et du mode de surveillance utilisé. Le mode basique (sans navigateur) est très léger et peut gérer des centaines d'URLs avec une configuration modeste. En revanche, le mode Playwright (avec navigateur Chromium) est significativement plus gourmand en RAM et CPU, car il simule un véritable navigateur pour chaque vérification.

Architecture à un ou deux conteneurs

ChangeDetection.io peut fonctionner selon deux architectures distinctes :

Architecture à un conteneur : Dans cette configuration simplifiée, seul le conteneur principal de ChangeDetection est déployé. L'outil analyse alors les pages web de manière basique en récupérant le code HTML brut. Cette approche convient parfaitement aux sites statiques ou peu dynamiques, et consomme très peu de ressources.

Architecture à deux conteneurs (recommandée) : Cette configuration ajoute un second conteneur exécutant un navigateur Chromium piloté par Playwright. Ce navigateur simule le comportement d'un utilisateur réel, permettant à ChangeDetection d'interagir avec les pages web dynamiques qui chargent leur contenu via JavaScript. Cette architecture est essentielle pour surveiller efficacement les sites modernes utilisant des frameworks comme React, Vue.js ou Angular.

Pour ce tutoriel, je vais détailler l'installation de l'architecture à deux conteneurs, car elle offre la plus grande flexibilité et compatibilité avec l'ensemble des sites web actuels.

Création de l'arborescence

Commençons par créer la structure de répertoires qui accueillera notre installation. Connectez-vous à votre serveur via SSH et exécutez les commandes suivantes :

mkdir -p /opt/docker-compose/changedetection/data
cd /opt/docker-compose/changedetection

La première commande crée simultanément le dossier parent changedetection et le sous-dossier data qui stockera toutes les données persistantes de l'application (configurations, historiques, snapshots). La seconde commande vous positionne dans le répertoire du projet.

Configuration du fichier Docker Compose

Nous allons maintenant créer le fichier docker-compose.yml qui définit les deux services nécessaires au fonctionnement de ChangeDetection.

Créez le fichier avec votre éditeur préféré :

nano docker-compose.yml

Copiez-y le contenu suivant :

services:
  changedetection:
    image: ghcr.io/dgtlmoon/changedetection.io
    container_name: changedetection
    hostname: changedetection
    volumes:
      - ./data:/datastore
    ports:
      - 5000:5000
    environment:
      - PLAYWRIGHT_DRIVER_URL=ws://changedetection-browser:3000
      - PLAYWRIGHT_CONNECT_TIMEOUT=120000
      - PLAYWRIGHT_NAVIGATION_TIMEOUT=120000
      - PLAYWRIGHT_SKIP_BROWSER_INITIALIZATION=true
      - BASE_URL=https://changedetection.votredomaine.fr
      - HIDE_REFERER=true
      - MINIMUM_SECONDS_RECHECK_TIME=3
      - TZ=Europe/Paris
    restart: unless-stopped
    depends_on:
      changedetection-browser:
        condition: service_started

  changedetection-browser:
    hostname: changedetection-browser
    container_name: changedetection-browser
    image: dgtlmoon/sockpuppetbrowser:latest
    restart: unless-stopped
    environment:
      - SCREEN_WIDTH=1920
      - SCREEN_HEIGHT=1024
      - SCREEN_DEPTH=16
      - MAX_CONCURRENT_CHROME_PROCESSES=6

Explication détaillée des variables d'environnement

Analysons en détail les paramètres de configuration les plus importants :

Service changedetection :

Service changedetection-browser :

Cette configuration s'inspire du modèle officiel disponible sur GitHub. J'ai personnellement testé plusieurs images de navigateur, notamment browserless/chrome, mais j'ai rencontré des problèmes de stabilité. L'image dgtlmoon/sockpuppetbrowser s'est révélée la plus fiable dans mes tests.

Démarrage et vérification

Une fois le fichier sauvegardé (Ctrl+X, puis Y, puis Entrée sous nano), lancez le téléchargement des images et le démarrage des conteneurs :

docker compose up -d

Docker va télécharger les images nécessaires depuis leurs registres respectifs. Cette opération peut prendre quelques minutes selon la vitesse de votre connexion internet. Le flag -d (detached) lance les conteneurs en arrière-plan.

Pour vérifier que tout fonctionne correctement, listez les conteneurs en cours d'exécution :

docker ps

Vous devriez voir deux conteneurs actifs : changedetection et changedetection-browser, tous deux avec le statut "Up".

En cas de problème, consultez les journaux des conteneurs pour identifier l'origine de l'erreur :

docker logs changedetection -f --tail 100
docker logs changedetection-browser -f --tail 100

L'option -f permet de suivre les logs en temps réel, tandis que --tail 100 affiche les 100 dernières lignes.

Accès à l'interface

Votre instance de ChangeDetection est maintenant accessible via votre navigateur web à l'adresse http://adresse-ip-serveur:5000. Remplacez adresse-ip-serveur par l'adresse IP réelle de votre serveur ou par son nom de domaine si vous en avez configuré un.

Si vous n'avez pas accès à l'interface, vérifiez les points suivants :

Prise en main de l'interface

Tour d'horizon du tableau de bord

L'interface de ChangeDetection.io se caractérise par sa sobriété et son efficacité. À votre première connexion, vous découvrirez un tableau de bord épuré contenant deux surveillances d'exemple préinstallées.

Le menu principal, situé en haut de l'interface, propose plusieurs options essentielles :

La zone centrale affiche la liste de vos surveillances sous forme de tableau. Deux colonnes méritent une attention particulière :

Je vous recommande de commencer par supprimer les deux surveillances d'exemple. Sélectionnez-les en cochant les cases correspondantes, puis cliquez sur le bouton "Delete". Cela vous permettra de constater qu'il est possible d'effectuer des actions en masse sur vos éléments, une fonctionnalité très pratique lorsque vous gérerez des dizaines ou des centaines de surveillances.

À tout moment, vous pouvez mettre en pause la surveillance sur un ou plusieurs éléments spécifiques, ou désactiver uniquement les notifications tout en continuant à collecter les données en arrière-plan.

Sécurisation de l'accès

Par défaut, l'interface de ChangeDetection n'est protégée par aucune authentification. N'importe qui connaissant l'adresse de votre instance peut y accéder librement. Il est donc crucial de sécuriser votre installation, surtout si elle est accessible depuis internet.

Méthode 1 : Mot de passe intégré

La solution la plus simple consiste à utiliser le système d'authentification intégré. Cliquez sur "SETTINGS", puis dans l'onglet "General", localisez la section "Security". Définissez un mot de passe robuste qui sera demandé à chaque accès à l'interface.

Méthode 2 : Authentification en frontal

Pour une sécurité renforcée, vous pouvez placer ChangeDetection derrière un reverse proxy avec authentification. Plusieurs solutions existent :

Cette approche permet notamment d'implémenter l'authentification à deux facteurs (2FA) et de centraliser la gestion des accès si vous hébergez plusieurs applications.

Méthode 3 : Restriction réseau

Si vous n'accédez à ChangeDetection que depuis votre réseau local ou via VPN, vous pouvez configurer votre pare-feu pour n'autoriser les connexions au port 5000 que depuis des adresses IP spécifiques :

# Exemple avec UFW sous Ubuntu/Debian
ufw allow from 192.168.1.0/24 to any port 5000

Cette méthode offre une excellente sécurité mais réduit la flexibilité d'accès.

Configuration des paramètres globaux

Dans l'onglet "General" des paramètres (SETTINGS), plusieurs options méritent votre attention :

Time Between Check : Ce paramètre définit l'intervalle de vérification par défaut pour toutes vos surveillances. Je recommande de partir sur 1 heure (3600 secondes) comme valeur de base. Vous pourrez ensuite personnaliser cet intervalle pour chaque surveillance individuellement selon vos besoins. Un intervalle plus court (15 minutes, 5 minutes) convient aux informations critiques nécessitant un suivi en temps quasi-réel, tandis qu'une vérification quotidienne suffit souvent pour des contenus évoluant lentement.

Fetcher Settings : Cette section contient une option particulièrement intéressante, le "Random jitter seconds ± check". Le jitter ajoute une variation aléatoire (en plus ou en moins) à l'intervalle de vérification de chaque surveillance. Par exemple, avec un jitter de ±300 secondes (5 minutes) et un intervalle de base d'1 heure, les vérifications s'effectueront entre 55 et 65 minutes après la précédente.

Cette fonctionnalité présente deux avantages majeurs :

  1. Lissage de la charge serveur : Si vous surveillez 50 URLs toutes les heures, sans jitter, votre serveur tentera de vérifier les 50 sites simultanément à chaque heure pile, ce qui peut causer des pics de charge. Le jitter répartit ces vérifications dans le temps.
  2. Discrétion accrue : Des vérifications strictement régulières peuvent être interprétées comme un comportement de bot par certains systèmes anti-scraping. Une petite variation rend votre activité plus naturelle.

Gestion des groupes et tags

L'organisation devient essentielle lorsque vous commencez à surveiller plusieurs dizaines d'URLs. ChangeDetection propose un système de groupes basé sur des tags.

Cliquez sur "GROUPS" pour créer vos catégories. Quelques exemples d'organisation efficace :

Dans l'interface principale, vous pourrez ensuite filtrer l'affichage par groupe, ce qui facilite grandement la navigation lorsque vous gérez un grand nombre de surveillances.

Configurer votre première surveillance

Maintenant que nous avons une instance fonctionnelle et sécurisée, passons à la pratique en configurant notre première surveillance.

Ajout d'une URL

Sur la page d'accueil de ChangeDetection, vous trouverez un champ de saisie blanc invitant à entrer une URL. Pour cet exemple, je vais surveiller la page de pilotes d'un serveur Dell PowerEdge, mais la méthodologie s'applique à n'importe quelle page web.

URL d'exemple : https://www.dell.com/support/home/fr-fr/product-support/product/poweredge-r630/drivers

Vous avez deux options pour procéder :

  1. Ajout rapide : Collez l'URL et cliquez simplement sur "Watch". ChangeDetection créera la surveillance avec les paramètres par défaut.
  2. Ajout personnalisé (recommandé) : Collez l'URL et cliquez sur "Edit > Watch". Cela ouvre l'interface de configuration détaillée avant la création de la surveillance.

Je recommande systématiquement l'ajout personnalisé, car il permet d'affiner immédiatement les paramètres et d'éviter des faux positifs ou des problèmes de détection.

Choix du mode de détection

Dans l'interface de configuration, deux modes principaux vous sont proposés :

Re-stock & Price detection for pages with a SINGLE product : Ce mode spécialisé est optimisé pour la surveillance de pages produits e-commerce. Il détecte spécifiquement les changements de prix et les changements de statut de disponibilité (en stock / rupture de stock). Utilisez-le exclusivement pour des pages contenant un seul produit, comme une fiche produit Amazon, Fnac, ou tout autre site marchand.

Webpage Text/HTML, JSON and PDF changes : C'est le mode universel pour surveiller tous les autres types de contenus : articles de blog, pages de documentation, communiqués de presse, pages de téléchargement, fichiers PDF, flux JSON, etc. C'est celui que nous utiliserons pour notre exemple de page de pilotes Dell.

Paramètres essentiels

Onglet General

Cet onglet regroupe les informations de base de votre surveillance :

Onglet Request

C'est ici que vous définissez comment ChangeDetection va interroger la page web.

Fetcher Type : Par défaut, chaque surveillance hérite de la valeur "System settings default". Vous pouvez la personnaliser ici. Deux options principales :

Pour notre page Dell qui est un site moderne, je recommande d'utiliser Playwright.

Options avancées

Cliquez sur "Show advanced options" pour accéder à des paramètres supplémentaires qui peuvent faire la différence entre une surveillance qui fonctionne et une qui échoue.

Custom Headers (En-têtes personnalisés)

Les en-têtes HTTP que votre navigateur envoie à chaque requête contiennent des informations sur votre identité. Certains sites utilisent ces informations pour détecter et bloquer les bots.

L'en-tête le plus important est le User-Agent, qui identifie votre navigateur et votre système d'exploitation. Par défaut, les outils automatisés utilisent souvent un User-Agent générique facilement identifiable. En le personnalisant avec celui d'un navigateur courant, vous augmentez vos chances de passer inaperçu.

Pour obtenir votre User-Agent actuel, recherchez simplement "my user agent" sur Google. Vous obtiendrez quelque chose comme :

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36

Dans l'interface ChangeDetection, ajoutez cet en-tête personnalisé :

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36

D'autres en-têtes peuvent être utiles selon les sites :

Accept-Language: fr-FR,fr;q=0.9,en-US;q=0.8,en;q=0.7
Referer: https://www.google.com/

Execute JavaScript before change detection

Cette fonctionnalité avancée vous permet d'exécuter du code JavaScript personnalisé sur la page avant que ChangeDetection n'analyse son contenu. Cas d'usage typiques :

Exemple pour fermer une popup :

document.querySelector('.popup-close-button').click();

Interprétation des résultats

Une fois votre surveillance créée et sauvegardée, ChangeDetection effectuera sa première vérification. Revenez sur la page d'accueil pour voir l'état de vos surveillances.

Les colonnes importantes à surveiller :

Lorsqu'un changement est détecté, plusieurs actions s'offrent à vous :

Bouton "History" : Cliquez dessus pour accéder à l'historique complet des modifications. ChangeDetection affiche une vue "diff" (différentiel) qui met en évidence :

Cette visualisation vous permet de comprendre instantanément ce qui a changé sur la page, sans avoir à comparer manuellement deux versions.

Onglet "Screenshot" : Chaque fois qu'une modification est détectée en mode Playwright, ChangeDetection capture automatiquement une capture d'écran de la page. Cela vous permet de visualiser l'apparence de la page au moment du changement, ce qui peut être particulièrement utile pour les modifications visuelles ou de mise en page qui ne ressortent pas clairement dans le diff textuel.

Fonctionnalités avancées

Browser Steps : automatiser les interactions complexes

La fonctionnalité Browser Steps représente l'une des capacités les plus puissantes de ChangeDetection. Elle permet de simuler des interactions utilisateur complexes avant d'analyser le contenu de la page.

Pourquoi utiliser Browser Steps ?

De nombreux sites web modernes ne révèlent leur contenu qu'après certaines actions de l'utilisateur :

Sans Browser Steps, ChangeDetection analyserait la page dans son état initial, manquant potentiellement le contenu qui vous intéresse.

Visual Selector et filtres d'exclusion

Souvent, vous ne souhaitez surveiller qu'une partie spécifique d'une page web, pas son intégralité. Le Visual Selector et les filtres permettent d'affiner précisément ce que ChangeDetection analyse.

Visual Selector

Cet outil intégré vous permet de sélectionner visuellement la zone de la page à surveiller. Cliquez sur "Visual Selector" dans l'interface de configuration, ChangeDetection chargera la page dans un navigateur intégré, et vous pourrez cliquer sur l'élément qui vous intéresse. L'outil génère automatiquement le sélecteur CSS correspondant.

Cas d'usage typiques :

Filtres d'exclusion (Ignore Filters)

À l'inverse, les filtres d'exclusion permettent d'ignorer des éléments qui changent constamment mais ne vous intéressent pas. Exemples courants :

Gestion du jitter et optimisation des ressources

Nous avons déjà évoqué le jitter global dans les paramètres, mais sa bonne configuration mérite qu'on s'y attarde plus en détail.

Calcul du jitter optimal

Si vous surveillez N URLs avec un intervalle I et un jitter J :

Je recommande un jitter de :

Recommandations de configuration selon la RAM disponible
RAM serveur MAX_CONCURRENT_CHROME_PROCESSES URLs Playwright recommandées
2 Go 1-2 < 10
4 Go 2-3 < 30
8 Go 4-6 < 100
16 Go 8-12 < 300
32 Go+ 12-20 Illimité

Comparaison Playwright vs mode basique

Pour vous aider à choisir le bon mode pour chaque surveillance, voici un tableau comparatif détaillé :

Comparaison des modes de surveillance
Critère Basic fast Plaintext/HTTP Playwright Chromium/JavaScript
Vitesse d'exécution Très rapide (< 1 seconde) Lent (5-15 secondes)
Consommation RAM Négligeable (< 10 Mo) Élevée (300-600 Mo par process)
Sites statiques Excellent Surqualifié
Sites dynamiques (React, Vue, Angular) Inefficace Indispensable
JavaScript Non exécuté Complètement exécuté
Lazy loading Non géré Parfaitement géré
Browser Steps Non disponible Disponible
Screenshots Non disponible Disponible
Détection anti-bot Facilement détectable Très difficile à détecter

Système de notifications

Recevoir une alerte en temps réel lorsqu'une modification est détectée constitue l'essence même de l'utilité de ChangeDetection. Sans notifications, vous seriez contraint de consulter régulièrement le tableau de bord, ce qui irait à l'encontre de l'automatisation recherchée.

Configuration avec Apprise

ChangeDetection intègre la bibliothèque Apprise, une solution open source exceptionnellement complète qui supporte plus de 80 services de notification différents. Cette intégration vous offre une flexibilité maximale pour choisir comment et où recevoir vos alertes.

Les services supportés incluent notamment :

Exemples de services courants

Email via Gmail

Pour utiliser Gmail, vous devez créer un mot de passe d'application depuis votre compte Google (Paramètres > Sécurité > Mots de passe des applications). Ensuite, utilisez cette URL Apprise :

mailtos://smtp.gmail.com?to=Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.&user=Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.&pass=VOTRE_MOT_DE_PASSE_APP

Discord

Créez un webhook dans les paramètres de votre serveur Discord, puis utilisez :

discord://webhook_id/webhook_token

Telegram

Créez un bot via @BotFather, obtenez le token, puis trouvez votre chat_id :

tgram://bot_token/chat_id

Microsoft Teams

Créez un webhook entrant dans Teams, puis :

msteams://token@team_id/channel_id

Bonnes pratiques et astuces

Pour tirer le meilleur parti de ChangeDetection tout en respectant les sites surveillés et en optimisant vos ressources, voici les bonnes pratiques que j'ai identifiées à travers mon expérience.

Éviter les blocages anti-bot

De nombreux sites web déploient des systèmes de protection contre le scraping automatisé. Voici comment minimiser les risques de blocage :

1. Respecter des intervalles raisonnables

Ne vérifiez jamais un site tiers toutes les minutes ou même toutes les 5 minutes, sauf si vous avez une autorisation explicite ou que le site propose une API publique. Recommandations par type de contenu :

2. Utiliser un User-Agent réaliste

Comme expliqué précédemment, personnalisez toujours votre User-Agent pour imiter un navigateur courant. Variez-le occasionnellement en utilisant différents navigateurs populaires.

3. Activer Playwright pour les sites exigeants

Le mode Playwright simule un véritable navigateur avec exécution JavaScript, ce qui est beaucoup plus difficile à détecter qu'une simple requête HTTP.

4. Respecter le robots.txt

Bien que ChangeDetection ne soit pas un crawler traditionnel, consultez le fichier /robots.txt des sites que vous surveillez pour vérifier s'ils interdisent explicitement le scraping automatisé. Respectez ces directives.

Import en masse d'URLs

Pour ajouter rapidement de nombreuses surveillances, utilisez la fonction d'import.

Import par liste texte

Dans SETTINGS > IMPORT, collez simplement une liste d'URLs, une par ligne :

https://site1.com/page1
https://site2.com/page2
https://site3.com/page3

Import Excel (XLSX)

Préparez un fichier Excel avec une colonne contenant vos URLs. ChangeDetection l'importera et créera automatiquement toutes les surveillances. Particulièrement utile si vous gérez une liste de centaines de produits ou de pages.

Utilisation de l'API ChangeDetection

Pour les utilisateurs avancés et les développeurs, ChangeDetection propose une API REST complète permettant d'automatiser entièrement la gestion des surveillances.

Endpoints principaux

Obtenir la liste de toutes les surveillances

curl http://votre-serveur:5000/api/v1/watch

Créer une nouvelle surveillance

curl -X POST http://votre-serveur:5000/api/v1/watch \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://exemple.com",
    "title": "Ma surveillance",
    "time_between_check": 3600,
    "tag": "test"
  }'

Déclencher manuellement une vérification

curl -X GET http://votre-serveur:5000/api/v1/watch/UUID/trigger

Limites et points d'attention

Bien que ChangeDetection soit un outil remarquablement puissant et flexible, il présente certaines limitations qu'il est important de connaître pour adapter vos attentes et votre utilisation.

Sites particulièrement difficiles

Amazon et marketplaces similaires

Amazon déploie des systèmes anti-bot parmi les plus sophistiqués du web. Même avec Playwright, User-Agent personnalisé et Browser Steps, le taux de succès reste aléatoire. Amazon détecte les patterns de comportement, analyse les empreintes digitales du navigateur (fingerprinting), et peut bloquer des plages IP entières.

Alternative recommandée : utiliser l'API officielle Amazon Product Advertising (nécessite un compte professionnel et respecte des limites de requêtes).

Sites avec Cloudflare

Cloudflare propose plusieurs niveaux de protection. Le mode "I'm Under Attack" bloque systématiquement les bots. Playwright aide, mais ne garantit pas le succès. Contactez le propriétaire du site pour une API ou un accès dédié.

Aspects éthiques et légaux

Respect des sites surveillés

Même si techniquement possible, surveiller un site toutes les minutes constitue une forme d'abus. Cela génère une charge serveur significative pour le propriétaire du site et peut être assimilé à une attaque par déni de service (DDoS) si pratiqué à grande échelle.

Principes éthiques à respecter :

Propriété intellectuelle

Le contenu que vous surveillez appartient à ses créateurs. Si vous utilisez ChangeDetection dans un contexte commercial (veille concurrentielle par exemple), assurez-vous de ne pas enfreindre les droits d'auteur en republiant ou utilisant commercialement le contenu récupéré sans autorisation.

Alternatives et comparaison

ChangeDetection.io n'est pas le seul outil de surveillance web sur le marché. Voici un comparatif avec les principales alternatives pour vous aider à faire un choix éclairé.

Visualping

Visualping est un service SaaS populaire offrant une interface très accessible.

Avantages : Interface utilisateur très intuitive, aucune installation nécessaire, support client réactif, vérifications visuelles (screenshots comparés)

Inconvénients : Offre gratuite très limitée (50 checks/mois), plans payants relativement coûteux (19-99$/mois), données hébergées en externe (question de confidentialité)

Distill Web Monitor

Distill propose à la fois une extension navigateur et une application web.

Avantages : Extension Chrome/Firefox pratique, détection intelligente des changements, prix raisonnables, mode local (extension) ne nécessitant pas de serveur

Inconvénients : Limitation du nombre d'URLs en version gratuite, l'extension doit rester active (ordinateur allumé), moins adapté aux surveillances massives

Inoreader

Inoreader est principalement un lecteur de flux RSS premium qui intègre une fonctionnalité de surveillance web.

Avantages : Intégration dans un outil de veille complet, gestion centralisée flux RSS + surveillance web, interface de lecture agréable, fonctionnalités de filtrage avancées

Inconvénients : Fonction de surveillance limitée en version gratuite, moins de contrôle granulaire que ChangeDetection, tarifs d'abonnement mensuels (5-15€/mois)

Tableau comparatif

Comparaison des outils de surveillance web
Critère ChangeDetection.io Visualping Distill Inoreader
Prix Gratuit (auto-hébergé) ou SaaS 19-99$/mois 5-20$/mois 5-15€/mois
Installation requise Oui (Docker) Non Extension Non
Hébergement données Local Cloud Local/Cloud Cloud
URLs illimitées Oui (si auto-hébergé) Non Non Non
Open source Oui Non Non Non
Browser automation Oui (Playwright) Partiel Partiel Limité
API Oui Oui Oui Oui

Conclusion

ChangeDetection.io représente une solution particulièrement mature et complète pour automatiser la surveillance des modifications sur les pages web. Sa nature open source, combinée à sa flexibilité et à la richesse de ses fonctionnalités, en fait un outil de choix pour tous ceux qui souhaitent mettre en place une veille web efficace sans dépendre d'un service tiers payant.

Au fil de cet article, nous avons exploré l'installation de l'outil via Docker, sa configuration avancée avec le mode Playwright pour les sites dynamiques, la mise en place de Browser Steps pour les interactions complexes, et l'intégration de systèmes de notification variés via Apprise. Ces capacités permettent de couvrir une gamme très étendue de cas d'usage, de la simple surveillance d'une page de prix à la veille technologique complexe sur des dizaines de sources.

Les points forts que je retiens après avoir utilisé intensivement ChangeDetection :

  1. Flexibilité maximale : La capacité à surveiller n'importe quelle page web, avec un contrôle granulaire sur ce qui est surveillé et comment
  2. Historique complet : La conservation de tous les changements avec visualisation des différences facilite considérablement l'analyse des évolutions
  3. Évolutivité : De quelques URLs à plusieurs centaines, l'outil s'adapte à vos besoins croissants
  4. Confidentialité : Vos données restent sur votre infrastructure, vous gardez le contrôle total
  5. Communauté active : Le projet étant open source et populaire, il bénéficie d'améliorations régulières et d'un support communautaire

Les aspects à anticiper :

  1. Consommation de ressources : Le mode Playwright, bien qu'indispensable pour les sites modernes, nécessite une configuration matérielle adaptée
  2. Sites difficiles : Certains sites déploient des protections anti-bot très efficaces qu'il faut accepter de ne pas pouvoir surveiller facilement
  3. Configuration initiale : Bien que Docker simplifie grandement l'installation, une familiarité avec Linux et la ligne de commande reste préférable
  4. Maintenance : Comme tout outil auto-hébergé, vous devez prévoir les mises à jour et la surveillance de l'infrastructure

Pour les professionnels IT, les webmasters, les veilleurs, les équipes de sécurité ou simplement les utilisateurs avertis souhaitant automatiser leur suivi du web, ChangeDetection.io constitue une solution pérenne et économique. L'investissement initial en temps d'installation et de configuration est rapidement amorti par le gain de temps quotidien et la réactivité qu'apporte l'automatisation.

Si vous gérez actuellement votre veille web manuellement, que vous consultez quotidiennement des dizaines de pages "au cas où" quelque chose aurait changé, ou que vous avez déjà raté des informations critiques par manque de réactivité, ChangeDetection résoudra ces problématiques de manière élégante.

L'outil évolue régulièrement, avec des contributions de sa communauté active. Je vous encourage à consulter le dépôt GitHub officiel pour découvrir les dernières fonctionnalités, signaler d'éventuels bugs, ou même contribuer au projet si vous en avez les compétences.

Enfin, n'oubliez pas que la surveillance automatisée du web s'accompagne d'une responsabilité éthique. Utilisez ChangeDetection de manière respectueuse envers les sites surveillés, avec des intervalles raisonnables, et dans le respect des cadres légaux applicables.

FAQ sur ChangeDetection

1. ChangeDetection est-il vraiment gratuit ?

Oui, absolument. ChangeDetection.io est un projet open source publié sous licence Apache 2.0. Si vous l'auto-hébergez sur votre propre serveur, vous pouvez l'utiliser gratuitement sans aucune limitation de fonctionnalités ni de nombre d'URLs surveillées. Les seuls coûts sont ceux de votre infrastructure (serveur, VPS, électricité si hébergement local). Les développeurs proposent également une offre SaaS payante hébergée pour ceux qui préfèrent une solution clé en main sans gestion technique.

2. Quelle configuration matérielle recommandez-vous ?

Cela dépend fortement de vos besoins. Pour une utilisation légère (10-20 URLs en mode Basic), un Raspberry Pi 4 avec 4 Go de RAM suffit largement. Pour 50-100 URLs avec utilisation modérée de Playwright, je recommande un VPS avec au minimum 4 Go de RAM et 2 cœurs CPU. Au-delà de 100 URLs avec un usage intensif de Playwright, prévoyez 8 Go de RAM ou plus. L'espace disque nécessaire dépend de la durée de conservation de l'historique : comptez 10 Go minimum, jusqu'à 50-100 Go si vous conservez des années d'historique sur de nombreuses pages.

3. Comment éviter de se faire bannir par les sites surveillés ?

Plusieurs mesures permettent de limiter ce risque : utilisez des intervalles de vérification raisonnables (au minimum 15-30 minutes pour des sites tiers, idéalement plusieurs heures), personnalisez votre User-Agent pour imiter un navigateur courant, activez le mode Playwright pour simuler un comportement humain, respectez les directives du fichier robots.txt des sites, et ajoutez un jitter pour randomiser légèrement les horaires de vérification. Si vous surveillez des sites particulièrement sensibles au scraping, envisagez l'utilisation de proxys rotatifs.

4. Puis-je surveiller des sites nécessitant une connexion ?

Oui, c'est possible grâce à la fonctionnalité Browser Steps. Vous pouvez scripter l'ensemble du processus de connexion : remplir le champ email, remplir le champ mot de passe, cliquer sur le bouton "Se connecter", attendre que la page soit chargée, puis surveiller le contenu souhaité. Attention toutefois, cette méthode stocke vos identifiants en clair dans la configuration ChangeDetection. Pour les sites critiques, assurez-vous de sécuriser correctement l'accès à votre instance. L'authentification à deux facteurs (2FA) complexifie significativement la démarche et peut la rendre impossible.

5. Quels types de fichiers peut-on surveiller ?

ChangeDetection supporte nativement les pages HTML, les documents PDF (avec extraction de texte par OCR), les flux JSON et XML, et les pages texte brutes. Pour les documents Word (DOCX), Excel (XLSX) ou autres formats Office, il faut généralement que ces fichiers soient convertis en HTML par le site hébergeant, ou utiliser des outils externes de conversion avant surveillance. Les images peuvent être surveillées via leur présence ou absence, mais ChangeDetection ne compare pas visuellement le contenu des images elles-mêmes.

6. Comment gérer un grand nombre de surveillances ?

L'organisation est cruciale. Utilisez systématiquement les tags/groupes pour catégoriser vos surveillances par projet, type de contenu, ou priorité. Définissez des intervalles de vérification différenciés selon l'urgence (certaines pages peuvent être vérifiées toutes les heures, d'autres une fois par jour ou semaine). Utilisez l'import en masse via fichier Excel pour ajouter rapidement de nombreuses URLs. Configurez le jitter global pour lisser la charge serveur. Enfin, exploitez l'API pour automatiser la création et la gestion des surveillances si vous dépassez plusieurs centaines d'éléments.

7. Peut-on limiter la surveillance à une partie spécifique d'une page ?

Absolument, c'est même recommandé pour éviter les faux positifs. Utilisez le Visual Selector pour sélectionner visuellement la zone qui vous intéresse, ou spécifiez directement un sélecteur CSS. Par exemple, si vous ne souhaitez surveiller que le prix d'un produit, ciblez uniquement l'élément HTML contenant ce prix. Vous pouvez aussi utiliser les filtres d'exclusion (Ignore Filters) pour ignorer les parties de la page qui changent constamment mais ne vous intéressent pas, comme les dates de dernière mise à jour, les compteurs de visiteurs, ou les sections publicitaires.

8. Comment visualiser l'historique des changements ?

Cliquez sur le bouton "History" à côté de n'importe quelle surveillance dans votre tableau de bord. ChangeDetection affiche alors tous les snapshots (instantanés) capturés au fil du temps. Pour chaque changement détecté, vous pouvez voir une vue "diff" qui met en évidence en rouge le contenu supprimé et en vert le contenu ajouté. L'onglet "Screenshot" montre une capture d'écran de la page au moment du changement (disponible uniquement en mode Playwright). Vous pouvez naviguer chronologiquement entre tous les snapshots pour suivre l'évolution complète de la page.

9. Quelle est la différence entre une pause et la désactivation des notifications ?

Mettre en pause une surveillance arrête complètement les vérifications. ChangeDetection ne visitera plus la page jusqu'à ce que vous réactiviez manuellement la surveillance. Aucune donnée n'est collectée pendant la pause. Désactiver les notifications, en revanche, maintient les vérifications actives : ChangeDetection continue à visiter la page, à détecter les changements et à les enregistrer dans l'historique, mais ne vous envoie simplement aucune alerte. Cette option est utile pour les surveillances dont vous consultez l'historique manuellement de façon périodique, ou temporairement si vous êtes en congés et ne souhaitez pas être dérangé.

10. Comment mettre à jour ChangeDetection vers une nouvelle version ?

Avec Docker, les mises à jour sont très simples. Positionnez-vous dans le répertoire de votre installation (cd /opt/docker-compose/changedetection), arrêtez les conteneurs (docker compose down), téléchargez les nouvelles images (docker compose pull), puis redémarrez (docker compose up -d). Vos données sont conservées dans le volume monté (dossier ./data), donc vous ne perdez aucune configuration ni historique. Je recommande de créer une sauvegarde avant toute mise à jour majeure via le bouton BACKUPS de l'interface. Consultez régulièrement le dépôt GitHub pour être informé des nouvelles versions et des fonctionnalités ajoutées.