Combien de fois par semaine devez-vous changer le format d'un fichier ? Chez moi, c'est presque tous les jours. Une capture d'écran en PNG trop lourde pour un mail, une photo HEIC venue d'un iPhon...
GhostDesk : offrez un bureau Linux complet à votre agent IA
Et si votre agent IA pouvait prendre le contrôle d'un vrai bureau Linux — voir l'écran, déplacer la souris, taper au clavier, ouvrir des applications — exactement comme le ferait un être humain ? C'est précisément ce que propose GhostDesk, un serveur MCP open source créé par Yoann Vanitou. Son créateur m'a contacté par e-mail pour me présenter son projet, et j'ai trouvé l'idée suffisamment originale pour vous en faire une présentation complète. Que vous soyez développeur, responsable informatique ou simplement curieux des nouvelles capacités de l'IA, il y a de bonnes chances que GhostDesk vous surprenne.
Qu'est-ce que GhostDesk ?
GhostDesk est un serveur MCP (Model Context Protocol) open source qui fait tourner un bureau Linux complet à l'intérieur d'un conteneur Docker, puis l'expose à votre agent IA via une interface standardisée. En clair : votre agent dispose d'un environnement de travail graphique isolé, dans lequel il peut naviguer, interagir et exécuter des tâches, sans jamais toucher à votre système hôte.
Le protocole MCP, popularisé notamment par Anthropic, est une norme qui permet à des agents IA de se connecter à des outils et des ressources externes de façon structurée. GhostDesk tire parti de cette architecture pour transformer un bureau virtuel en un outil pleinement pilotable par l'IA.
En résumé : GhostDesk = un conteneur Docker avec un bureau Linux + un serveur MCP en façade + votre agent IA qui prend les commandes.
Comment fonctionne GhostDesk concrètement ?
À l'intérieur du conteneur, on trouve un bureau Linux minimal équipé de quelques applications pré-installées : Firefox, un terminal, un éditeur de texte et une calculatrice. Le serveur MCP est accessible en frontal sur http://localhost:3000/mcp.
Le cycle de fonctionnement est le suivant : l'agent demande une capture d'écran via la fonction screen_shot(), qui renvoie l'image du bureau en pleine résolution au format WebP (ou PNG). Il analyse ce qu'il voit, détermine l'action à entreprendre, puis envoie des commandes à travers un ensemble d'outils MCP exposés. Un argument optionnel region= permet même de cibler une zone précise de l'écran pour affiner la perception.
Voici les principaux types d'actions disponibles :
- Clic simple, double-clic, clic droit
- Glisser-déposer (drag & drop)
- Défilement (scroll)
- Saisie de texte au clavier
- Appui sur des touches spéciales (Entrée, Tab, raccourcis clavier…)
- Copier / coller
- Lancement d'applications
Ce qui rend l'expérience particulièrement intéressante : il est possible d'observer l'agent travailler en direct depuis votre navigateur, sur le port 6080, grâce à noVNC. Regarder une IA naviguer seule dans Firefox ou interagir avec un logiciel graphique est, je dois le reconnaître, assez fascinant.
GhostDesk vs Playwright et les outils d'automatisation classiques
On pense souvent aux outils comme Playwright, Puppeteer ou Selenium lorsqu'il s'agit d'automatiser des interactions avec une interface. Ces solutions sont efficaces, mais elles sont limitées au navigateur web. Dès qu'on sort du contexte d'une page HTML, elles ne peuvent rien faire.
GhostDesk fonctionne différemment : puisque l'agent interprète des captures d'écran, il peut interagir avec absolument n'importe quelle interface graphique, qu'elle soit web ou native. Voici quelques cas concrets où cette approche change la donne :
| Critère | Playwright / Puppeteer | GhostDesk |
|---|---|---|
| Portée | Navigateur web uniquement | Toute interface graphique (web, native, legacy) |
| Méthode d'interaction | Sélecteurs CSS / DOM | Capture d'écran + commandes souris/clavier |
| Compatibilité logicielle | Applications web modernes | ERP, LibreOffice, IDE, clients mail, logiciels legacy… |
| Maintenance du code | Sélecteurs fragiles, à maintenir | Aucun sélecteur : l'agent s'adapte visuellement |
| Isolation / sécurité | Dépend de la configuration | Sandbox Docker : aucun accès au système hôte |
| Sources : documentation officielle GhostDesk, GitHub YV17labs | ||
L'absence totale de sélecteurs CSS est un avantage majeur pour les workflows complexes mêlant plusieurs applications : l'agent interprète l'écran directement, ce qui le rend bien plus robuste face aux mises à jour d'interface.
Confidentialité, modèles locaux et cas d'usage sensibles
C'est sans doute l'un des atouts les plus différenciants de GhostDesk : la possibilité de l'utiliser entièrement en local, sans aucune donnée sortant de votre réseau.
GhostDesk est conçu pour fonctionner avec des modèles de langage locaux comme Qwen (développé par Alibaba Cloud) sur une workstation équipée d'un GPU. Dans ce scénario, il n'y a aucun appel à une API externe, donc aucun coût récurrent et aucun risque de fuite de données.
Cela ouvre la porte à des cas d'usage jusqu'ici difficilement envisageables avec des solutions cloud :
- Automatisation sur des données de santé (RGPD, HDS)
- Comptabilité et données financières sensibles
- Systèmes d'information internes d'entreprise
- Environnements industriels ou gouvernementaux soumis à des contraintes réglementaires
Il est également possible d'utiliser GhostDesk avec des modèles cloud comme Claude (Anthropic), ChatGPT (OpenAI), Gemini (Google), Llama ou Mistral. Ces alternatives sont tout à fait fonctionnelles, mais impliquent les compromis habituels : latence réseau et envoi de captures d'écran à un service tiers, ce qui peut poser des questions de confidentialité selon votre contexte.
Attention : si vous utilisez GhostDesk avec un modèle cloud (Claude, ChatGPT, Gemini…), les captures d'écran du bureau virtuel sont transmises aux serveurs du fournisseur. Veillez à ne pas exposer d'informations sensibles dans cet environnement.
Clients MCP compatibles
GhostDesk s'intègre nativement avec les principaux environnements de développement et clients MCP du marché. Parmi les clients officiellement supportés, on trouve :
- Claude Code (Anthropic)
- Cursor
- Visual Studio Code (VSCode)
- OpenCode
- OpenClaw
- Tout client respectant le protocole MCP standard
L'architecture est donc agnostique : vous choisissez le modèle et l'environnement qui vous conviennent, sans dépendance à un écosystème particulier.
Installation et prise en main
L'un des points forts de GhostDesk, c'est sa simplicité de démarrage. Une seule condition préalable : avoir Docker installé sur votre machine.
Pour lancer GhostDesk en mode démonstration rapide, une seule commande suffit :
docker run -d --name ghostdesk-demo \
--shm-size 2g \
-p 3000:3000 \
-p 6080:6080 \
ghcr.io/yv17labs/ghostdesk:latest
Une fois le conteneur démarré :
- Connectez votre client MCP à
http://localhost:3000/mcp - Ouvrez
http://localhost:6080dans votre navigateur pour observer le bureau en direct
Important : cette configuration sans authentification est réservée à un test rapide en local sur une machine de confiance. Ne l'exposez jamais sur un réseau partagé ou sur Internet dans cet état.
Sécuriser le déploiement pour la production
Pour un usage en production ou dans un environnement multi-utilisateurs, GhostDesk propose un mode sécurisé combinant :
- TLS : chiffrement du transport pour les communications avec le serveur MCP
- Bearer token : authentification par jeton pour restreindre l'accès au point d'entrée MCP
- Isolation Docker : le bureau virtuel tourne dans un sandbox totalement séparé du système hôte
Exposer un bureau Linux non protégé sur le réseau serait évidemment une très mauvaise idée : ces mécanismes de sécurité sont donc essentiels dès lors qu'on sort d'un contexte purement local.
Personnalisation : construire votre propre image Docker
Les applications pré-installées dans l'image par défaut sont volontairement limitées au minimum utile. GhostDesk propose également une image :base encore plus dépouillée — sans aucune application GUI — conçue précisément pour servir de fondation à vos propres images personnalisées.
Il est par exemple très simple d'ajouter Chromium et LibreOffice Calc dans une image dérivée :
FROM ghcr.io/yv17labs/ghostdesk:base
RUN apt-get update \
&& apt-get install -y --no-install-recommends \
chromium-browser \
libreoffice-calc \
&& rm -rf /var/lib/apt/lists/*
Cette flexibilité est particulièrement appréciable pour des workflows spécialisés : intégration d'un logiciel métier propriétaire, d'un client de messagerie, d'un ERP, ou de tout autre outil graphique que vous souhaitez confier à votre agent.
Cas d'usage : qui peut en tirer profit ?
GhostDesk est pensé pour être accessible à tous les profils, de l'utilisateur non-technique au développeur expérimenté :
- Développeurs et DevOps
- Automatisation de pipelines impliquant des interfaces graphiques, tests d'applications legacy, orchestration d'outils sans API.
- Responsables IT et DSI
- Automatisation de tâches répétitives sur des logiciels internes, sans exposer de données à des services cloud.
- Professions réglementées (santé, finance, juridique)
- Agents IA opérant en local sur des données sensibles, avec traçabilité complète et aucune sortie de données hors du périmètre.
- Chercheurs et étudiants
- Expérimentation avec des agents autonomes dans un environnement sandbox sécurisé, sans risque pour le système hôte.
- Particuliers et curieux
- Découverte concrète de ce que peut faire un agent IA lorsqu'il dispose d'un environnement graphique complet.
Licence : ce que vous pouvez (et ne pouvez pas) faire
GhostDesk est distribué sous la licence FSL-1.1-ALv2 (Functional Source License, Version 1.1, ALv2 Future License). Cette licence mérite quelques explications, car elle est assez différente d'une licence open source classique.
Concrètement, voici ce qu'elle implique :
- Usage interne autorisé, y compris commercial : vous pouvez utiliser GhostDesk pour automatiser vos propres processus internes, même si ces workflows génèrent du chiffre d'affaires pour votre entreprise.
- Usage éducatif et recherche : libre et sans restriction.
- Services professionnels : vous pouvez proposer des prestations à des clients qui utilisent GhostDesk, dans le respect de la licence.
- Usage concurrent interdit : vous ne pouvez pas revendre GhostDesk, le proposer en tant que service managé, ni construire un produit concurrent basé sur lui, sans contacter l'éditeur pour une licence commerciale.
- Bascule vers Apache 2.0 : après une période de deux ans, chaque version du logiciel bascule automatiquement sous licence Apache 2.0, une licence open source reconnue et permissive.
Le fichier LICENSE du dépôt GitHub fait foi. Ce résumé est fourni à titre informatif et ne constitue pas un avis juridique.
État du projet et comment contribuer
GhostDesk est un projet encore jeune, dont le développement repose principalement sur son créateur, Yoann Vanitou. Si le projet vous intéresse et que vous souhaitez contribuer — que ce soit via du code, des retours d'expérience, des rapports de bugs ou simplement en laissant une étoile sur le dépôt GitHub — n'hésitez pas à vous rendre sur le dépôt officiel GhostDesk sur GitHub.
Le projet dispose également d'un site officiel sur yv17labs.com, où vous trouverez des informations sur la roadmap et les offres à venir, notamment une déclinaison SaaS pour ceux qui ne souhaitent pas gérer l'infrastructure eux-mêmes.
Conclusion : pour qui vaut le coup d'œil ?
GhostDesk répond à un besoin réel et bien identifié : donner à un agent IA les moyens d'agir sur n'importe quelle interface graphique, sans les contraintes des outils d'automatisation limités au navigateur, et sans compromettre la confidentialité des données.
Si vous cherchez à automatiser des workflows impliquant des logiciels graphiques, à brancher un agent local sur un bureau virtuel sans payer d'API, ou à explorer ce que peut réellement faire une IA lorsqu'elle dispose d'un vrai environnement de travail, GhostDesk mérite clairement votre attention. Le projet est encore en phase de développement actif, ce qui signifie qu'il évoluera rapidement — et que vos contributions peuvent avoir un impact direct.
Un projet à suivre de près.
Articles qui pourraient vous intéresser
Windows 11 : Microsoft met en pause ses nouvelles animations de chargement mais renforce la confidentialité
Le 30 octobre 2026, Microsoft a publié deux nouvelles builds de Windows 11 sur le canal Beta du programme Insider. La première chose qu'on remarque, c'est un retour en arrière : les animations d...
Pulse Diagnostics : l'outil gratuit qui traduit enfin les journaux d'événements de Windows
Un écran bleu en pleine visio, un PC qui redémarre tout seul pendant la nuit, un service qui ne veut plus démarrer après une mise à jour… Dans presque tous les cas, Windows a noté quelque p...
Modes de permission de Claude Code : les 6 réglages expliqués et comment choisir le bon
J'utilise Claude Code presque tous les jours, et j'ai vite compris qu'une bonne partie du confort d'utilisation s...
Comparateur IA gratuit : QUELLE IA classe 250 modèles pour trouver celui qu'il vous faut
Quand un client ou un proche me demande quelle IA prendre, je ne réponds jamais du premier coup. Je pose d'abord mes questions : c'est pour coder ou pour écrire des mails ? Gratuit ou payant ? Da...
IA générative au bureau : quand le gain de productivité ouvre la porte aux fuites de données
Rédiger un mail en trente secondes, résumer un contrat de vingt pages, corriger un tableau Excel récalcitrant : l'IA générative a conquis les bureaux. Mais elle y est souvent entrée par la po...
Claude Duet : l'agent IA proactif d'Anthropic qui veut épauler les pros face à Muse de Meta
Depuis la rentrée, les géants de l'IA ne parlent plus que d'agents. Meta a ouvert le bal avec Muse début septembre, OpenAI a suivi avec ses Dots, et Anthropic a abattu sa carte le mercredi 21 oc...
Claude Code s'ouvre aux mods pour se personnaliser
Le 1er octobre 2026, une semaine après la sortie des sessions cloud de leur phase d'aperçu, Anthropic a ajouté à
Trier une boîte de réception qui déborde, retrouver la facture d'un fournisseur reçue il y a trois mois, préparer une réponse à un fil de discussion de quinze messages : ce sont des tâches ...
Gérer ses e-mails Thunderbird avec une IA grâce au protocole MCP : le tutoriel complet
Meilleure IA pour le développement web : mon décryptage du classement WebDev Arena de novembre 2026
Claude Opus 5.5 est toujours premier de la WebDev Arena, le classement où les IA s'affrontent sur la création...
