Accéder au contenu principal

Un auto-entrepreneur passionné à votre service,

Pour votre projet de site internet et vos dépannages informatiques

GhostDesk : offrez un bureau Linux complet à votre agent IA

Publié le 13 Juin 2026, dernière mise à jour le 5 Juin 2026

Et si votre agent IA pouvait prendre le contrôle d'un vrai bureau Linux — voir l'écran, déplacer la souris, taper au clavier, ouvrir des applications — exactement comme le ferait un être humain ? C'est précisément ce que propose GhostDesk, un serveur MCP open source créé par Yoann Vanitou. Son créateur m'a contacté par e-mail pour me présenter son projet, et j'ai trouvé l'idée suffisamment originale pour vous en faire une présentation complète. Que vous soyez développeur, responsable informatique ou simplement curieux des nouvelles capacités de l'IA, il y a de bonnes chances que GhostDesk vous surprenne.

Qu'est-ce que GhostDesk ?

GhostDesk est un serveur MCP (Model Context Protocol) open source qui fait tourner un bureau Linux complet à l'intérieur d'un conteneur Docker, puis l'expose à votre agent IA via une interface standardisée. En clair : votre agent dispose d'un environnement de travail graphique isolé, dans lequel il peut naviguer, interagir et exécuter des tâches, sans jamais toucher à votre système hôte.

Le protocole MCP, popularisé notamment par Anthropic, est une norme qui permet à des agents IA de se connecter à des outils et des ressources externes de façon structurée. GhostDesk tire parti de cette architecture pour transformer un bureau virtuel en un outil pleinement pilotable par l'IA.

En résumé : GhostDesk = un conteneur Docker avec un bureau Linux + un serveur MCP en façade + votre agent IA qui prend les commandes.

Comment fonctionne GhostDesk concrètement ?

À l'intérieur du conteneur, on trouve un bureau Linux minimal équipé de quelques applications pré-installées : Firefox, un terminal, un éditeur de texte et une calculatrice. Le serveur MCP est accessible en frontal sur http://localhost:3000/mcp.

Le cycle de fonctionnement est le suivant : l'agent demande une capture d'écran via la fonction screen_shot(), qui renvoie l'image du bureau en pleine résolution au format WebP (ou PNG). Il analyse ce qu'il voit, détermine l'action à entreprendre, puis envoie des commandes à travers un ensemble d'outils MCP exposés. Un argument optionnel region= permet même de cibler une zone précise de l'écran pour affiner la perception.

Voici les principaux types d'actions disponibles :

  • Clic simple, double-clic, clic droit
  • Glisser-déposer (drag & drop)
  • Défilement (scroll)
  • Saisie de texte au clavier
  • Appui sur des touches spéciales (Entrée, Tab, raccourcis clavier…)
  • Copier / coller
  • Lancement d'applications

Ce qui rend l'expérience particulièrement intéressante : il est possible d'observer l'agent travailler en direct depuis votre navigateur, sur le port 6080, grâce à noVNC. Regarder une IA naviguer seule dans Firefox ou interagir avec un logiciel graphique est, je dois le reconnaître, assez fascinant.

GhostDesk vs Playwright et les outils d'automatisation classiques

On pense souvent aux outils comme Playwright, Puppeteer ou Selenium lorsqu'il s'agit d'automatiser des interactions avec une interface. Ces solutions sont efficaces, mais elles sont limitées au navigateur web. Dès qu'on sort du contexte d'une page HTML, elles ne peuvent rien faire.

GhostDesk fonctionne différemment : puisque l'agent interprète des captures d'écran, il peut interagir avec absolument n'importe quelle interface graphique, qu'elle soit web ou native. Voici quelques cas concrets où cette approche change la donne :

Comparaison GhostDesk vs outils d'automatisation classiques
Critère Playwright / Puppeteer GhostDesk
Portée Navigateur web uniquement Toute interface graphique (web, native, legacy)
Méthode d'interaction Sélecteurs CSS / DOM Capture d'écran + commandes souris/clavier
Compatibilité logicielle Applications web modernes ERP, LibreOffice, IDE, clients mail, logiciels legacy…
Maintenance du code Sélecteurs fragiles, à maintenir Aucun sélecteur : l'agent s'adapte visuellement
Isolation / sécurité Dépend de la configuration Sandbox Docker : aucun accès au système hôte
Sources : documentation officielle GhostDesk, GitHub YV17labs

L'absence totale de sélecteurs CSS est un avantage majeur pour les workflows complexes mêlant plusieurs applications : l'agent interprète l'écran directement, ce qui le rend bien plus robuste face aux mises à jour d'interface.

Confidentialité, modèles locaux et cas d'usage sensibles

C'est sans doute l'un des atouts les plus différenciants de GhostDesk : la possibilité de l'utiliser entièrement en local, sans aucune donnée sortant de votre réseau.

GhostDesk est conçu pour fonctionner avec des modèles de langage locaux comme Qwen (développé par Alibaba Cloud) sur une workstation équipée d'un GPU. Dans ce scénario, il n'y a aucun appel à une API externe, donc aucun coût récurrent et aucun risque de fuite de données.

Cela ouvre la porte à des cas d'usage jusqu'ici difficilement envisageables avec des solutions cloud :

  • Automatisation sur des données de santé (RGPD, HDS)
  • Comptabilité et données financières sensibles
  • Systèmes d'information internes d'entreprise
  • Environnements industriels ou gouvernementaux soumis à des contraintes réglementaires

Il est également possible d'utiliser GhostDesk avec des modèles cloud comme Claude (Anthropic), ChatGPT (OpenAI), Gemini (Google), Llama ou Mistral. Ces alternatives sont tout à fait fonctionnelles, mais impliquent les compromis habituels : latence réseau et envoi de captures d'écran à un service tiers, ce qui peut poser des questions de confidentialité selon votre contexte.

Attention : si vous utilisez GhostDesk avec un modèle cloud (Claude, ChatGPT, Gemini…), les captures d'écran du bureau virtuel sont transmises aux serveurs du fournisseur. Veillez à ne pas exposer d'informations sensibles dans cet environnement.

Clients MCP compatibles

GhostDesk s'intègre nativement avec les principaux environnements de développement et clients MCP du marché. Parmi les clients officiellement supportés, on trouve :

  • Claude Code (Anthropic)
  • Cursor
  • Visual Studio Code (VSCode)
  • OpenCode
  • OpenClaw
  • Tout client respectant le protocole MCP standard

L'architecture est donc agnostique : vous choisissez le modèle et l'environnement qui vous conviennent, sans dépendance à un écosystème particulier.

Installation et prise en main

L'un des points forts de GhostDesk, c'est sa simplicité de démarrage. Une seule condition préalable : avoir Docker installé sur votre machine.

Pour lancer GhostDesk en mode démonstration rapide, une seule commande suffit :

docker run -d --name ghostdesk-demo \
  --shm-size 2g \
  -p 3000:3000 \
  -p 6080:6080 \
  ghcr.io/yv17labs/ghostdesk:latest

Une fois le conteneur démarré :

  • Connectez votre client MCP à http://localhost:3000/mcp
  • Ouvrez http://localhost:6080 dans votre navigateur pour observer le bureau en direct

Important : cette configuration sans authentification est réservée à un test rapide en local sur une machine de confiance. Ne l'exposez jamais sur un réseau partagé ou sur Internet dans cet état.

Sécuriser le déploiement pour la production

Pour un usage en production ou dans un environnement multi-utilisateurs, GhostDesk propose un mode sécurisé combinant :

  • TLS : chiffrement du transport pour les communications avec le serveur MCP
  • Bearer token : authentification par jeton pour restreindre l'accès au point d'entrée MCP
  • Isolation Docker : le bureau virtuel tourne dans un sandbox totalement séparé du système hôte

Exposer un bureau Linux non protégé sur le réseau serait évidemment une très mauvaise idée : ces mécanismes de sécurité sont donc essentiels dès lors qu'on sort d'un contexte purement local.

Personnalisation : construire votre propre image Docker

Les applications pré-installées dans l'image par défaut sont volontairement limitées au minimum utile. GhostDesk propose également une image :base encore plus dépouillée — sans aucune application GUI — conçue précisément pour servir de fondation à vos propres images personnalisées.

Il est par exemple très simple d'ajouter Chromium et LibreOffice Calc dans une image dérivée :

FROM ghcr.io/yv17labs/ghostdesk:base
RUN apt-get update \
    && apt-get install -y --no-install-recommends \
       chromium-browser \
       libreoffice-calc \
    && rm -rf /var/lib/apt/lists/*

Cette flexibilité est particulièrement appréciable pour des workflows spécialisés : intégration d'un logiciel métier propriétaire, d'un client de messagerie, d'un ERP, ou de tout autre outil graphique que vous souhaitez confier à votre agent.

Cas d'usage : qui peut en tirer profit ?

GhostDesk est pensé pour être accessible à tous les profils, de l'utilisateur non-technique au développeur expérimenté :

Développeurs et DevOps
Automatisation de pipelines impliquant des interfaces graphiques, tests d'applications legacy, orchestration d'outils sans API.
Responsables IT et DSI
Automatisation de tâches répétitives sur des logiciels internes, sans exposer de données à des services cloud.
Professions réglementées (santé, finance, juridique)
Agents IA opérant en local sur des données sensibles, avec traçabilité complète et aucune sortie de données hors du périmètre.
Chercheurs et étudiants
Expérimentation avec des agents autonomes dans un environnement sandbox sécurisé, sans risque pour le système hôte.
Particuliers et curieux
Découverte concrète de ce que peut faire un agent IA lorsqu'il dispose d'un environnement graphique complet.

Licence : ce que vous pouvez (et ne pouvez pas) faire

GhostDesk est distribué sous la licence FSL-1.1-ALv2 (Functional Source License, Version 1.1, ALv2 Future License). Cette licence mérite quelques explications, car elle est assez différente d'une licence open source classique.

Concrètement, voici ce qu'elle implique :

  • Usage interne autorisé, y compris commercial : vous pouvez utiliser GhostDesk pour automatiser vos propres processus internes, même si ces workflows génèrent du chiffre d'affaires pour votre entreprise.
  • Usage éducatif et recherche : libre et sans restriction.
  • Services professionnels : vous pouvez proposer des prestations à des clients qui utilisent GhostDesk, dans le respect de la licence.
  • Usage concurrent interdit : vous ne pouvez pas revendre GhostDesk, le proposer en tant que service managé, ni construire un produit concurrent basé sur lui, sans contacter l'éditeur pour une licence commerciale.
  • Bascule vers Apache 2.0 : après une période de deux ans, chaque version du logiciel bascule automatiquement sous licence Apache 2.0, une licence open source reconnue et permissive.

Le fichier LICENSE du dépôt GitHub fait foi. Ce résumé est fourni à titre informatif et ne constitue pas un avis juridique.

État du projet et comment contribuer

GhostDesk est un projet encore jeune, dont le développement repose principalement sur son créateur, Yoann Vanitou. Si le projet vous intéresse et que vous souhaitez contribuer — que ce soit via du code, des retours d'expérience, des rapports de bugs ou simplement en laissant une étoile sur le dépôt GitHub — n'hésitez pas à vous rendre sur le dépôt officiel GhostDesk sur GitHub.

Le projet dispose également d'un site officiel sur yv17labs.com, où vous trouverez des informations sur la roadmap et les offres à venir, notamment une déclinaison SaaS pour ceux qui ne souhaitent pas gérer l'infrastructure eux-mêmes.

Conclusion : pour qui vaut le coup d'œil ?

GhostDesk répond à un besoin réel et bien identifié : donner à un agent IA les moyens d'agir sur n'importe quelle interface graphique, sans les contraintes des outils d'automatisation limités au navigateur, et sans compromettre la confidentialité des données.

Si vous cherchez à automatiser des workflows impliquant des logiciels graphiques, à brancher un agent local sur un bureau virtuel sans payer d'API, ou à explorer ce que peut réellement faire une IA lorsqu'elle dispose d'un vrai environnement de travail, GhostDesk mérite clairement votre attention. Le projet est encore en phase de développement actif, ce qui signifie qu'il évoluera rapidement — et que vos contributions peuvent avoir un impact direct.

Un projet à suivre de près.