Dire « Hey Jarvis » à son ordinateur et le voir allumer les lumières, lancer un direct sur OBS ou expliquer le message d'erreur affiché à l'écran : beaucoup de bidouilleurs en rêvent depuis le premier Iron Man. Un particulier a publié sur GitHub un projet qui s'en approche sérieusement. Il tourne sur un PC Windows, comprend le français, lit votre agenda, résume une page web et peut même passer un coup de téléphone à votre place.

Je ne l'ai pas encore installé chez moi. J'ai en revanche passé un bon moment dans son code et dans sa documentation pour comprendre ce qu'il fait vraiment, comment il protège vos données et combien il coûte à l'usage. Voici ce que j'en retiens, avec en bonus un comparatif face aux autres assistants vocaux libres.

D'où vient Jarvis ?

Le dépôt s'appelle jarvis-assistant-vocal. Il est publié par l'utilisateur GitHub sosoj92, sous licence MIT, donc réutilisable et modifiable librement, y compris dans un cadre professionnel. La première version publique, la 1.0.0, date du 7 août 2026. Fin septembre, le projet approchait les 400 étoiles sur GitHub, ce qui est honorable pour un outil documenté presque uniquement en français.

L'auteur le présente comme un projet personnel « partagé tel quel ». Il précise aussi qu'il l'a construit avec Claude Code, l'assistant de programmation d'Anthropic. Ce détail explique le rythme de développement : les commits tombent presque tous les jours. Entre la première version du README que j'ai lue et celle que j'ai retrouvée fin septembre 2026, le fournisseur d'IA cloud par défaut était passé de Claude à OpenAI, et les deux modes de fonctionnement étaient devenus trois. Si vous lisez cet article dans quelques semaines, certains détails auront sans doute encore bougé.

Côté prérequis, la cible est claire : Windows 11, Python 3.13, le gestionnaire de paquets uv et un micro. Tout le reste est optionnel. Chaque intégration que vous ne configurez pas se désactive toute seule, sans faire planter le reste de l'assistant. C'est un bon point pour démarrer petit.

Ce que Jarvis sait faire au quotidien

La liste des fonctions est longue. C'est ce qui rend le projet attirant, et c'est aussi ce qui peut décourager au premier abord. Pour y voir plus clair, je les ai regroupées par usage.

La voix avant tout

On dit « Hey Jarvis », on parle normalement, il répond à voix haute. Après chaque réponse, il reste à l'écoute une dizaine de secondes : pas besoin de répéter le mot d'activation pour enchaîner une deuxième demande. On peut aussi lui couper la parole en disant « attends » ou « stop » pendant qu'il parle, grâce à un système anti-écho réglable qui évite qu'il s'interrompe en entendant sa propre voix.

Trois personnalités sont disponibles : un majordome sarcastique (le réglage par défaut, clin d'œil assumé au film), un ton neutre et un mode concis. On passe de l'une à l'autre à la voix.

La domotique et le contrôle du PC

Pour la maison, Jarvis pilote les ampoules Philips Hue via l'API locale du pont, sans passer par le cloud de Signify. Il sait gérer des ambiances composées (« mode film », « je m'en vais ») et déclencher une scène quand votre téléphone quitte le Wi-Fi ou y revient. Alexa, via une API non officielle, et Google Home, marqué expérimental, sont aussi branchés. J'y reviens dans les limites.

Sur l'ordinateur, il lance des applications et des jeux, règle le volume, donne la température et la charge de la carte graphique, et peut éteindre la machine après confirmation, avec un délai que vous pouvez annuler. Les streamers ont droit au contrôle d'OBS Studio : lancer ou couper le direct, enregistrer, changer de scène, sauvegarder un replay d'un simple « clippe ça ».

La vision d'écran

« C'est quoi cette erreur ? », « lis ça », « traduis ». Jarvis fait une capture d'écran et l'envoie au modèle d'IA, qui vous répond oralement. Pour quelqu'un comme moi qui passe ses journées entre des logs serveur, des back-offices Joomla et des messages d'erreur PHP, c'est probablement la fonction la plus utile au quotidien. Plus besoin de copier le message dans un chatbot : on le montre, on pose la question.

Agenda, mails, navigateur et réservations

Jarvis lit tous vos agendas Google Agenda, y compris ceux auxquels vous êtes abonné en iCal, et peut créer ou supprimer un événement après confirmation. Il résume vos mails Gmail, récapitule les mentions Discord du jour et suit l'évolution de vos abonnés Instagram par rapport à la veille.

Il travaille aussi directement dans votre Chrome : résumer ou traduire l'onglet actif, fermer des onglets, cliquer, faire défiler. La fonction la plus ambitieuse réserve une table sur TheFork ou un rendez-vous sur Doctolib en pilotant un vrai navigateur. Il s'arrête devant le bouton final et vous demande votre accord avant de valider.

Le téléphone et l'iPhone

Avec un compte Twilio, Jarvis peut appeler un numéro, se présenter comme assistant automatisé, poser une question et vous résumer la réponse. Une version en conversation temps réel existe aussi. Dans l'autre sens, un pont iPhone permet d'envoyer une note ou une commande depuis l'app Raccourcis d'iOS, donc depuis Siri. Votre iPhone devient une télécommande à distance.

Tout le reste

La liste continue. Une mémoire long terme retient vos préférences et le nom de vos proches. Une reconnaissance musicale façon Shazam identifie le morceau qui passe dans la pièce ou dans une vidéo, et peut l'ajouter à une playlist Spotify. Un contrôle par gestes via la webcam pilote lumières, médias et fenêtres, entièrement en local, sans qu'aucune image ne sorte de la machine.

Une petite fenêtre flottante affiche à l'écrit ce que dit Jarvis. Elle ne prend jamais le focus et reste invisible dans OBS, ce qui évite de polluer un stream. Des satellites audio réseau, pour l'instant sur Raspberry Pi ou Linux, permettent de mettre un micro et un haut-parleur dans la cuisine ou le salon, le PC restant le cerveau central. Enfin, une grosse partie du projet sert à la création de contenu : base d'inspirations Instagram et TikTok transcrites, génération d'idées et de scripts, suivi d'un pipeline vidéo de l'idée à la publication.

Comment Jarvis fonctionne sous le capot

L'architecture est classique, mais bien découpée. openWakeWord écoute le micro en permanence et détecte le « Hey Jarvis ». Dès qu'il se déclenche, faster-whisper transcrit votre phrase directement sur la machine. La transcription ne passe jamais par le cloud, quel que soit le mode choisi. Le texte part ensuite vers un modèle de langage, qui décide de répondre directement ou d'appeler un ou plusieurs outils. Le résultat est enfin lu par un moteur de synthèse vocale.

Chaque outil est une simple fonction Python décorée par @outil(...) et rangée dans le dossier tools/. Au démarrage, Jarvis les découvre tout seul. Il n'y a aucune liste centrale à tenir à jour, ce qui rend le projet très facile à étendre. J'en montre un exemple plus bas.

Deux interfaces locales complètent l'ensemble. Un « HUD » en forme d'orbe, accessible sur http://127.0.0.1:8770, affiche l'état de Jarvis et donne accès aux réglages courants. Un panneau web, sur http://localhost:8790/panneau, sert à choisir et tester les modèles, à voir l'état de chaque service, à gérer les permissions et à suivre le budget. Ce panneau refuse toute requête qui ne vient pas de la machine elle-même, même si le port est exposé par un tunnel ngrok. Une précaution que beaucoup de projets amateurs oublient.

Local, hybride ou qualité : quel mode choisir ?

Le choix du mode se fait en une ligne dans le fichier de configuration, ou à la voix (« passe en local », « mode qualité »). Le modèle de langage et la voix se choisissent séparément. Aujourd'hui, OpenAI et Claude sont intégrés côté cloud, et l'auteur prévoit d'autres fournisseurs par connecteur.

Les trois modes de fonctionnement de Jarvis
Mode Modèle de langage Voix Coût Pour qui ?
Local Ollama (qwen3.5:4b par défaut) Piper, Kokoro ou voix Windows Électricité uniquement Ceux qui ne veulent rien envoyer sur Internet et disposent d'une carte graphique correcte
Hybride (défaut) Profil économique d'OpenAI ou de Claude ElevenLabs ou voix locale Quelques centimes par jour avec un usage normal L'usage courant, avec les tâches longues confiées à Hermes
Qualité Profil le plus puissant du même fournisseur ElevenLabs ou voix locale Plus élevé, à réserver aux demandes ponctuelles Les demandes complexes : analyse, rédaction, raisonnement long
Dans les trois modes, la transcription de votre voix reste locale grâce à faster-whisper.

La documentation du mode local est honnête, ce qui est assez rare pour être signalé. Un petit modèle se perd quand on lui présente trop d'outils à la fois, donc Jarvis n'en expose que 24 sur une cinquantaine en local. Les fonctions qui demandent de la vision (navigateur, réservations, capture d'écran) restent réservées au cloud.

Côté matériel, l'auteur annonce qu'une carte graphique avec 6 Go de VRAM, du type RTX 3060, fait tourner ensemble Whisper medium (environ 2 à 3 Go) et qwen3.5:4b (environ 3 Go). Un script de diagnostic, scripts/doctor.py, conseille le modèle adapté à votre carte. Sans carte graphique dédiée, visez plutôt le mode hybride.

Le mode hybride embarque aussi un suivi des dépenses par fournisseur : modèle de langage, ElevenLabs et Twilio. On peut fixer un plafond journalier et un plafond mensuel. Jarvis vous prévient à voix haute à 80 %, bascule automatiquement en local quand le plafond est atteint, puis revient au mode normal le lendemain. C'est exactement le genre de garde-fou qui évite la mauvaise surprise sur la facture de l'API en fin de mois.

Jarvis et Hermes : l'un réfléchit, l'autre agit

Le projet s'appuie sur un second agent, Hermes Agent, un agent open source publié par Nous Research début 2026. On le fait tourner dans un conteneur Docker, idéalement dans une machine virtuelle Ubuntu isolée. La règle posée par l'auteur tient en une phrase : Hermes réfléchit, Jarvis agit.

Concrètement, quand vous dites « délègue à Hermes : compare les trois meilleurs micros pour le streaming », Jarvis vous répond tout de suite, lance la recherche en arrière-plan et vous prévient à voix haute quand le résultat arrive. Vous n'attendez pas devant votre écran.

Hermes n'a aucun identifiant dans son environnement. Il lit certains dossiers en lecture seule, n'écrit que des brouillons et n'accède aux outils de Jarvis que par le serveur MCP, avec une liste blanche très courte au départ : heure, météo, statistiques système et deux outils de contenu. Ce qu'il renvoie passe par un filtre qui masque les adresses mail, les clés et les numéros avant d'être lu à voix haute.

Hermes reste optionnel. Jarvis fonctionne très bien sans lui, et c'est probablement la dernière brique que j'installerais.

La sécurité, ce qui m'a le plus convaincu

Donner à une IA la main sur son navigateur, sa boîte mail et son téléphone fait peur, et c'est normal. Le projet prend le sujet au sérieux, et c'est ce qui m'a le plus convaincu en lisant le code. Chaque outil reçoit un niveau de permission :

N1 : actions sûres
Allumer une lumière, lire la météo ou l'heure, consulter une information. Ces actions s'exécutent sans confirmation.
N2 : actions sensibles mais réversibles
Jarvis demande confirmation. Vous pouvez répondre « oui, toujours » pour ne plus être sollicité, et révoquer ce choix plus tard depuis le panneau web.
N3 : actions critiques
Envoi de mail, appel téléphonique, réservation, suppression, extinction du PC. La confirmation est demandée à chaque fois, elle ne peut pas être mémorisée et ces actions ne peuvent jamais être déclenchées à distance. Cette liste est verrouillée dans le code, pas dans la configuration.

Les autres garde-fous suivent la même logique. Jarvis ne tape jamais de mot de passe ni de données bancaires, et s'arrête dès qu'une page réclame un paiement. Sur une liste de domaines protégés (banques, impôts, Ameli…), il peut lire la page mais n'y effectue aucune action. Au téléphone, il se présente comme l'assistant automatisé de son propriétaire, bloque les numéros surtaxés et ne confirme que ce que vous avez validé avant l'appel.

Depuis l'iPhone, seules les commandes N1 passent. Si quelqu'un vous volait le jeton d'accès, il pourrait au pire allumer vos lumières. Et le serveur MCP ne publie un outil que s'il porte explicitement la mention mcp_expose=True : tout nouvel outil est donc privé par défaut.

Tous les secrets (clés API, jetons OAuth, identifiants Twilio) sont regroupés dans un seul fichier config.yaml, exclu de Git. Il reste toutefois stocké en clair sur le disque. Sur un PC partagé ou professionnel, pensez à chiffrer le disque avec BitLocker et à limiter les droits d'accès au dossier de Jarvis.

Ajouter ses propres outils en quelques lignes de Python

Pour un développeur, c'est là que le projet devient vraiment intéressant. Ajouter une capacité revient à écrire une fonction Python qui renvoie une phrase. Voici un exemple qui me parle directement : un outil qui vérifie que les sites de vos clients répondent, à placer dans tools/sites.py.

"""Vérifie que les sites clients répondent."""
import urllib.request

from core.config import reglage
from core.registre import outil


@outil(
    nom="verifier_sites",
    description="Vérifie si les sites web des clients répondent. "
                "À utiliser quand on demande si les sites sont en ligne.",
)
def verifier_sites() -> str:
    sites = reglage("sites_clients", []) or []
    if not sites:
        return "Aucun site client n'est configuré."
    en_panne = []
    for url in sites:
        try:
            with urllib.request.urlopen(url, timeout=10) as rep:
                if rep.status >= 400:
                    en_panne.append(url)
        except Exception:
            en_panne.append(url)
    if not en_panne:
        return f"Les {len(sites)} sites répondent normalement."
    return "Problème sur : " + ", ".join(en_panne)

Il suffit ensuite d'ajouter la liste des URL sous une clé sites_clients dans config.yaml et de relancer Jarvis. Le champ description sert au modèle pour décider quand appeler l'outil : c'est lui qu'il faut soigner, plus que le code. Sans confirmation=True, l'outil est classé N1, ce qui convient pour une simple lecture. Ajoutez mcp_expose=True et il devient aussi utilisable depuis Claude Desktop ou tout autre client MCP.

Sur le même modèle, j'imagine facilement d'autres outils utiles pour un webmaster ou un indépendant :

Les limites à connaître avant de vous lancer

Jarvis reste un projet personnel. Plusieurs fonctions sont taillées pour l'usage de son auteur : le suivi d'échéances Loopstr, la lecture de tableaux de bord facture.net, le hub de contenu relié à des dossiers bien précis. On peut les ignorer sans problème, mais elles alourdissent un fichier de configuration qui dépasse déjà les 500 lignes. Prévoyez une soirée rien que pour le parcourir.

Le projet ne vise que Windows. Certaines briques fonctionnent ailleurs, comme les satellites audio pour Raspberry Pi, mais l'assistant principal, l'overlay, le contrôle du PC et les scripts de lancement supposent Windows 11. Les utilisateurs de macOS ou de Linux devront passer leur chemin, ou regarder du côté des alternatives présentées plus bas.

L'installateur interactif n'a pas suivi toutes les évolutions du projet. En le lisant, j'ai relevé qu'il propose toujours une option « cloud avec Claude » et ne demande que la clé Anthropic, alors que le modèle de configuration choisit OpenAI par défaut. Résultat : une installation avec Claude plante au premier appel tant qu'on n'a pas corrigé une ligne à la main dans config.yaml. Rien de grave, mais c'est typique d'un dépôt qui bouge vite. Je détaillerai la marche à suivre dans le tutoriel d'installation que je publierai prochainement.

Côté budget, le mode local ne coûte rien d'autre que l'électricité. En mode hybride, la documentation annonce quelques millièmes de dollar pour une commande domotique et environ deux centimes pour une réponse parlée avec ElevenLabs. Un usage quotidien reste raisonnable, surtout avec un plafond configuré. Twilio et Hermes s'ajoutent si vous les utilisez.

Dernier point : l'intégration Alexa passe par une API non officielle, et Google Home est marqué expérimental. Ce sont les deux intégrations les plus susceptibles de casser du jour au lendemain, au gré d'une mise à jour chez Amazon ou Google. Je ne bâtirais pas une installation domotique sérieuse dessus.

Jarvis face aux autres assistants vocaux open source

Jarvis n'est pas seul sur le créneau de l'assistant vocal libre. Selon ce que vous cherchez, un autre projet peut mieux vous convenir. Voici comment je les situe les uns par rapport aux autres.

Comparatif des principaux assistants vocaux open source
Critère Jarvis Home Assistant Assist OpenVoiceOS Leon
Plateforme Windows 11 (satellites Raspberry Pi) Serveur Home Assistant, boîtier Voice PE ou satellites Linux, Raspberry Pi, macOS Windows, macOS, Linux (Node.js)
Point fort Pilotage du PC, vision d'écran, navigateur, téléphone Domotique complète et intégrée Architecture modulaire héritée de Mycroft Assistant personnel à compétences, projet d'origine française
IA locale Oui (Ollama, Whisper, Piper) Oui (Whisper, Piper) ou Home Assistant Cloud Oui, plugins au choix Oui, en partie
Français Natif, interface et documentation en français Pris en charge, reconnaissance encore perfectible Pris en charge via les plugins Pris en charge
Maturité Jeune, évolue chaque jour Mature, grosse communauté Fondation dédiée, première version stable en préparation Refonte en cours, branche de développement instable
Pour qui ? Streamers, développeurs, bidouilleurs sous Windows Ceux qui ont déjà une installation Home Assistant Ceux qui veulent une enceinte libre sur Raspberry Pi Développeurs JavaScript curieux

Home Assistant Assist est le choix logique si votre domotique tourne déjà sous Home Assistant, comme la mienne. Le boîtier Home Assistant Voice Preview Edition se trouve autour de 59 € en France et s'installe en quelques minutes. En revanche, Assist ne pilotera pas OBS ni votre navigateur. Les deux approches sont d'ailleurs complémentaires.

OpenVoiceOS a repris le flambeau de Mycroft après la fermeture de l'entreprise en 2023. Son approche par modules (mot d'activation, transcription, synthèse vocale) en fait une bonne base pour une enceinte connectée libre. Leon, créé par le développeur français Louis Grenard, est en pleine refonte depuis plusieurs mois : intéressant à suivre, moins à installer aujourd'hui.

Questions fréquentes sur Jarvis

Jarvis est-il gratuit ?
Le logiciel est gratuit et sous licence MIT. En mode local, vous ne payez rien d'autre que l'électricité. En mode hybride ou qualité, vous payez l'usage des API (OpenAI ou Claude, ElevenLabs, Twilio), avec des plafonds de dépense réglables.
Peut-il fonctionner sans connexion Internet ?
Oui, en mode local avec Ollama et une voix comme Piper. Vous perdez alors les fonctions qui demandent de la vision (navigateur, réservations, capture d'écran) et, bien sûr, tout ce qui touche au web, aux mails et au téléphone.
Fonctionne-t-il sur Mac ou Linux ?
Pas l'assistant principal, qui cible Windows 11. Seuls les satellites audio tournent sur Raspberry Pi et Linux. Sur Mac ou Linux, OpenVoiceOS ou Home Assistant Assist sont plus adaptés.
Quelle carte graphique faut-il pour le mode local ?
D'après l'auteur, 6 Go de VRAM suffisent pour faire tourner Whisper medium et qwen3.5:4b ensemble, par exemple avec une RTX 3060. Le script doctor.py vous conseille selon votre matériel.
Est-ce risqué de lui confier ses mails et son navigateur ?
Le risque zéro n'existe pas, mais les garde-fous sont sérieux : confirmations N2 et N3, domaines bancaires et administratifs en lecture seule, aucune saisie de mot de passe ni de paiement. Commencez par les fonctions N1 et ajoutez les autres une fois à l'aise.

Mon avis sur Jarvis

Jarvis n'est pas un produit fini qu'on installe en cinq minutes. C'est une base de travail très complète pour quelqu'un qui aime mettre les mains dans Python et dans un fichier YAML. Ce qui le distingue des dizaines d'assistants vocaux amateurs sur GitHub, c'est le soin porté à ce qui se passe quand ça tourne mal : confirmations graduées, domaines protégés, plafonds de dépense, et une documentation qui dit clairement ce qui ne marche pas en local.

Si vous avez déjà un home lab, une installation Hue ou un setup de stream, vous avez de quoi vous occuper plusieurs soirées. Si vous cherchez juste à allumer vos lampes à la voix sans rien envoyer chez Amazon, Home Assistant Assist sera plus simple.

Mon conseil pour démarrer : commencez par la voix, la vision d'écran et une ou deux intégrations seulement (Hue ou OBS, par exemple), en mode hybride avec un plafond de dépense bas. Ajoutez le reste au fil de l'eau, et gardez Hermes pour la fin. Mon tutoriel complet d'installation et de configuration, du premier git clone au démarrage automatique avec Windows, arrive très bientôt sur le blog.

Source

Comment cet article a-t-il été réalisé ? Le texte a été rédigé par mes soins, puis relu avec l'aide d'une intelligence artificielle afin de corriger d'éventuelles erreurs d'orthographe ou de grammaire. L'illustration de présentation a également été créée à l'aide de l'IA.