Une box qui redémarre, une fibre coupée par des travaux dans la rue, et c'est toute la maison connectée qui fait la sourde oreille. Les ampoules ne s'allument plus depuis le téléphone, les vol...
Jarvis sous Windows 11 : installer et configurer un assistant vocal open source en français
Parler à son ordinateur comme Tony Stark, ça prête à sourire. Pourtant, avec Jarvis, un projet open source publié sur GitHub par sosoj92, l'idée devient assez concrète. Vous dites « Hey Jarvis », votre voix est transcrite directement sur le PC, un modèle de langage réfléchit (Claude, OpenAI ou un modèle local via Ollama) et la réponse arrive à voix haute. Au passage, il peut allumer vos lampes Philips Hue, lancer un direct dans OBS, lire votre agenda ou résumer la page ouverte dans Chrome. Dans ce guide, je pars d'un Windows 11 vierge et je vais jusqu'au démarrage automatique, en détaillant chaque intégration. Je me base sur l'état du dépôt à la fin septembre 2026. Le projet évolue presque tous les jours : si une commande ne colle plus, c'est le README et le dossier docs/ du dépôt qui ont raison.
Jarvis, c'est quoi exactement ?
Jarvis est un assistant vocal écrit en Python, pensé d'abord pour Windows 11 et pour la langue française. Son fonctionnement tient en quelques maillons. Un petit modèle de détection (openWakeWord) écoute en permanence le mot d'activation. Dès qu'il l'entend, faster-whisper transcrit votre phrase en local. Le texte part ensuite vers un modèle de langage qui décide quoi faire, et qui peut appeler une cinquantaine d'outils : domotique, contrôle du PC, navigateur, agenda, mail, téléphone. La réponse est enfin lue par une voix de synthèse, celle de Windows par défaut, ElevenLabs si vous avez une clé, ou Piper en local.
L'auteur le présente comme un projet personnel partagé tel quel, sous licence MIT. Ce n'est donc pas un produit commercial avec un support derrière, et c'est à garder en tête tout au long de l'installation. En contrepartie, tout est ouvert, modifiable, et ajouter un outil revient à déposer un fichier Python dans le dossier tools/.
Je préfère être transparent : je n'ai pas encore installé Jarvis sur mes propres machines. Ce tutoriel repose sur une lecture attentive de la documentation du dépôt et de son fichier de configuration, avec l'objectif de vous faire gagner du temps et de vous signaler les pièges que j'y ai repérés.
Trois modes de fonctionnement
Jarvis tourne selon trois modes, qu'on choisit sur une seule ligne du fichier de configuration.
| Mode | Modèle de langage | Voix | Coût | Ce qui quitte votre PC |
|---|---|---|---|---|
| local | Ollama (qwen3.5:4b par défaut) | Piper, ou Kokoro | Gratuit, hors électricité | Rien |
| hybride (par défaut) | Modèle « quotidien » du fournisseur cloud, tâches de fond confiées à Hermes | ElevenLabs ou voix Windows | À l'usage | Vos requêtes vers l'API choisie |
| qualité | Modèle le plus puissant du même fournisseur | ElevenLabs ou voix Windows | À l'usage, plus élevé | Vos requêtes vers l'API choisie |
| L'ancienne valeur « cloud » reste acceptée dans la configuration et correspond au mode hybride. | ||||
Quel que soit le mode, la transcription de votre voix se fait toujours sur la machine. Seul le « cerveau » change de place.
Ce qui a été ajouté récemment
En parcourant le fichier config.example.yaml, j'ai noté plusieurs briques qui n'apparaissent pas dans la plupart des présentations du projet. La plus intéressante concerne les satellites audio : un Raspberry Pi (ou un petit Linux) posé dans une autre pièce sert de micro et de haut-parleur, pendant que le PC reste le cerveau. On trouve aussi un overlay qui affiche à l'écrit ce que Jarvis dit, une commande d'enceintes Alexa et de Google Home (toutes deux marquées expérimentales) et un tableau de bord personnel appelé cockpit. J'y reviens plus bas.
Pas besoin de tout faire d'un coup. Les étapes 1 à 7 suffisent pour obtenir un assistant qui fonctionne. L'étape 8 se picore ensuite selon ce que vous avez chez vous : inutile de configurer Philips Hue si vous n'avez aucune ampoule connectée.
Avant de commencer : matériel, comptes et temps
Le matériel
Il vous faut un PC sous Windows 11, un micro et une sortie son. Un micro-casque convient très bien, tout comme un micro USB posé sur le bureau. Le micro intégré d'un portable marche aussi, mais le mot d'activation se déclenchera nettement moins bien dès qu'il y aura du bruit dans la pièce.
En mode cloud, n'importe quel PC récent fait l'affaire. Seul Whisper tourne en local, et il sait se contenter du processeur s'il le faut, au prix d'une transcription plus lente. Pour le mode 100 % local, visez une carte NVIDIA avec au moins 6 Go de mémoire vidéo : une RTX 2060, une RTX 3060 ou mieux. Sans carte NVIDIA, tout reste utilisable sur le processeur, mais le temps de réponse devient franchement pénible.
Côté stockage, gardez une dizaine de gigaoctets libres. Les bibliothèques CUDA embarquées dans les dépendances Python pèsent lourd, et il faut y ajouter le modèle Whisper, Chromium pour Playwright et, en local, les modèles Ollama.
| Critère | Mode hybride ou qualité | Mode local |
|---|---|---|
| Carte graphique | Facultative | NVIDIA 6 Go de VRAM minimum conseillés |
| Clé API | Obligatoire (Anthropic ou OpenAI) | Aucune |
| Coût | Facturé à l'usage | Gratuit |
| Outils disponibles | Une cinquantaine | 24, sans mail, agenda, Discord ni appels |
| Vision (écran, navigateur, réservations) | Oui | Non, à ce jour |
| Confidentialité | Les requêtes passent par l'API | Rien ne sort de la machine |
| Dans les deux cas, la transcription de la voix (Whisper) reste locale. | ||
Les comptes à prévoir
En mode cloud, une clé API est obligatoire. Vous la créez soit chez Anthropic, sur la console Anthropic (rubrique API Keys), soit chez OpenAI, sur platform.openai.com.
Un abonnement Claude Pro ou ChatGPT Plus ne donne pas accès à l'API. C'est une facturation séparée, à l'usage, pour laquelle il faut acheter du crédit. Beaucoup de débutants tombent dans ce piège et ne comprennent pas pourquoi leur clé est refusée.
ElevenLabs est facultatif : sans clé, Jarvis parle avec la voix de Windows. Les autres comptes (Google Cloud, Discord, Twilio, ngrok, Spotify) ne servent qu'aux intégrations correspondantes. Vous pouvez donc les laisser de côté pour démarrer.
Combien de temps prévoir
Comptez un peu moins d'une heure pour les étapes 1 à 7, téléchargements compris. Chaque intégration demande ensuite de cinq minutes (OBS) à une demi-heure (Google Agenda). Twilio fait exception si vous voulez un numéro français : la vérification d'identité peut prendre un à deux jours.
Étape 1 : préparer Windows 11
Ouvrez le Terminal Windows avec un clic droit sur le menu Démarrer, puis « Terminal ». Toutes les commandes de ce guide se tapent dans PowerShell, sauf quand je précise le contraire.
Installer Python 3.13
Le projet exige Python 3.13. C'est ce qu'indique son fichier pyproject.toml, même si l'un des guides du dépôt parle encore de la version 3.10. Le plus simple passe par winget :
winget install -e --id Python.Python.3.13
Si vous préférez l'installateur classique de python.org, cochez bien « Add python.exe to PATH » dès le premier écran. C'est la case qu'on oublie, et qui cause ensuite la moitié des messages d'erreur.
Installer Git
winget install -e --id Git.Git
Git sert à récupérer le projet, puis à le mettre à jour. Plus d'informations sur git-scm.com.
Installer uv
uv est le gestionnaire de paquets et d'environnements Python utilisé par le projet. Il va beaucoup plus vite que pip et crée l'environnement virtuel sans qu'on ait à s'en occuper.
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
Il s'installe dans %USERPROFILE%\.local\bin. Notez ce chemin quelque part : le script de lancement du projet s'en sert, et vous en aurez besoin plus loin pour Claude Desktop.
Vérifier les installations
Fermez le terminal et rouvrez-en un nouveau, sinon le PATH n'est pas rechargé. Tapez ensuite :
python --version
git --version
uv --version
Vous devez obtenir Python 3.13.x et un numéro de version pour les deux autres. Si python n'est pas reconnu, essayez py -3.13 --version. Si cette commande fonctionne, Python est bien installé et c'est seulement le PATH qui pose problème.
Le cas des cartes NVIDIA
Mettez simplement à jour le pilote graphique, via l'application NVIDIA, GeForce Experience ou le site du constructeur. Inutile d'installer le CUDA Toolkit : le projet récupère lui-même les bibliothèques CUDA dont Whisper a besoin, sous forme des paquets nvidia-cublas-cu12 et nvidia-cudnn-cu12.
Étape 2 : récupérer le projet
Placez-vous dans votre dossier utilisateur. Évitez les dossiers synchronisés par OneDrive, comme Documents ou Bureau : la synchronisation ralentit tout et verrouille parfois des fichiers en pleine installation.
cd $HOME
git clone https://github.com/sosoj92/jarvis-assistant-vocal
cd jarvis-assistant-vocal
Le projet se retrouve dans C:\Users\VotreNom\jarvis-assistant-vocal. Attention, la documentation du dépôt utilise souvent C:\Users\ton-utilisateur\jarvis-vocal dans ses exemples : pensez à adapter le chemin chaque fois que vous copiez un bout de configuration.
Voici les fichiers qu'il vaut mieux connaître dès maintenant :
- jarvis14.py
- Le programme principal, celui qu'on lance.
- config.example.yaml
- Le modèle de configuration, commenté ligne par ligne. Il fait près de 500 lignes.
- lancer_jarvis.bat
- Un lanceur à double-cliquer, pratique au quotidien.
- scripts/setup.py et scripts/doctor.py
- L'installateur interactif et l'outil de diagnostic.
- docs/
- Un guide par intégration, à consulter dès qu'un détail vous échappe.
- tools/
- Un fichier Python par famille d'outils. C'est ici qu'on ajoute ses propres commandes.
- INSTALL_WITH_AI.md
- Un prompt à coller dans une IA gratuite pour se faire guider pas à pas pendant l'installation.
Étape 3 : installer les dépendances
Deux chemins existent. Je conseille le chemin manuel, plus transparent : vous voyez exactement ce qui se passe. L'installateur rend néanmoins service quand on débute.
| Critère | Chemin manuel | scripts/setup.py |
|---|---|---|
| Niveau conseillé | À l'aise avec un terminal | Débutant |
| Nombre de commandes | Trois | Une seule, puis des questions |
| Configuration de config.yaml | À la main | En partie guidée (clé, Hue, carte graphique) |
| Piège connu | Aucun particulier | Fournisseur OpenAI laissé par défaut |
| Dans les deux cas, vérifiez ensuite config.yaml en suivant l'étape 4. | ||
Le chemin manuel
uv sync
uv run playwright install chromium
copy config.example.yaml config.yaml
uv sync lit le fichier uv.lock, télécharge Python 3.13 au besoin, crée un environnement .venv dans le dossier et y installe toutes les bibliothèques, aux versions exactes testées par l'auteur. Le téléchargement est gros à cause des bibliothèques NVIDIA : laissez-le travailler, même s'il semble figé. La deuxième commande installe le navigateur Chromium utilisé pour les réservations. La troisième crée votre fichier de configuration personnel à partir du modèle.
Le chemin automatique : l'installateur
python scripts/setup.py
Le script vérifie Python, lance uv sync (ou crée un environnement avec pip si uv est absent) et installe Chromium. Il vous demande ensuite de choisir entre cloud et local, récupère vos clés sans les afficher à l'écran et propose de configurer Hue. Il détecte aussi votre carte graphique, lance le diagnostic, teste le micro et termine par une phrase prononcée par Jarvis.
En mode cloud, l'installateur ne vous demande que la clé Claude. Or le modèle de configuration désigne OpenAI comme fournisseur par défaut, avec une fausse clé déjà remplie. Si vous passez par setup.py avec une clé Anthropic, faites ensuite la correction décrite au cas 1 de l'étape 4. Sans elle, Jarvis tentera d'appeler OpenAI et échouera.
Étape 4 : remplir le fichier config.yaml
Tout se règle dans config.yaml, à la racine du projet. Ce fichier est exclu de Git : vos clés ne partiront jamais sur GitHub, même en cas de git push malencontreux. Ouvrez-le avec VS Code, Notepad++ ou n'importe quel éditeur capable d'afficher les espaces.
Trois règles de YAML évitent l'essentiel des erreurs :
- L'indentation se fait avec des espaces, jamais avec des tabulations.
- Les valeurs texte se mettent entre guillemets droits (").
- Dans un chemin Windows, utilisez des barres obliques (C:/Users/...) ou doublez les antislashs (C:\\Users\\...).
Le fichier approche les 500 lignes, ce qui a de quoi refroidir. Rassurez-vous : pour démarrer, seules quelques sections comptent. Choisissez l'un des trois cas ci-dessous et laissez le reste tel quel.
Cas 1 : le cloud avec Claude (Anthropic)
mode: hybride
cloud:
fournisseur: anthropic
openai:
cle: ""
anthropic:
cle: "sk-ant-votre-cle"
modele: "claude-haiku-4-5"
modele_qualite: "claude-sonnet-4-5"
astra_pc:
actif: false
Trois points méritent une explication. D'abord, cloud.fournisseur doit valoir anthropic, sinon Jarvis reste sur OpenAI. Ensuite, la ligne openai.cle doit être vidée : le modèle contient "sk-proj-...", une valeur factice mais non vide, que Jarvis prend au sérieux. Enfin, astra_pc désigne un mode où un modèle OpenAI prend le contrôle de la souris pour des tâches graphiques. Il est activé dans le modèle : sans clé OpenAI, désactivez-le.
Les noms de modèles ci-dessus sont les valeurs par défaut du projet à l'heure où j'écris. Anthropic propose des modèles plus récents, comme Claude Sonnet 5. Vérifiez dans votre console lesquels sont disponibles pour votre compte, et à quel tarif, avant de les substituer.
Cas 2 : le cloud avec OpenAI
mode: hybride
cloud:
fournisseur: openai
openai:
cle: "sk-proj-votre-cle"
modele: "gpt-5.6-terra"
modele_qualite: "gpt-6-astra"
Là encore, ce sont les modèles proposés par défaut dans le dépôt. Vérifiez que votre compte API y a bien accès. Le panneau web, présenté à l'étape 9, sait tester l'accès réel avec votre clé, ce qui évite de deviner.
Cas 3 : tout en local
mode: local
ollama:
hote: "http://localhost:11434"
modele: "qwen3.5:4b"
think: false
voix_locale: piper
piper:
modele: ""
Laissez think: false. Le mode « raisonnement » de qwen3.5 rend les réponses très lentes et pousse parfois le modèle à écrire ses appels d'outils sous forme de texte au lieu de les exécuter. L'installation d'Ollama et de la voix Piper est détaillée à l'étape 5.
Donner une voix naturelle à Jarvis en mode cloud
Sans réglage particulier, Jarvis utilise la voix de Windows. Elle fonctionne, mais sonne assez robotique. Pour une voix plus naturelle, créez un compte sur elevenlabs.io, générez une clé API dans votre profil (elle commence par sk_), puis :
elevenlabs:
cle: "sk_votre-cle"
voix: ""
modele: "eleven_flash_v2_5"
langue: "fr"
tts:
moteur: auto
Laissez voix vide pour utiliser la première voix du compte, ou collez l'identifiant d'une voix copié dans l'onglet Voices. Avec moteur: auto, Jarvis prend ElevenLabs en mode cloud et bascule sur Piper en mode local. Le projet estime le coût à environ 0,10 dollar pour 1 000 caractères lus. C'est une estimation à ajuster selon votre offre ElevenLabs.
La personnalisation de base
assistant:
personnalite: "jarvis_sarcastique" # ou neutre, ou concis
piece_nuit: "chambre" # pièce Hue allumée au démarrage s'il fait nuit, "" pour rien
scenes:
au_demarrage_actif: true
spotify: true
# prenom_utilisateur: "David"
Trois personnalités sont proposées : un majordome sarcastique à la manière du Jarvis des films, une version neutre et une version concise. On peut en changer à la voix. Au premier lancement de la journée, Jarvis joue aussi une « scène du matin » : un brief (météo, mails, échéances), un réglage des lumières selon l'heure et le lancement de Spotify. Si vous n'utilisez pas Spotify, passez scenes.spotify à false. Pour un accueil plus court, ajoutez brief_complet: false.
Étape 5 : basculer en 100 % local avec Ollama et Piper (facultatif)
Le mode local a un argument de poids : rien ne sort de votre machine, et il ne coûte rien à l'usage. Il demande en revanche une carte graphique correcte et accepte quelques limites.
Installer Ollama et un modèle
Téléchargez Ollama sur ollama.com/download et installez-le. Prenez une version récente : l'appel d'outils avec qwen3.5 buggait sur les anciennes. Ollama tourne ensuite en tâche de fond. Récupérez le modèle :
ollama pull qwen3.5:4b
Puis testez-le directement, sans passer par Jarvis :
ollama run qwen3.5:4b "Bonjour, réponds en une phrase."
Le choix du modèle dépend avant tout de la mémoire vidéo disponible, et il faut aussi laisser de la place à Whisper.
| Mémoire vidéo | Modèle conseillé | Ce qu'il faut en attendre |
|---|---|---|
| Moins de 6 Go | qwen3.5:2b | Tourne, mais rate plus souvent ses appels d'outils |
| 6 à 8 Go | qwen3.5:4b | Le réglage par défaut du projet, bon compromis |
| Plus de 8 Go | qwen3.5:9b | Plus fiable dans le choix et l'exécution des outils |
| La commande uv run python scripts/doctor.py détecte votre carte et recommande un modèle. | ||
Installer une voix Piper française
Rendez-vous sur le dépôt rhasspy/piper-voices sur Hugging Face, dans le dossier fr/fr_FR. Choisissez une voix, par exemple siwis/medium, et téléchargez les deux fichiers qui vont ensemble : fr_FR-siwis-medium.onnx et fr_FR-siwis-medium.onnx.json. Créez un dossier voix à la racine du projet et déposez-les dedans. Avec piper.modele laissé vide, Jarvis prend le premier modèle qu'il trouve dans ce dossier.
Kokoro est proposé en alternative (voix_locale: kokoro), mais il ne compte qu'une seule voix française, de qualité moyenne. Piper reste le meilleur choix, et il tourne en temps réel sur un simple processeur.
Ce qui marche en local, et ce qui ne marche pas
Lumières, ambiances, OBS, minuteurs, heure, météo, mémoire, volume, ouverture d'un site dans Chrome : d'après l'auteur, tout cela répond en deux à quatre secondes avec qwen3.5:4b. Pour éviter de noyer un petit modèle sous les options, Jarvis ne lui présente que 24 outils sur la cinquantaine disponible. Le mail, l'agenda, Discord et les appels restent réservés au cloud. Les fonctions de vision (capture d'écran, action dans une page web, réservation) ne fonctionnent pas en local à ce jour. Un modèle de vision local figure dans la feuille de route du projet.
Étape 6 : régler le micro et le son
Choisir le bon micro
Par défaut, Jarvis écoute le micro par défaut de Windows et parle sur la sortie par défaut. Si vous avez plusieurs micros (webcam, casque, micro USB), mieux vaut désigner le bon explicitement. Listez d'abord les périphériques :
uv run python -c "import sounddevice as sd; print(sd.query_devices())"
Chaque ligne commence par un index. Les lignes qui affichent un nombre de canaux d'entrée supérieur à zéro correspondent à des micros. Notez l'index du vôtre et reportez-le :
audio:
micro: 3
taux: null
haut_parleur: null
sorties:
casque: "Casque"
enceintes: "Haut-parleurs"
raccourci_mute: "ctrl+alt+m"
Un même micro apparaît souvent plusieurs fois, une fois par pilote audio (MME, WASAPI, DirectSound). Si le premier index ne donne rien, essayez les autres. taux: null laisse Jarvis choisir 16 kHz ou rééchantillonner depuis 48 kHz : ne le forcez que si la capture échoue. La section sorties définit des alias pour dire « passe sur le casque » ou « passe sur les enceintes ». Mettez-y un morceau du nom de vos sorties tel qu'il apparaît dans la liste.
Le raccourci Ctrl+Alt+M coupe et réactive l'écoute du mot d'activation. Très pratique pendant une visio, pour éviter que Jarvis ne se réveille dès que votre interlocuteur prononce un mot qui ressemble à son nom.
Régler la sensibilité
assistant:
seuil_reveil: 0.5
auto_calibration: true
silence_fin: 1.2
duree_suite: 10
- seuil_reveil
- La sensibilité de « Hey Jarvis ». À 0.3, il se déclenche facilement, parfois pour rien. À 0.7, il devient strict.
- auto_calibration
- Au lancement, Jarvis mesure le bruit ambiant pendant une seconde et place ses seuils de silence et de parole juste au-dessus. Restez silencieux à ce moment-là.
- silence_fin
- Le nombre de secondes de silence qui marque la fin de votre phrase. Si Jarvis vous coupe au milieu d'une hésitation, montez à 1.5.
- duree_suite
- La fenêtre, en secondes, pendant laquelle il continue d'écouter après avoir répondu, pour enchaîner sans répéter le mot d'activation.
Interrompre Jarvis
Vous pouvez couper Jarvis en disant « attends » ou « stop » pendant qu'il parle. Avec un casque, ça marche tout seul. Avec des enceintes, votre voix doit dépasser l'écho de la sienne dans le micro :
interruption:
facteur: 1.8
seuil: 0.025
debug: false
Si l'interruption ne se déclenche jamais, descendez facteur vers 1.4. Si elle se déclenche toute seule, remontez-le. Passez debug à true le temps de calibrer : les niveaux mesurés s'affichent alors dans la console, ce qui évite de tâtonner à l'aveugle.
Étape 7 : premier lancement
Le diagnostic
uv run python scripts/doctor.py
Ce script passe en revue Python, les dépendances, la configuration, la carte graphique, le modèle de langage, la voix, les intégrations et le micro. Chaque ligne est marquée OK, avertissement ou erreur, avec la correction proposée. Les avertissements sur des intégrations non configurées sont normaux, ne vous en inquiétez pas. Corrigez les erreurs, relancez, et passez à la suite quand le bilan indique que l'essentiel est bon.
Le lancement
uv run python jarvis14.py
Au tout premier lancement, faster-whisper télécharge le modèle medium, qui pèse autour d'un gigaoctet et demi. Soyez patient. Si votre carte NVIDIA n'est pas reconnue, un message mentionnant CUDA ou cuDNN peut apparaître. Rien de bloquant : Whisper bascule sur le processeur.
Une fois que la console s'est calmée, dites « Hey Jarvis », attendez le signal, puis « quelle heure est-il ? ». Enchaînez sans répéter le mot d'activation : « et quel temps fera-t-il demain ? ». Si les deux réponses arrivent, la base est en place.
Pour les lancements suivants, un double-clic sur lancer_jarvis.bat suffit.
lancer_jarvis.bat exécute un git pull à chaque démarrage : vous récupérez donc automatiquement la dernière version du dépôt. C'est confortable, mais sur un projet qui change presque tous les jours, une mise à jour peut aussi introduire un bug. Si vous préférez garder la main, supprimez la ligne git pull --ff-only 2>nul de votre copie du fichier.
Étape 8 : brancher les intégrations
Chaque intégration est indépendante des autres, et celles que vous ne configurez pas se désactivent proprement. Après chaque modification de config.yaml, relancez Jarvis. Les réglages faits depuis le panneau web font exception : ils s'appliquent souvent dès la réponse suivante.
| Intégration | Compte ou matériel nécessaire | Temps estimé | Mode local |
|---|---|---|---|
| Philips Hue | Pont Hue sur le réseau local | 10 min | Oui |
| OBS Studio | OBS 28 ou plus | 5 min | Oui |
| Google Agenda | Projet Google Cloud | 30 min | Non |
| Gmail | Validation en deux étapes activée | 5 min | Non |
| Navigateur et réservations | Chrome | 10 min | Partiel (ouvrir un site uniquement) |
| Discord | Application développeur Discord | 15 min | Non |
| Appels téléphoniques | Compte Twilio et numéro | 20 min à 2 jours | Non |
| Pont iPhone | Compte ngrok | 20 min | Commandes sûres uniquement |
| Gestes | Webcam USB | 15 min | Oui |
| Satellites audio | Raspberry Pi ou petit PC Linux | Variable | Oui |
| Les durées sont des ordres de grandeur, hors délais de validation chez les fournisseurs. | |||
Philips Hue
Jarvis dialogue directement avec le pont Hue sur votre réseau local, sans passer par le cloud de Philips. Commencez par trouver l'adresse IP du pont, dans l'application Hue (Paramètres, puis Ponts) ou sur discovery.meethue.com depuis un appareil connecté au même réseau.
Il faut ensuite une clé d'accès. Appuyez sur le gros bouton rond du pont, puis, dans les 30 secondes, lancez la commande suivante dans l'Invite de commandes (cmd, et pas PowerShell, qui gère mal les guillemets de cette syntaxe), en remplaçant l'IP par la vôtre :
curl -X POST http://192.168.1.20/api -d "{\"devicetype\":\"jarvis#pc\"}"
La réponse contient une ligne "username": "..." : cette longue chaîne est votre clé.
hue:
pont: "192.168.1.20"
cle: "la-longue-chaine-renvoyee"
Jarvis reprend les noms de pièces définis dans l'application Hue. Des noms courts et simples comme « Salon », « Bureau » ou « Chambre » seront bien mieux reconnus que « Chambre à coucher parentale ». Si vos pièces portent des noms à rallonge, c'est le moment de les renommer. Essayez ensuite « allume le bureau », « mets le salon à 30 % » ou « passe la chambre en orange ».
Les ambiances
Quatre ambiances existent d'origine : off (tout éteindre), retour (tout à 30 %), film et stream. Vous pouvez les redéfinir et en créer d'autres dans config.yaml, en vous inspirant du fichier scenes.example.yaml :
modes:
concentration:
- {piece: "bureau", allumer: true, luminosite: 100}
- {piece: "salon", eteindre: true}
cosy:
- {piece: "toutes", couleur: "orange", luminosite: 25}
Chaque ambiance est une liste d'étapes jouées dans l'ordre. On la déclenche simplement par « mode concentration » ou « mode cosy ».
OBS Studio
Dans OBS Studio (version 28 ou plus récente), ouvrez Outils, puis Paramètres du serveur WebSocket. Cochez « Activer le serveur WebSocket », notez le port (4455 par défaut) et le mot de passe, visible via le bouton « Afficher les informations de connexion ».
obs:
host: "localhost"
port: 4455
mot_de_passe: "le-mot-de-passe-websocket"
Quelques phrases utiles : « lance le direct », « enregistre », « passe sur la scène pause », « clippe ça ». Couper le direct demande une confirmation, ce qui évite de mettre fin à un live par accident.
Applications et jeux
apps:
spotify: "spotify:"
obs: "C:/Program Files/obs-studio/bin/64bit/obs64.exe"
un_jeu_steam: "steam://rungameid/1234560"
Le nom à gauche est ce que vous direz (« lance OBS »). La valeur à droite est un chemin d'exécutable ou une URL de protocole. Pour un jeu Steam, l'identifiant se trouve dans l'adresse de sa page sur le Store. Inutile d'ajouter les sites web ici : « ouvre YouTube » passe directement par le navigateur.
Google Agenda
C'est l'intégration la plus longue à mettre en place, parce qu'elle passe par l'API officielle de Google et par OAuth.
- Sur la console Google Cloud, créez un projet (par exemple « Jarvis ») et sélectionnez-le.
- Dans « API et services », puis « Bibliothèque », cherchez Google Calendar API et activez-la.
- Configurez l'écran de consentement OAuth en type Externe, avec un nom d'application et votre adresse. Dans « Utilisateurs test », ajoutez votre adresse Gmail. Le mode Test suffit pour un usage personnel.
- Dans « Identifiants », créez un « ID client OAuth » de type « Application de bureau ».
- Téléchargez le fichier JSON, renommez-le google_credentials.json et placez-le à la racine du projet.
Lancez ensuite la première autorisation :
uv run python -m tools.agenda
Une page s'ouvre dans le navigateur. Choisissez votre compte. Si Google affiche « application non vérifiée », cliquez sur « Paramètres avancés » puis sur « Continuer » : c'est normal en mode Test, puisque c'est votre propre application. Un fichier google_token.json est créé et le script affiche la liste de vos agendas. Choisissez ceux à lire :
agenda:
credentials: "google_credentials.json"
token: "google_token.json"
calendrier_principal: "primary"
calendriers: []
Une liste vide inclut tous les agendas, y compris ceux auxquels vous êtes abonné en iCal, qui restent en lecture seule. Jarvis ne crée et ne supprime des événements que dans l'agenda principal, et toujours après confirmation. Essayez « j'ai quoi demain ? » ou « ajoute rendez-vous comptable jeudi 15 h ».
Gmail
Le mail passe par IMAP et SMTP, avec un mot de passe d'application. La validation en deux étapes doit donc être activée sur le compte Google. Créez ensuite un mot de passe d'application sur myaccount.google.com/apppasswords :
mail:
adresse: "Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser. "
mot_de_passe_app: "abcd efgh ijkl mnop"
« Résume mes mails » fonctionne alors. L'envoi d'un mail est classé comme action critique : Jarvis demande une confirmation vocale à chaque fois, sans exception.
Le navigateur Chrome
Jarvis pilote un profil Chrome dédié, baptisé « ChromeJarvis », via le port de débogage 9222. Depuis Chrome 136, Google interdit ce débogage sur le profil par défaut, d'où ce profil séparé. Il se lance tout seul dès que vous demandez une action dans le navigateur, ou à l'avance avec Chrome + Jarvis.bat. La première fois, connectez-vous vous-même, dans cette fenêtre, aux sites que vous voulez utiliser. Les sessions restent mémorisées, et vos mots de passe ne transitent jamais par Jarvis.
Complétez ensuite la liste des domaines où Jarvis a le droit de lire, mais jamais de cliquer :
navigateur:
cdp_port: 9222
domaines_proteges:
- "impots.gouv.fr"
- "ameli.fr"
- "votre-banque.fr"
- "votre-hebergeur.com"
Comme je gère des sites clients, j'ajouterais à cette liste le panel de mon hébergeur et les registrars de noms de domaine. Une mauvaise interprétation d'une commande vocale sur ce genre de console peut coûter cher, autant fermer la porte. Phrases à tester : « ouvre YouTube », « résume cette page », « quels onglets sont ouverts », « accepte les cookies », « ferme tous les onglets YouTube » (avec confirmation).
Les réservations
Renseignez vos coordonnées, jamais de mot de passe :
utilisateur:
nom: "Votre Nom"
telephone: "06..."
email: "Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser. "
reservation:
navigateur_visible: true
navigateur_canal: "chrome"
Demandez par exemple « réserve une table pour deux vendredi 20 h au Bistrot sur TheFork ». Une fenêtre s'ouvre, Jarvis navigue, remplit le formulaire, puis s'arrête devant le bouton final et vous résume la réservation. Il ne clique qu'après votre « oui ». Il s'arrête aussi dès qu'une carte bancaire est demandée. Les sites complexes (captcha, étapes inhabituelles) peuvent le bloquer, et il vous le dira. Cette fonction exige le mode cloud.
Discord
- Sur le portail développeur Discord, créez une application, puis un bot dans l'onglet Bot.
- Activez « Message Content Intent ».
- Cliquez sur « Reset Token » et copiez le token affiché.
- Dans OAuth2, puis URL Generator, cochez bot, puis les permissions « View Channels » et « Read Message History ». Ouvrez l'URL générée pour inviter le bot sur votre serveur.
discord:
token: "token-du-bot"
user_id: "votre-id-discord"
Votre identifiant s'obtient en activant le mode développeur de Discord, puis clic droit sur votre nom et « Copier l'identifiant ». Le bot ne voit que les serveurs où vous l'avez invité, pas vos messages privés. Jarvis peut alors vous signaler vos mentions et récapituler les messages du jour.
Les appels téléphoniques avec Twilio
Créez un compte sur twilio.com, notez l'Account SID (il commence par AC) et l'Auth Token, puis achetez un numéro doté de la capacité Voice. Un numéro français demande un dossier réglementaire, avec justificatif d'adresse, validé en un ou deux jours. En compte d'essai, Twilio n'appelle que les numéros que vous avez vérifiés et ajoute un message d'avertissement au début de chaque appel.
twilio:
account_sid: "AC..."
auth_token: "..."
numero: "+33..."
appels:
actif: true
simulation: true
cout_par_minute: 0.11
Commencez avec simulation: true : Jarvis fait comme s'il appelait, sans passer de vrai appel. Quand le comportement vous convient, repassez à false. Demandez alors « appelle le restaurant et demande s'ils sont ouverts ce soir ». Jarvis se présente honnêtement comme un assistant automatisé, pose la question, enregistre la réponse, la transcrit et vous la résume. La version conversation en temps réel demande en plus le serveur web et un tunnel ngrok (voir le pont iPhone ci-dessous et le guide docs/appels.md).
La détection de présence
Jarvis envoie un ping à votre téléphone toutes les minutes. Au bout de dix minutes sans réponse, il vous considère parti et joue l'ambiance off. À votre retour, il joue l'ambiance retour.
presence:
actif: true
ip: "192.168.1.42"
seuil_absence: 600
mode_absence: "off"
mode_retour: "retour"
Le téléphone doit avoir une IP fixe : réservation DHCP dans votre box, ou IP statique. Sur iPhone, désactivez l'« adresse Wi-Fi privée » pour votre réseau, sinon l'adresse change régulièrement. Un téléphone en veille profonde répond parfois mal aux pings : si Jarvis vous déclare absent alors que vous êtes dans le canapé, augmentez seuil_absence.
Le pont iPhone et l'accès à distance
Le pont permet d'envoyer une note ou une commande à Jarvis depuis l'application Raccourcis d'iOS. Pour cela, le serveur web de Jarvis doit être exposé sur Internet, via ngrok.
- Créez un compte sur dashboard.ngrok.com, récupérez votre authtoken et réservez le domaine statique gratuit.
- Générez un token secret pour le pont avec la commande ci-dessous.
- Complétez la configuration, relancez Jarvis, puis ouvrez https://votre-domaine.ngrok-free.app/api/ping dans un navigateur : la réponse doit être {"ok": true}.
uv run python -c "import secrets; print(secrets.token_urlsafe(24))"
serveur:
actif: true
port: 8790
ngrok_authtoken: "votre-authtoken"
ngrok_domaine: "votre-domaine.ngrok-free.app"
pont_iphone:
token: "la-chaine-generee"
Dans Raccourcis, créez un raccourci avec l'action « Obtenir le contenu de l'URL ». Renseignez l'URL https://votre-domaine.ngrok-free.app/api/inbox, la méthode POST, un en-tête X-Jarvis-Token contenant votre token, et un corps JSON avec type (note ou commande) et contenu. Le guide docs/iphone.md détaille trois raccourcis prêts à reproduire, dont un « Dis à Jarvis » utilisable avec Siri. À distance, seules les commandes sûres (lumières, ambiances…) sont acceptées. Le panneau de configuration, lui, reste inaccessible par le tunnel.
Le serveur MCP et Claude Desktop
Jarvis peut exposer ses outils domotique et PC à n'importe quel client MCP (Model Context Protocol). Quatorze outils sont publiés : lumières Hue, ambiances, OBS, statistiques système, minuteur, heure et météo. Le mail, la mémoire, la capture d'écran et le navigateur restent privés.
Pour Claude Desktop, éditez le fichier %APPDATA%\Claude\claude_desktop_config.json :
{
"mcpServers": {
"jarvis": {
"command": "uv",
"args": ["run", "--directory", "C:\\Users\\VotreNom\\jarvis-assistant-vocal",
"python", "-m", "jarvis.mcp_server"]
}
}
}
Si Claude Desktop ne trouve pas uv, remplacez "uv" par le chemin complet "C:\\Users\\VotreNom\\.local\\bin\\uv.exe". Redémarrez Claude Desktop et demandez-lui « donne-moi les stats système ». Le serveur MCP tourne indépendamment de l'assistant vocal : les deux peuvent fonctionner en même temps. Tous les appels externes sont journalisés dans logs/mcp.log, ce qui permet de vérifier ce qui a été demandé et par qui.
Les gestes de la main
Le suivi des mains repose sur MediaPipe, qui n'existe pas pour Python 3.13. Un script crée donc un environnement séparé en Python 3.11 et télécharge le modèle :
python scripts/setup_gestes.py
Il faut une webcam USB. Activez ensuite les gestes à la voix (« active les gestes »), avec Ctrl+Alt+G, ou via gestes.actif: true. « Lance la calibration des gestes » ouvre une fenêtre de réglage. Les gestes doivent être tenus, pas simplement esquissés, pour limiter les faux positifs : main ouverte immobile pour la pause, poing fermé pour faire taire Jarvis. Aucune image ne quitte le sous-processus de suivi, et aucun geste ne peut déclencher une action critique.
La reconnaissance musicale et Spotify
Même principe, avec cette fois un environnement Python 3.12 :
python scripts/setup_musique.py
« C'est quoi cette musique ? » écoute la pièce pendant huit secondes. « C'est quoi la musique de cette vidéo ? » capte le son qui sort du PC. Pour ajouter les morceaux reconnus à une playlist, créez une application sur le tableau de bord développeur Spotify avec l'URI de redirection http://127.0.0.1:8899/callback. Remplissez spotify.client_id et spotify.client_secret, puis autorisez l'accès une fois pour toutes :
uv run python scripts/spotify_login.py
Hermes, l'agent des tâches de fond
En mode hybride, Jarvis peut déléguer les recherches longues à Hermes Agent, qui tourne dans un conteneur Docker, idéalement dans une machine virtuelle Ubuntu isolée. Le principe retenu par l'auteur est clair : Hermes réfléchit et orchestre, mais c'est toujours Jarvis qui exécute les actions, et aucun identifiant ne vit dans l'environnement d'Hermes. C'est un chantier à part entière, que je garderais pour la fin. Les guides docs/hermes.md et docs/hermes_server_vm.md décrivent l'installation, le tunnel SSH et la clé à reporter dans la section hermes de la configuration.
Les satellites audio : Jarvis dans chaque pièce
C'est l'une des nouveautés les plus parlantes du projet. Un satellite est un petit appareil posé dans une autre pièce (cuisine, salon) qui capte votre voix et joue les réponses. Le « cerveau » reste sur le PC : c'est lui qui transcrit, interroge le modèle de langage et génère la voix. Le satellite se contente de faire le relais audio sur le réseau local.
À ce jour, seul le client Raspberry Pi et Linux est fourni. Le guide du dépôt évoque un Raspberry Pi 4 ou 5, ou un mini-PC, comme solution de référence, et le Pi Zero 2 W comme variante expérimentale. Les clients pour vieux téléphone Android et pour ESP32 sont prévus, mais pas encore disponibles. Chaque satellite reçoit son propre identifiant, sa pièce par défaut et son token, dans la section satellites de config.yaml. Point rassurant côté sécurité : ces échanges restent limités au réseau local et ne sont jamais exposés via ngrok.
Alexa, Google Home et les autres ajouts expérimentaux
Le fichier de configuration contient aussi des sections pour Amazon Alexa (via une bibliothèque non officielle) et pour Google Home. Toutes deux sont marquées expérimentales, et la seconde est même signalée comme non testée. On y trouve encore un overlay qui affiche à l'écrit les réponses de Jarvis dans un coin de l'écran (et reste invisible pour OBS), la commande de lumières vidéo amaran via un ESP32, et un « cockpit », tableau de bord personnel avec suivi d'abonnements. Je vous conseille d'attendre que ces briques mûrissent avant de leur confier quoi que ce soit d'important.
Étape 9 : le panneau web et le HUD
Le panneau de configuration est servi par le serveur web intégré à Jarvis. Il faut donc serveur.actif: true dans la configuration, même si vous n'utilisez pas ngrok. Ouvrez ensuite, sur la machine elle-même, l'adresse http://localhost:8790/panneau, ou dites simplement « ouvre le panneau ».
- Page Modèles
- Elle affiche votre carte graphique et la mémoire vidéo exploitable, propose un catalogue de modèles Ollama avec des badges (tient en mémoire, gère les outils, parle français) et des boutons Installer, Tester, Activer et Supprimer. Même chose pour les modèles Whisper. C'est aussi ici qu'on teste l'accès réel à l'API avec sa clé.
- Page Réglages
- Elle permet de choisir le micro, le haut-parleur, le moteur de voix, la personnalité et la sensibilité du mot d'activation. Les clés API, elles, ne sont pas modifiables depuis le panneau, et c'est voulu.
- Page État
- Elle indique si chaque service répond et affiche le budget consommé.
- Page Permissions
- Elle liste le niveau de chaque outil et permet de révoquer un « toujours autoriser » donné un peu vite.
Le HUD, une orbe animée accessible sur http://127.0.0.1:8770, possède un bouton Config en haut à droite pour les bascules rapides : mode local, hybride ou qualité, fournisseur et modèle, voix. Ces changements s'appliquent dès la réponse suivante, sans redémarrage.
Étape 10 : budget et permissions
Fixer un plafond de dépenses
En mode cloud, posez un plafond dès le premier jour. Ça tient en quelques lignes de configuration, et ça vous évitera une mauvaise surprise le jour où un outil part en boucle. Par défaut, le modèle ne fixe aucun plafond (valeur null) : c'est à vous de le faire.
budget:
plafond_jour: 2.0
plafond_mois: 30.0
alerte_pct: 80
mode_normal: hybride
À 80 % d'un plafond, Jarvis vous prévient à voix haute. Une fois le plafond atteint, il bascule en local (à condition qu'un modèle Ollama soit disponible) jusqu'au lendemain, puis revient au mode indiqué dans mode_normal. « Mon budget ? » donne le détail du jour et du mois.
Les montants affichés sont des estimations, calculées à partir d'une table de prix intégrée à la configuration. Voici les valeurs que contient le modèle à l'heure où j'écris :
| Modèle ou service | Rôle dans Jarvis | Entrée ($ / million de tokens) | Sortie ($ / million de tokens) |
|---|---|---|---|
| gpt-5.6-terra | Mode hybride avec OpenAI | 2 | 12 |
| gpt-6-astra | Mode qualité avec OpenAI | 10 | 50 |
| Claude Haiku | Mode hybride avec Anthropic | 1 | 5 |
| Claude Sonnet | Mode qualité avec Anthropic | 3 | 15 |
| ElevenLabs | Voix de synthèse | Environ 0,10 $ pour 1 000 caractères | |
| Valeurs inscrites dans la section budget.prix du config.example.yaml. Vérifiez-les sur les pages tarifaires de votre fournisseur, elles bougent régulièrement. | |||
Pour donner un ordre d'idée, une requête vocale courte consomme quelques milliers de tokens, surtout à cause de la description des outils envoyée au modèle. Avec un modèle économique, on reste sur de petites fractions de centime par échange. Ce sont les tâches longues, la vision et la voix ElevenLabs qui font grimper la note.
Les permissions
Rien à configurer au départ. Quand Jarvis demande une confirmation pour une action sensible, répondre « oui, toujours » la mémorise pour les fois suivantes. Ça ne marche pas pour les actions critiques (envoi de mail, appel, réservation, extinction du PC), qui demanderont toujours votre accord. Un « toujours » accordé trop vite se révoque depuis la page Permissions du panneau.
Utiliser Jarvis au quotidien
Le déroulement d'une conversation
Dites « Hey Jarvis », puis formulez votre demande d'une traite, comme à une personne. Pas besoin de formules magiques : c'est le modèle de langage qui choisit l'outil adapté. Pendant les dix secondes qui suivent sa réponse, parlez directement pour enchaîner. Pour les outils lents, Jarvis annonce qu'il s'en occupe avant d'avoir le résultat, ce qui évite de se demander s'il a entendu. S'il se lance dans une longue tirade, « stop » le coupe net.
Exemples de phrases
| Domaine | Exemples de phrases |
|---|---|
| Lumières | « Allume le bureau », « mets le salon à 20 % », « mode film », « je m'en vais » |
| PC | « Lance Spotify », « monte le volume », « la carte graphique chauffe ? », « éteins le PC » |
| Écran | « C'est quoi cette erreur ? », « lis ce qui est affiché », « traduis ça » |
| Navigateur | « Ouvre YouTube », « résume cette page », « passe sur l'onglet Gmail » |
| Agenda et mail | « J'ai quoi demain ? », « mon planning de la semaine », « résume mes mails » |
| Notes et mémoire | « Note cette idée : … », « souviens-toi que je préfère le thé », « qu'est-ce que tu sais sur mon frère ? », « oublie ce que tu sais sur … » |
| Utilitaires | « Minuteur de dix minutes pour les pâtes », « quel temps demain ? » |
| Streaming | « Lance le direct », « passe sur la scène pause », « clippe ça » |
| Musique | « C'est quoi cette musique ? », « ajoute-la à ma playlist » |
| Réglages | « Passe en mode neutre », « passe en local », « mode qualité », « repasse en hybride », « mon budget ? » |
| Les formulations sont libres : le modèle comprend aussi les variantes. | |
Les confirmations
Pour une action sensible, Jarvis répète ce qu'il s'apprête à faire et attend trois secondes un « oui » ou un « non ». Pour éteindre le PC, il lance un compte à rebours de trente secondes, que « annule l'extinction » interrompt.
Où sont stockées vos données
La mémoire, les notes, les journaux, les transcriptions d'appels, les jetons OAuth et le suivi du budget restent dans le dossier du projet (memory.json, logs/, notes/, budget.json…). Tous ces fichiers sont exclus de Git. Autrement dit, ils n'existent que sur votre disque, ce qui est rassurant pour la confidentialité et moins pour la sauvegarde. J'en parle juste après.
Démarrage automatique, mises à jour et sauvegarde
Lancer Jarvis avec Windows
Le projet fournit scripts/autostart_install.ps1, mais ce script démarre toute la pile de l'auteur : serveur MCP, tunnel SSH vers la machine virtuelle Hermes, puis Jarvis. Si vous n'utilisez pas Hermes, la méthode simple suffit largement. Appuyez sur Win+R, tapez shell:startup et validez. Dans le dossier qui s'ouvre, créez un raccourci vers lancer_jarvis.bat. Jarvis démarrera à chaque ouverture de session, dans une fenêtre de console.
Si vous utilisez Hermes, lancez plutôt :
powershell -ExecutionPolicy Bypass -File scripts\autostart_install.ps1
Il crée une tâche planifiée avec un délai de 30 secondes (droits administrateur requis), ou se rabat sur le dossier Démarrage. Le script scripts\autostart_uninstall.ps1 annule l'opération.
Mettre à jour
Le code se met à jour par git pull, ce que fait automatiquement lancer_jarvis.bat. Pour mettre à jour les bibliothèques Python, double-cliquez sur mettre_a_jour_jarvis.bat, qui lance uv lock --upgrade puis uv sync. En cas d'échec, l'ancienne version reste utilisable. Après une mise à jour, comparez votre config.yaml avec le nouveau config.example.yaml : de nouvelles sections apparaissent régulièrement, et elles n'arrivent pas toutes seules dans votre fichier. Relancez ensuite doctor.py.
Sauvegarder ce qui compte vraiment
Ne vous fiez pas au nom de sauvegarder_jarvis.bat. Ce fichier sert à l'auteur à faire un commit et un git push de ses propres modifications de code. Sur votre copie, il échouera (vous n'avez pas les droits sur son dépôt) et, de toute façon, il ne sauvegarde pas vos données, puisqu'elles sont exclues de Git.
Votre configuration, votre mémoire et vos jetons n'existent que sur votre disque. Copiez régulièrement ces éléments vers un emplacement sauvegardé, un NAS ou un disque externe :
- config.yaml, memory.json et budget.json ;
- google_credentials.json et google_token.json ;
- le dossier notes, et le dossier logs si vous tenez à l'historique ;
- le dossier voix, pour ne pas avoir à retélécharger vos modèles Piper.
Chiffrez cette copie. config.yaml contient toutes vos clés en clair, et une archive oubliée sur un partage réseau ouvert revient à laisser vos identifiants sur la table.
Sécurité et vie privée : ce que j'en retiens
La documentation de Jarvis prend la sécurité au sérieux, et ça se voit : confirmation vocale avant toute action irréversible, appels téléphoniques qui annoncent clairement être passés par un assistant automatisé, aucun mot de passe ni paiement saisi par Jarvis, domaines protégés en lecture seule, panneau inaccessible depuis Internet. Ce sont de bons réflexes.
Il reste quelques points à garder en tête avant de brancher tous vos comptes :
- Les clés sont stockées en clair
- config.yaml contient vos clés API, le mot de passe d'application Gmail, le token Discord, les identifiants Twilio. Quiconque accède à votre session Windows y accède aussi. Réservez Jarvis à une session personnelle protégée par mot de passe, et chiffrez le disque avec BitLocker si possible.
- Exposer un service avec ngrok n'est jamais anodin
- Le pont iPhone repose sur un token secret et ne laisse passer que des commandes sûres. Générez un token long, ne le partagez pas, et désactivez le serveur si vous ne vous en servez pas.
- Les intégrations expérimentales demandent de la prudence
- La section Alexa, par exemple, attend l'adresse et le mot de passe de votre compte Amazon, via une bibliothèque non officielle. Je n'y mettrais pas un compte qui sert aussi à acheter.
- Un projet porté par une seule personne
- Le rythme de développement est impressionnant, mais il n'y a ni équipe de sécurité ni garantie de suivi. Le git pull automatique signifie aussi que du nouveau code s'exécute à chaque lancement. Lire le CHANGELOG de temps en temps ne fait pas de mal.
Ne connectez jamais à Jarvis un compte professionnel ou client sans avoir mesuré ce qu'il pourrait lire. Un assistant qui résume vos mails envoie leur contenu au fournisseur d'IA choisi, en mode cloud. Pour des données sensibles, restez en mode local ou tenez ces comptes à l'écart.
Dépannage : les problèmes les plus courants
- python, git ou uv n'est pas reconnu
- Fermez et rouvrez le terminal. Si le problème persiste, le programme n'est pas dans le PATH : réinstallez Python en cochant « Add python.exe to PATH », ou utilisez py à la place de python.
- No module named ...
- Vous avez lancé le script avec le Python du système au lieu de celui du projet. Préfixez toujours vos commandes par uv run, ou relancez uv sync.
- config.yaml introuvable
- Tapez copy config.example.yaml config.yaml à la racine du projet.
- Jarvis ne répond pas du tout en mode cloud
- Vérifiez que cloud.fournisseur correspond à la clé renseignée, que l'autre clé factice a bien été vidée et que votre compte API dispose de crédit. La page Modèles du panneau teste l'accès réel.
- « Hey Jarvis » ne se déclenche jamais
- C'est souvent le mauvais micro : relistez les périphériques et testez les autres index dans audio.micro. Vérifiez aussi que l'écoute n'a pas été coupée par Ctrl+Alt+M, et descendez assistant.seuil_reveil vers 0.4.
- Il se déclenche tout seul
- Montez seuil_reveil vers 0.6 ou 0.7, éloignez le micro des enceintes ou passez au casque.
- Il coupe mes phrases trop tôt
- Augmentez assistant.silence_fin, à 1.5 ou 2.
- Erreur CUDA ou cuDNN au démarrage
- Pas de carte NVIDIA compatible, ou pilote trop ancien. Ce n'est pas bloquant : Whisper tourne alors sur le processeur. Pour gagner en vitesse, passez whisper.modele à small, au prix d'une transcription un peu moins précise.
- Pont Hue introuvable
- Le PC et le pont doivent être sur le même réseau. Vérifiez l'IP, qui a pu changer (fixez-la dans votre box), ainsi que la clé.
- OBS ne répond pas
- OBS doit être lancé, le serveur WebSocket activé, et le mot de passe identique à celui de config.yaml.
- En local, les réponses sont lentes ou les outils ne s'exécutent pas
- Vérifiez ollama.think: false, mettez Ollama à jour et essayez un modèle plus petit si la mémoire vidéo est saturée. Le panneau affiche son occupation.
- Le panneau ne s'ouvre pas
- Il faut serveur.actif: true et un redémarrage de Jarvis. Le panneau refuse les connexions qui ne viennent pas de la machine elle-même : ouvrez-le sur le PC de Jarvis, pas depuis un autre appareil du réseau.
- Rien ne marche et je ne sais pas pourquoi
- Lancez uv run python scripts/doctor.py, puis lisez la console de Jarvis : les erreurs y sont en général explicites. Le dépôt propose aussi INSTALL_WITH_AI.md, un prompt à coller dans une IA, qui vous guidera commande par commande en connaissant les erreurs les plus fréquentes.
Questions fréquentes
- Jarvis est-il gratuit ?
- Le logiciel l'est, sous licence MIT. En mode local, il ne coûte rien à l'usage. En mode hybride ou qualité, vous payez la consommation de l'API d'Anthropic ou d'OpenAI, et éventuellement ElevenLabs et Twilio si vous les activez.
- Mon abonnement Claude Pro ou ChatGPT Plus suffit-il ?
- Non. L'API est facturée à part, à l'usage, avec du crédit à acheter sur la console du fournisseur.
- Jarvis fonctionne-t-il sur Mac ou Linux ?
- Le projet cible Windows 11. Plusieurs fonctions dépendent de Windows (voix système, lancement d'applications, overlay). Seul le client satellite tourne sous Linux, sur Raspberry Pi notamment.
- Faut-il absolument une carte NVIDIA ?
- Pas en mode cloud. En mode local, c'est fortement conseillé : sans carte NVIDIA, tout fonctionne sur le processeur, mais la latence devient gênante.
- Jarvis écoute-t-il tout ce que je dis ?
- Le micro est ouvert en permanence, mais seul le détecteur de mot d'activation analyse le son, en local. La transcription et l'envoi au modèle ne commencent qu'après « Hey Jarvis ». Ctrl+Alt+M coupe cette écoute à tout moment.
- Puis-je l'utiliser sans aucune domotique ?
- Oui. Sans Hue, OBS ni agenda, Jarvis reste utile pour lancer des applications, gérer le volume, lire l'écran, résumer une page web, prendre des notes ou programmer des minuteurs.
- Peut-il remplacer Alexa ou Google Assistant ?
- Pour un usage centré sur le PC, il va même plus loin, grâce à la vision de l'écran et au pilotage du navigateur. Pour la maison entière, il lui manque encore des satellites faciles à installer : aujourd'hui, il faut un Raspberry Pi par pièce.
- Comment ajouter ma propre commande ?
- Il suffit de créer un fichier Python dans tools/ avec le décorateur @outil(...). Il est découvert automatiquement au démarrage, sans rien câbler ailleurs.
Mon avis sur Jarvis
Ce qui me plaît dans ce projet, c'est la liberté de choix. On peut démarrer en cloud pour avoir des réponses de bonne qualité tout de suite, puis basculer en local le jour où l'on veut que rien ne sorte de chez soi. Tout se configure dans un seul fichier, et la documentation est franche sur les limites, ce qui est plutôt rare. Le budget avec bascule automatique en local et les confirmations systématiques sur les actions critiques montrent que l'auteur a réfléchi aux dérapages possibles.
Le revers, c'est la complexité. Un fichier de près de 500 lignes, une dizaine de comptes possibles, des environnements Python séparés pour les gestes et la musique : ça demande un peu de patience et un minimum d'aisance avec un terminal. Et comme le code change presque chaque jour, il faut accepter qu'une mise à jour casse parfois quelque chose.
Mon conseil : commencez petit. Faites les étapes 1 à 7 en mode cloud avec une clé Anthropic ou OpenAI, fixez un plafond de dépenses, puis ajoutez une intégration à la fois. Si vous avez des lampes Hue, commencez par elles, c'est l'effet « waouh » le plus rapide à obtenir. Le reste viendra naturellement, au rythme de vos besoins.
Articles qui pourraient vous intéresser
Sniffing Bluetooth : ce que vos écouteurs, souris et montres disent de vous (et comment limiter la casse)
Quand je pars en rendez-vous client, mon sac ressemble à celui de beaucoup d'entre vous : smartphone, ordinateur portable, écouteurs sans fil, souris et clavier Bluetooth, et la montre connectée...
Pulse Diagnostics : l'outil gratuit qui traduit enfin les journaux d'événements de Windows
Un écran bleu en pleine visio, un PC qui redémarre tout seul pendant la nuit, un service qui ne veut plus démarrer après une mise à jour… Dans presque tous les cas, Windows a noté quelque p...
Comparateur IA gratuit : QUELLE IA classe 250 modèles pour trouver celui qu'il vous faut
Quand un client ou un proche me demande quelle IA prendre, je ne réponds jamais du premier coup. Je pose d'abord mes questions : c'est pour coder ou pour écrire des mails ? Gratuit ou payant ? Da...
Gérer ses e-mails Thunderbird avec une IA grâce au protocole MCP : le tutoriel complet
Trier une boîte de réception qui déborde, retrouver la facture d'un fournisseur reçue il y a trois mois, préparer une réponse à un fil de discussion de quinze messages : ce sont des tâches ...
Gmail abandonne la relève POP en 2027 : plMail, le client mail auto-hébergé qui centralise toutes vos boîtes
Depuis des années, je laisse Gmail aller chercher le courrier de mes autres adresses et je réponds directement avec elles depuis la même interface. C'est pratique, et c'est terminé : Google a c...
Claude Cowork passe dans le cloud : ce qui change vraiment pour vos fichiers, vos tâches et vos données
Le 6 octobre 2026, Anthropic a modifié le fonctionnement de Cowork, l'agent de Claude qui mène seul des tâches longues. Pour les a...
Model Context Protocol (MCP) : à quoi ça sert et faut-il s'y mettre ?
Si le sigle MCP vous fait d'abord penser au Master Control Program, l'intelligence tyrannique du film Tron sorti en 1982, rassurez-vous : son homonyme actuel est nettement plus pacifique. ...
PC Nvidia RTX Spark : l’IA hors ligne tient-elle vraiment la route face à ChatGPT ?
Couper le Wi-Fi, ouvrir son PC portable et demander à une IA de résumer un document, de transcrire une réunion ou d’écrire un bout de code, sans qu’un seul octet ne parte vers un datacenter...
Llama Windows : l'IA locale en un clic sur Windows 11, sans terminal ni abonnement
Faire tourner un modèle d'IA directement sur son PC, sans payer d'abonnement et sans que ses questions partent sur un serveur à l'autre bout du monde, c'est possible depuis un moment. Sous Window...
