Il y a encore quelques mois, cloner une voix demandait soit un abonnement à un service cloud, soit une carte graphique de compétition et des heures de bidouille. OmniVoice change la donne : ce modèle publié par l'équipe Next-gen Kaldi de Xiaomi tourne sur mon Mac, ne coûte rien, et reproduit ma voix à partir d'un extrait audio de quelques secondes à peine. J'ai testé l'installation, la génération et l'automatisation via un agent IA. Voici ce que j'en retiens, pièges compris.

Qu'est-ce qu'OmniVoice, au juste ?

OmniVoice est un modèle de synthèse vocale publié le 31 mars 2026 par l'équipe Next-gen Kaldi de Xiaomi (le même groupe qui a créé Kaldi et k2, avec Daniel Povey parmi les auteurs). Il couvre 646 langues et peut reproduire n'importe quelle voix à partir d'un extrait de référence, sans entraînement préalable. Le français est la cinquième langue du corpus d'entraînement, avec 23 675 heures d'audio sur les 581 000 heures totales — largement de quoi restituer les intonations du français.

Techniquement, le modèle combine un socle Qwen3-0.6B et un codec audio Higgs Audio V2, avec une génération par diffusion masquée sur 32 étapes. Xiaomi annonce une vitesse 40 fois supérieure au temps réel, mesurée sur un GPU H100 avec des optimisations maison. Sur un Mac ou un PC de bureau, il faut s'attendre à beaucoup moins, comme je le détaille plus bas.

Installer OmniVoice sur son ordinateur

L'installation prend cinq minutes une fois qu'on a Python 3.10 ou plus récent. Sur Mac, ces deux lignes suffisent, puisque le modèle exploite directement le GPU intégré via MPS :

python3 -m venv ~/omnivoice-env && source ~/omnivoice-env/bin/activate
pip install torch==2.8.0 torchaudio==2.8.0
pip install omnivoice num2words

Sur Windows et Linux, il faut une carte NVIDIA — l'activation de l'environnement change légèrement sous Windows (omnivoice-env\Scripts\activate) — et PyTorch doit venir de l'index CUDA. Remplacez alors la deuxième ligne par :

pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128

Sans carte graphique du tout, ça fonctionne aussi. Je l'ai testé dans un conteneur Linux en CPU pur : l'installation passe sans rien changer, mais il faut compter environ cinq fois la durée de l'audio en temps de calcul.

Une fois l'installation terminée, tapez omnivoice-infer --help. Si la liste des options s'affiche sans erreur d'import, c'est bon. Le package num2words de la troisième ligne ne sert qu'à la normalisation des nombres en Python, j'y reviens plus loin. Gardez-le sous la main.

Préparer l'échantillon de voix de référence

C'est l'étape que tout le monde bâcle, et c'est pourtant la plus déterminante pour la qualité du résultat. Le projet recommande un extrait de 3 à 10 secondes : au-delà, le calcul ralentit et le clonage se dégrade. Choisissez un passage où vous parlez sans blanc, sans hésitation, sans musique de fond, et découpez-le proprement avec ffmpeg (ou l'outil de votre choix) :

ffmpeg -i mon-enregistrement.m4a -ss 12 -t 8 -ac 1 -ar 24000 moi.wav

La qualité de cet extrait compte énormément. Si vous enregistrez votre voix pour l'occasion, placez le micro près de la bouche, dans une pièce sans écho, et évitez les fichiers MP3 récupérés depuis YouTube : la compression y détruit des détails que le modèle utilise pour reconstruire le timbre.

Vient ensuite la transcription : écrivez mot pour mot ce que dit l'extrait. Cette étape est facultative, sans elle OmniVoice transcrit automatiquement avec Whisper, mais elle a un coût : 1,6 Go de téléchargement supplémentaire, et des erreurs occasionnelles sur les noms propres qui abîment le clonage. Autant s'en passer si le texte tient en une phrase.

Générer sa première voix clonée

Avant de lancer quoi que ce soit, relisez votre texte et réécrivez les chiffres en toutes lettres : la ligne de commande n'a aucune option de normalisation, donc « 2345 » sortira n'importe comment alors que « deux mille trois cent quarante-cinq » se lit sans accroc. Cette normalisation existe côté Python, avec normalize_text=True, la langue précisée en language="fr" et la bibliothèque num2words installée plus haut. Sans elle, un texte français part chez le normaliseur anglais, qui réclame en plus une dépendance sans version précompilée pour les Mac Apple Silicon.

Voici la commande complète :

omnivoice-infer --model k2-fsa/OmniVoice \
  --text "Bonjour, ceci est un test de clonage de voix en français réalisé avec OmniVoice." \
  --ref_audio moi.wav --ref_text "$(cat moi.txt)" \
  --language fr --num_step 32 --output ma-voix.wav

Au bout de quelques secondes, un message « Saved to ma-voix.wav » confirme que tout s'est bien passé. Sur mon Mac (M4 Max), j'ai mesuré 4 à 6 secondes de calcul pour 5,4 secondes d'audio généré, et deux fois moins avec --num_step 16, au prix d'un léger flou dans le rendu. Le facteur 40 fois plus rapide que le temps réel annoncé par Xiaomi correspond à une mesure sur H100 avec des optimisations maison, pas à ce qu'on obtient sur un ordinateur de bureau.

Si la ligne de commande vous rebute, la commande omnivoice-demo --ip 127.0.0.1 --port 8001 ouvre la même fonction dans le navigateur, avec un bouton pour importer l'extrait de référence et un menu déroulant de langues. Pensez à lancer export GRADIO_ANALYTICS_ENABLED=False avant de démarrer : l'interface web contacte sinon les serveurs de Gradio au lancement, ce qui n'a pas de raison d'être puisque l'audio, lui, ne quitte jamais votre machine.

Écoutez toujours le fichier avant de le réutiliser. Le modèle avale parfois un morceau de phrase, presque toujours en début ou en fin. Sur 24 générations de la même phrase, j'en ai perdu ou déformé 5. C'est un bug documenté, pas un problème d'installation : il suffit de relancer.

Pour ceux qui passent par l'API Python, la voix se sauvegarde une bonne fois pour toutes avec model.create_voice_clone_prompt() puis .save("ma_voix.pt") : un petit fichier que les sessions suivantes rechargent directement, sans repasser par l'extrait audio ni par la transcription.

Automatiser le clonage avec un agent IA

Je me suis dit qu'un brief tout prêt à donner à Claude Code, Codex ou un autre agent ferait gagner du temps, en intégrant directement les pièges listés plus haut. En voici un que j'ai testé de mon côté :

Installe OmniVoice (k2-fsa/OmniVoice) dans un environnement virtuel Python 3.10 ou plus récent. Sur Mac, installe torch==2.8.0 et torchaudio==2.8.0 sans index CUDA. Sur Linux ou Windows avec une carte NVIDIA, utilise torch==2.8.0+cu128 avec --extra-index-url https://download.pytorch.org/whl/cu128. Sans carte graphique, installe la version CPU standard et préviens-moi que le calcul prendra environ cinq fois la durée de l'audio. Installe aussi num2words. Découpe ensuite mon fichier audio [NOM_DU_FICHIER] avec ffmpeg pour obtenir un extrait mono à 24 000 Hz, entre 3 et 10 secondes, sans blanc ni bruit de fond au début ou à la fin. Écris la transcription exacte de cet extrait dans un fichier texte séparé plutôt que de t'appuyer sur la transcription automatique Whisper. Génère l'audio avec omnivoice-infer en précisant --language fr, --num_step 32, et le texte suivant, préalablement réécrit avec tous les chiffres en toutes lettres : [TEXTE]. Avant de me donner le résultat, vérifie la durée du fichier de sortie et l'absence de coupure au début et à la fin.

Un agent qui suit ce brief évite les trois pièges qui coûtent le plus de temps : la normalisation des chiffres oubliée, la transcription automatique qui abîme un nom propre, et l'extrait de référence trop long ou trop court. Il reste une vérification humaine incontournable : écouter le résultat avant de le considérer comme terminé, à cause du bug de mots avalés mentionné plus haut.

Les limites à connaître avant de se lancer

Avant de vous lancer, quelques limites à garder en tête. D'abord la vitesse : les 40x annoncés par Xiaomi correspondent à un GPU de data center avec des optimisations spécifiques, pas à un Mac ou un PC de bureau. Comptez plutôt quelques secondes de calcul par seconde d'audio sur une machine récente, et cinq fois la durée de l'audio sans carte graphique. Ensuite la fiabilité : le modèle avale occasionnellement un mot en début ou fin de phrase, ce qui oblige à relancer et à écouter systématiquement avant utilisation.

Enfin, contrairement à Chatterbox, OmniVoice n'intègre aucun filigrane audio dans ses sorties. Rien ne signale automatiquement qu'un fichier généré est synthétique, c'est donc à vous de le faire si vous le diffusez. D'autant que le règlement européen sur l'IA impose depuis le 2 août 2026 le marquage des contenus audio, image, vidéo ou texte générés par une IA lorsqu'ils sont diffusés dans l'Union européenne.

Ce que la licence autorise (et ce qu'elle interdit)

Le code d'OmniVoice est publié sous licence Apache 2.0, mais les poids du modèle, ceux qu'on télécharge et qu'on utilise réellement, sont sous licence CC-BY-NC à cause des contraintes imposées par les données d'entraînement. Concrètement, tout usage commercial des poids est exclu : impossible de vendre un service basé dessus, de l'intégrer à un produit payant ou de l'utiliser dans un cadre professionnel facturé.

Pour un usage strictement personnel, en revanche, rien ne s'y oppose : le règlement européen sur l'IA exclut explicitement de son champ d'application les activités purement personnelles à caractère non professionnel. Si votre projet doit rapporter de l'argent, tournez-vous plutôt vers Chatterbox Multilingual, de Resemble AI : sous licence MIT, donc utilisable commercialement, il couvre le français parmi 23 langues et intègre un filigrane audio (PerTh) directement dans ses sorties.

Trois outils, trois usages

OmniVoice, Chatterbox et MLX-Audio répondent à des besoins différents, et je m'en sers pour des choses différentes. Voici comment je les distingue :

Comparatif OmniVoice, Chatterbox et MLX-Audio
Outil Licence Usage commercial Langue française Filigrane audio Ce que j'en retiens
OmniVoice Apache 2.0 (code) / CC-BY-NC (poids) Non Oui, parmi 646 langues Non Le plus large éventail de langues, gratuit, réservé à un usage personnel
Chatterbox Multilingual MIT Oui Oui, parmi 23 langues Oui (PerTh) Le bon choix pour un projet commercial ou diffusé publiquement
MLX-Audio MIT Oui Selon le moteur chargé Non intégré Pensé pour faire lire du texte à voix haute sur Mac, pas pour le clonage
Les trois tournent gratuitement en local, sans envoyer vos données dans le cloud.

MLX-Audio n'est pas vraiment un concurrent d'OmniVoice : c'est un outil pour faire lire du texte à voix haute sur Mac, avec plusieurs moteurs interchangeables comme Kokoro. Si votre objectif est de faire lire vos ebooks ou vos articles plutôt que de cloner votre propre voix, c'est probablement l'outil le plus direct.

Mon avis

OmniVoice m'a convaincu sur un point précis : la qualité du clonage en français, obtenue avec un extrait ridiculement court et sans rien envoyer sur un serveur distant. La limite commerciale de la licence ne me gêne pas pour mes propres usages : tester des voix off pour une vidéo, doubler ma propre voix sur un message vocal un peu long, ou simplement m'amuser avec des amis. Si vous cherchez un outil à intégrer dans un produit, direction Chatterbox. Si vous voulez juste écouter vos ebooks pendant vos trajets, MLX-Audio fera très bien l'affaire. Et si vous testez OmniVoice de votre côté, gardez un casque à portée de main : le premier essai ne sera pas forcément le bon.

Source