Si l'IA vous intéresse un peu, vous avez sans doute déjà installé LM Studio, Ollama, llama.cpp ou Stable Diffusion pour voir ce que ça donne sur votre propre machine. Au début, c'est la jungle. Et au moment de choisir un modèle, c'est encore pire. Je suis passé par toutes les étapes : des réponses qui mettent une éternité à s'afficher, d'autres qui s'arrêtent au milieu d'une phrase, et ce modèle qui a tourné un bon quart d'heure, ventilateurs à fond comme un avion au décollage, pour finalement ne rien sortir du tout. Avec le recul, la plupart de ces déceptions se seraient évitées avec deux logiciels gratuits et deux sites bien choisis. Voici comment je m'y prends aujourd'hui.

Pourquoi faire tourner une IA chez soi ?

Pour moi, l'IA en local est d'abord une affaire de maîtrise. Vos données ne quittent pas votre ordinateur ou votre serveur : pas de cloud, pas de journaux conservés chez un éditeur, pas de conditions d'utilisation de quarante pages qui changent tous les six mois. Pour un professionnel qui manipule des documents clients, c'est un vrai argument. Pour un particulier, c'est surtout une question de confidentialité et, pourquoi pas, de souveraineté.

Il y a aussi l'aspect économique. Une fois le modèle téléchargé, chaque requête est gratuite, sans quota ni abonnement. Et ça fonctionne hors connexion, ce qui reste pratique dans un train ou quand la box fait des siennes.

Soyons honnêtes pour autant : un modèle qui tient sur un PC grand public ne rivalise pas avec les grands modèles hébergés dans des centres de données. Il consomme de l'électricité, il chauffe, et il demande un peu de patience au démarrage. L'objectif n'est donc pas de remplacer complètement les services en ligne, mais de disposer d'un assistant fiable pour les tâches où la confidentialité compte vraiment.

Les quelques notions à connaître avant de se lancer

La moitié des mauvaises surprises vient de quatre termes que l'on croise partout sans toujours savoir ce qu'ils recouvrent.

Le nombre de paramètres (B)
Le « B » signifie milliards (billions en anglais). Un modèle 8B contient environ 8 milliards de paramètres. Plus ce chiffre est élevé, plus le modèle est capable en général, mais plus il réclame de mémoire.
La quantification
C'est une compression du modèle : les paramètres sont stockés avec moins de précision (4 bits au lieu de 16, par exemple). Le fichier devient trois à quatre fois plus léger pour une perte de qualité souvent modeste. Les variantes Q4 sont le compromis le plus courant.
La VRAM et la RAM
Le modèle doit tenir en mémoire. Idéalement dans celle de la carte graphique (VRAM), qui est bien plus rapide. Sinon, une partie bascule sur la mémoire vive et le processeur, et tout ralentit nettement. Sur les Mac Apple Silicon, la mémoire est unifiée et partagée entre processeur et puce graphique, ce qui les rend très à l'aise sur ce terrain.
Les tokens par seconde
Un token correspond grosso modo à un morceau de mot. En dessous de 5 tokens par seconde, la lecture devient pénible. Au-delà de 20, la réponse s'affiche plus vite que vous ne la lisez.

Pour vous donner des ordres de grandeur, voici ce que j'observe avec des modèles quantifiés en Q4. Ce sont des repères, pas des valeurs garanties : la longueur du contexte et le logiciel utilisé font varier les besoins.

Besoins en mémoire approximatifs selon la taille du modèle (quantification Q4)
Taille du modèle Poids approximatif Matériel conseillé Usage typique
1 à 4B 1 à 3 Go PC récent avec 8 Go de RAM, sans carte graphique dédiée Résumés courts, reformulation, tests
7 à 9B 5 à 6 Go Carte graphique avec 8 Go de VRAM ou Mac 16 Go Assistant du quotidien, rédaction
12 à 14B 8 à 10 Go Carte graphique 12 à 16 Go ou Mac 24 Go Rédaction plus fine, code simple
26 à 32B 16 à 20 Go Carte graphique 24 Go ou Mac 32 Go et plus Raisonnement, code, analyse de documents
Valeurs indicatives, à vérifier avec CanIRun.ai pour votre configuration exacte.

Un modèle trop gros pour votre carte graphique ne plante pas forcément : il déborde sur la mémoire vive et le processeur. Résultat, une réponse qui arrive au compte-gouttes, une machine brûlante et des ventilateurs qui hurlent. Si vous en êtes là, descendez d'une taille plutôt que d'insister.

Les deux outils avec lesquels je conseille de démarrer

Il existe une foule de logiciels pour l'IA locale, mais pour un homelab comme pour un simple PC, je recommande de commencer par deux outils éprouvés et gratuits : LM Studio et Ollama. Ils utilisent tous les deux le même format de fichiers (GGUF), ce qui permet de passer de l'un à l'autre sans tout retélécharger dans bien des cas.

LM Studio, l'interface graphique pour débuter sereinement

LM Studio s'installe comme n'importe quelle application sur Windows, macOS ou Linux. Il exploite la carte graphique quand elle est présente, et se rabat sur le processeur sinon. Son catalogue intégré donne accès aux grandes familles de modèles (Gemma, Qwen, GPT-OSS, Ministral…), avec pour chacune une indication de compatibilité avec votre matériel. Et si un modèle ne figure pas dans la liste, on peut l'ajouter à la main depuis Hugging Face.

Depuis juillet 2025, LM Studio est gratuit pour un usage personnel comme professionnel, sans formulaire à remplir. Il embarque aussi un serveur local compatible avec l'API d'OpenAI : n'importe quel outil prévu pour ChatGPT peut alors interroger votre modèle local en changeant simplement l'adresse du serveur. C'est très pratique pour brancher un éditeur de code ou un workflow d'automatisation.

Côté mobile, l'éditeur a racheté au printemps 2026 l'application Locally, disponible sur iPhone et iPad, et lancé en juin la fonction LM Link. Le principe est simple : vous tapez votre question sur le téléphone, le calcul se fait sur votre ordinateur, et la réponse revient sur l'écran du mobile, avec un échange chiffré de bout en bout. Pour l'instant, cette fonction est réservée à l'écosystème Apple. Je ne l'ai pas encore testée, mais l'idée de garder un gros modèle sur la machine du bureau et de l'utiliser depuis le canapé est séduisante.

Enfin, pour les utilisateurs de Mac, LM Studio propose depuis juillet 2026 Bionic, un agent séparé (en préversion) capable de mener des tâches plus longues : recherche, code, travail sur des documents ou des tableaux, toujours avec des modèles qui tournent sur la machine.

Ollama, le moteur idéal pour un homelab

Ollama a une philosophie différente. C'est avant tout un service qui tourne en arrière-plan et se pilote en ligne de commande : une instruction pour télécharger un modèle, une autre pour le lancer. Une application de bureau existe désormais sur Windows et macOS pour discuter simplement, mais sa vraie force reste ailleurs. Il s'installe très bien sur un serveur Linux ou dans un conteneur Docker, expose une API, et se fait oublier.

Associé à Open WebUI, il devient une solution complète, avec une interface web proche de celle de ChatGPT, la gestion de plusieurs utilisateurs, l'import de documents et un historique des conversations. C'est le duo que je trouve le plus adapté à une infrastructure de homelab : le serveur fait le travail, et tous les appareils de la maison y accèdent depuis un navigateur. J'ai d'ailleurs consacré un article complet à l'installation d'Ollama et d'Open WebUI sous Windows 11, si vous voulez passer à la pratique.

LM Studio ou Ollama : lequel choisir ?

Comparatif LM Studio et Ollama
Critère LM Studio Ollama
Public visé Débutants et utilisateurs qui veulent une interface Utilisateurs à l'aise avec le terminal, homelabs
Interface Application graphique complète Ligne de commande, application simple sur Windows et macOS, Open WebUI en complément
Systèmes Windows, macOS, Linux Windows, macOS, Linux, Docker
Catalogue de modèles Intégré, avec indication de compatibilité Bibliothèque en ligne, installation par commande
API locale Oui, compatible OpenAI Oui, native et compatible OpenAI
Accès mobile Application Locally avec LM Link (iPhone, iPad) Via Open WebUI dans le navigateur du téléphone
Usage serveur Possible en mode sans interface Son terrain de prédilection
Prix Gratuit Gratuit et open source

Mon conseil : LM Studio pour découvrir et tester des modèles sur votre ordinateur, Ollama pour installer quelque chose de durable sur un serveur. Rien n'empêche d'utiliser les deux, c'est même ce que font beaucoup de passionnés.

Quels modèles choisir en 2026 ?

C'est la question que je me suis posée le plus souvent. Et la réponse dépend d'abord de la machine. Un NAS équipé d'un processeur basse consommation, un mini PC, un iMac ou une tour de jeu n'obtiendront pas du tout les mêmes résultats avec le même modèle. Je teste régulièrement de nouvelles sorties, et sur la plupart des configurations, deux familles ressortent avec le meilleur équilibre entre vitesse et qualité des réponses : Gemma chez Google et Qwen chez Alibaba.

D'autres familles méritent un coup d'œil selon vos besoins : les GPT-OSS d'OpenAI, les Ministral du français Mistral AI, ou encore les déclinaisons spécialisées dans le code. Chaque famille existe en plusieurs tailles, et un même modèle peut briller en rédaction tout en restant moyen en raisonnement. D'où l'intérêt des deux sites qui suivent.

« Open source » et « open weight » ne veulent pas tout à fait dire la même chose. Un modèle open weight met ses poids à disposition, ce qui suffit pour le faire tourner chez vous, mais pas forcément ses données d'entraînement ni son code. Pour un usage local, c'est surtout la licence (Apache 2.0, MIT, licence maison…) qu'il faut regarder, en particulier pour un usage commercial.

CanIRun.ai : savoir ce que votre machine peut faire tourner

CanIRun.ai est devenu mon premier réflexe avant de télécharger quoi que ce soit. Le site détecte votre configuration directement depuis le navigateur, et vous pouvez aussi saisir à la main le processeur, la carte graphique et la quantité de mémoire. Il affiche ensuite la liste des modèles compatibles, avec une note de S à F selon leur confort d'utilisation, la présence ou non d'un mode raisonnement, les quantifications possibles et surtout le nombre de tokens par seconde estimé.

Ce dernier chiffre est celui que je regarde en premier. C'est lui qui vous dit si l'expérience sera fluide ou si vous allez passer votre temps à attendre, et vous l'avez avant même d'avoir rempli votre disque de fichiers de plusieurs dizaines de gigaoctets.

Les filtres permettent d'affiner : type de tâche (code, rédaction, raisonnement…), type de licence, éditeur, score. C'est aussi un bon moyen de comprendre pourquoi un modèle présenté comme « compatible » sur un forum se traîne chez vous, alors que les deux configurations semblaient proches sur le papier. L'interface est claire, la prise en main immédiate, et le service est gratuit.

LLM Leaderboard : comparer la qualité des modèles

Là où CanIRun.ai s'occupe du matériel, le LLM Leaderboard de LLM Stats s'intéresse à la qualité des modèles eux-mêmes. L'approche est différente et complémentaire : quel modèle choisir selon ce que vous comptez en faire ? Rédaction, raisonnement, code, mathématiques, recherche, droit, finance, santé… Les classements sont nombreux et s'appuient sur des benchmarks publics.

À l'heure où j'écris, le site suit un peu plus de 400 modèles. On y croise les grands noms des services en ligne, des modèles open weight de toutes tailles, et même des modèles à diffusion restreinte comme Claude Mythos Preview d'Anthropic, réservé pour l'instant à quelques organisations. Pour l'IA locale, ces géants servent surtout de point de comparaison : ils ne tourneront jamais sur un PC de bureau.

Mon astuce : utilisez le filtre sur le nombre de paramètres et limitez-vous aux modèles de moins de 32B, ou consultez directement l'Open LLM Leaderboard du même site, qui ne garde que les modèles aux poids publiés. Vous ne verrez alors que ce qu'un ordinateur grand public peut réellement faire tourner.

Utilisés ensemble, ces deux sites forment un très bon duo. CanIRun.ai vous dit ce que votre machine peut faire tourner, le LLM Leaderboard vous dit ce que vaut chaque modèle. Croiser les deux avant d'installer quoi que ce soit fait gagner un temps précieux.

Ma méthode en cinq étapes pour bien démarrer

Questions fréquentes sur l'IA en local

Faut-il absolument une carte graphique ?
Non. Les petits modèles (1 à 4B) tournent correctement sur un processeur récent avec 8 à 16 Go de RAM. Pour aller au-delà de 7 ou 8B avec un débit agréable, une carte graphique avec au moins 8 Go de VRAM ou un Mac Apple Silicon change vraiment la donne.
Un Mac fait-il l'affaire ?
Oui, et plutôt bien. Grâce à la mémoire unifiée, un Mac avec 32 Go peut charger des modèles qui demanderaient une carte graphique haut de gamme sur PC. LM Studio et Ollama proposent des versions optimisées pour Apple Silicon.
Peut-on faire tourner un modèle sur un NAS ?
C'est possible avec Ollama dans un conteneur, mais la plupart des NAS ont un processeur basse consommation et pas de carte graphique. Limitez-vous aux petits modèles, et vérifiez sur CanIRun.ai avant de vous lancer.
Est-ce vraiment gratuit ?
Les logiciels et les modèles présentés ici le sont. Le seul coût est celui du matériel et de l'électricité, qui grimpe vite si la machine calcule toute la journée.
Mes données restent-elles vraiment chez moi ?
Oui, tant que le modèle tourne en local et que vous ne branchez pas de service externe (recherche web, API tierce). Avec LM Link, les échanges entre le téléphone et l'ordinateur sont chiffrés, et le modèle reste sur votre machine.

En synthèse

Entre la jungle des logiciels et celle des modèles, l'IA locale a de quoi décourager au premier abord. Mais avec LM Studio ou Ollama pour faire tourner les modèles, CanIRun.ai pour ajuster vos attentes à votre matériel et le LLM Leaderboard pour choisir selon votre usage, tout devient beaucoup plus lisible. Contrairement aux services en ligne, ces outils sont gratuits, fonctionnent hors connexion, et vos données restent à la maison.

Et vous, avez-vous déjà essayé l'IA en local ? Quel modèle tourne chez vous, et sur quelle machine ? Dites-le-moi en commentaire, je suis curieux de comparer.

Source

Comment cet article a-t-il été réalisé ? Le texte a été rédigé par mes soins, puis relu avec l'aide d'une intelligence artificielle afin de corriger d'éventuelles erreurs d'orthographe ou de grammaire. L'illustration de présentation a également été créée à l'aide de l'IA.