Vous souhaitez exécuter une intelligence artificielle directement sur votre ordinateur, sans passer par le cloud, sans abonnement, et sans envoyer vos données à des serveurs distants ? C'est tout à fait possible, et l'offre de modèles open source disponibles en local n'a jamais été aussi riche. Mais face à la multitude de LLM (Large Language Models) disponibles, une question se pose rapidement : lequel choisir pour qu'il tourne confortablement sur ma machine, avec mon matériel ? C'est exactement là qu'interviennent deux outils que je vais vous présenter dans cet article : CanIRun.ai et LLMfit.

Pourquoi est-il si difficile de choisir un LLM pour sa machine ?

Avant de plonger dans les outils, il me semble important de poser le contexte. Aujourd'hui, il existe plusieurs solutions gratuites et open source pour faire tourner un LLM en local, comme LM Studio ou Ollama. L'installation est souvent simple et bien documentée. Le vrai défi, c'est de choisir le bon modèle.

Car tous les LLM ne se valent pas, et surtout, tous ne conviennent pas à toutes les configurations. Si vous faites tourner un modèle trop gourmand sur une machine insuffisamment équipée, deux scénarios s'offrent à vous : soit le logiciel refuse de le charger, soit vous attendez plusieurs minutes pour obtenir une réponse à un simple prompt. Dans les deux cas, l'expérience est inutilisable.

Les critères matériels qui entrent en jeu sont les suivants :

Le processeur (CPU)
Il joue un rôle dans l'exécution locale, mais c'est rarement le facteur limitant dans la plupart des configurations modernes.
La mémoire vive (RAM)
Elle est importante, notamment lorsque la mémoire vidéo est insuffisante pour charger un modèle en entier — un mécanisme appelé CPU offloading, que j'explique plus bas.
La VRAM (mémoire de la carte graphique)
C'est l'élément le plus déterminant. C'est elle qui permet les calculs d'inférence à haute vitesse. Plus vous en disposez, plus vous pouvez charger des modèles volumineux et obtenir des réponses rapides — mais aussi plus la carte graphique est onéreuse.

C'est précisément pour aider à naviguer dans cette complexité que des outils comme CanIRun.ai et LLMfit ont été conçus.

Pourquoi utiliser un LLM en local ? Les cas d'usage concrets

Avant d'aller plus loin, il me paraît utile de rappeler pourquoi on souhaite faire tourner un LLM sur sa propre machine plutôt que d'utiliser un service en ligne.

La confidentialité des données est sans doute la raison numéro un. Lorsque vous utilisez ChatGPT, Claude ou Gemini, vos conversations transitent par des serveurs externes. En local, rien ne sort de votre machine : vos documents, vos questions, vos échanges restent chez vous. C'est particulièrement crucial pour les professionnels qui manipulent des données sensibles — données médicales, juridiques, financières ou commerciales.

L'usage hors ligne est un autre avantage considérable. Un LLM local fonctionne sans connexion internet. Idéal si vous travaillez dans des environnements isolés, en déplacement, ou si vous souhaitez vous affranchir de la dépendance aux services cloud.

Le coût zéro à l'usage est également un argument de poids. Les services en ligne facturent tôt ou tard à la requête ou à l'abonnement. Un modèle local, une fois téléchargé, est gratuit à utiliser sans limite.

La personnalisation et l'expérimentation sont enfin des aspects que seul le local permet vraiment : tester différents modèles, les comparer, les affiner, les intégrer dans des workflows personnalisés ou des applications maison.

CanIRun.ai : l'outil en ligne qui analyse votre configuration

CanIRun.ai est un outil en ligne, gratuit, qui s'exécute directement dans votre navigateur web. Son principe est simple et efficace : il scanne la configuration matérielle de votre machine et vous indique quels modèles LLM vous pouvez faire tourner, et à quelle vitesse estimée.

Comment utiliser CanIRun.ai étape par étape

Bon à savoir : vous pouvez également utiliser CanIRun.ai sans avoir de machine sous la main. Il est possible de sélectionner manuellement un GPU dans la liste pour simuler les résultats. C'est très utile si vous envisagez d'acheter du nouveau matériel et souhaitez évaluer ce qu'une carte graphique donnée permettrait de faire tourner.

Quels modèles sont analysés ?

Ne cherchez pas Gemini Ultra ou Claude Opus dans les résultats : ces modèles propriétaires ne sont ni disponibles en local ni conçus pour tourner sur du matériel grand public. CanIRun.ai se concentre exclusivement sur les modèles open source auto-hébergeables, c'est-à-dire ceux que vous pouvez télécharger et exécuter librement. Vous y retrouverez notamment :

Comprendre et interpréter les résultats

Une fois l'analyse effectuée, un tableau s'affiche avec tous les modèles compatibles. Encore faut-il savoir le lire. Voici les indicateurs essentiels à connaître.

Le nombre de paramètres (1B, 3B, 7B, 70B…)

Dans le nom des modèles, vous rencontrerez systématiquement une mention du type 1.5B, 7B, 13B ou 70B. La lettre B signifie Billions (milliards en français) et désigne le nombre de paramètres du modèle. C'est une indication de la taille et de la complexité du réseau neuronal. Plus ce chiffre est élevé, plus le modèle est puissant — mais aussi plus il est gourmand en mémoire.

La VRAM requise

Chaque modèle indique la quantité de VRAM nécessaire pour fonctionner (par exemple : 4,5 Go, 8 Go, 16 Go). C'est l'indicateur le plus direct pour savoir si un modèle est compatible avec votre GPU.

Les tokens par seconde (tok/s) : votre "débit de texte"

C'est l'indicateur de performance clé. Il désigne la vitesse à laquelle votre machine génère des tokens (des fragments de texte) lors de la réponse du modèle. Plus ce chiffre est élevé, plus les réponses s'affichent rapidement à l'écran.

Analogie gaming : si vous êtes familier avec l'univers du jeu vidéo, le tok/s est à l'IA locale ce que les FPS (images par seconde) sont au jeu vidéo. Un faible tok/s, c'est comme jouer en 5 FPS : techniquement ça fonctionne, mais l'expérience est pénible. En dessous de 5 tok/s, l'expérience devient inconfortable. Entre 15 et 30 tok/s, c'est fluide et agréable. Au-delà, c'est excellent.

Le mécanisme de CPU offloading

Voici un point technique important que CanIRun.ai met en lumière. Pour fonctionner de manière optimale, un modèle doit idéalement être chargé en intégralité dans la VRAM du GPU. C'est cette mémoire qui offre la bande passante nécessaire pour les calculs d'inférence.

Mais que se passe-t-il si le modèle est plus volumineux que votre VRAM ? Par exemple, si vous tentez de charger un modèle de 12 Go sur un GPU limité à 8 Go ? Le moteur d'inférence va alors recourir au CPU offloading : il charge ce qu'il peut en VRAM (8 Go), puis déverse le reste (4 Go manquants) dans la RAM classique de votre machine.

L'avantage : vous pouvez faire tourner des modèles plus gros que ce que votre GPU permet seul. L'inconvénient : la RAM est beaucoup moins rapide que la VRAM, ce qui crée un goulot d'étranglement et fait chuter le tok/s.

À retenir : plus vous avez de RAM en complément d'une bonne VRAM, plus vous augmentez votre capacité de traitement — en sacrifiant une partie des performances pures. C'est un équilibre à ajuster selon vos priorités.

Mon cas concret : RTX 3060 Ti avec 8 Go de VRAM

Sur ma machine, CanIRun.ai a détecté un GPU NVIDIA GeForce RTX 3060 Ti avec 8 Go de VRAM — ce qui est exact. La quantité de RAM affichée est approximative (« > 8 Go » alors que j'en dispose de 64 Go), ce qui est lié aux limitations des API du navigateur. Cela dit, l'outil prend bien en compte la RAM disponible pour le CPU offloading dans ses calculs.

Avec cette configuration, l'outil identifie 16 modèles pouvant tourner sans difficulté, avec un premier tableau mettant en avant les modèles les plus populaires, et un second listant l'ensemble des options compatibles. Si vous cliquez sur un modèle dans la liste, vous accédez à des informations complémentaires : description, cas d'usage recommandés, lien de téléchargement.

CanIRun.ai sur Mac : la spécificité Apple Silicon

Les Mac équipés de puces Apple Silicon (M1, M2, M3, M4…) ont une architecture matérielle fondamentalement différente des PC sous Windows ou Linux. Là où un PC dispose d'une RAM classique et d'une VRAM distincte sur la carte graphique, les Mac Apple Silicon utilisent une mémoire unifiée (Unified Memory).

Concrètement, cette mémoire est partagée entre le CPU, le GPU et le Neural Engine. Il n'y a pas de séparation physique entre RAM et VRAM : tout est dans un même pool, géré dynamiquement selon les besoins du système et des applications.

CanIRun.ai tient compte de cette spécificité : lorsqu'un Mac est détecté, la section dédiée à la RAM est grisée et toute la mémoire disponible est regroupée dans la colonne VRAM, reflétant le fonctionnement réel de la puce.

Attention : sur Mac, le modèle IA ne peut pas monopoliser l'intégralité de la mémoire unifiée, sous peine de priver le système d'exploitation et les autres applications de ressources. La limite effective est donc flexible et dépend de votre activité au moment de l'inférence. En pratique, les Mac avec 16 Go ou 32 Go de mémoire unifiée offrent un très bon rapport performance/praticité pour les LLM en local.

LLMfit : l'alternative open source en ligne de commande

Si vous souhaitez un second avis, ou si vous êtes à l'aise avec le terminal, LLMfit est un excellent complément à CanIRun.ai. C'est un logiciel open source développé en langage Rust, disponible sur Windows, macOS et Linux, qui s'installe directement sur votre machine.

Son fonctionnement est similaire dans l'objectif : analyser votre configuration matérielle et vous indiquer quels modèles LLM sont les plus adaptés. Mais contrairement à CanIRun.ai qui s'utilise dans un navigateur, LLMfit s'exécute dans le terminal et offre plusieurs avantages distincts :

Un catalogue plus large
LLMfit référence actuellement plus de 530 modèles, couvrant un spectre plus large de fournisseurs : LM Studio, DeepSeek, Nvidia, et bien d'autres.
Des filtres et tris avancés
Grâce à des raccourcis clavier dans l'interface terminal, vous pouvez filtrer par fournisseur, trier par performances ou par taille de modèle.
Une approche locale et sans navigateur
Idéal sur des serveurs, des machines sans interface graphique, ou simplement si vous préférez la ligne de commande à une interface web.

Comparatif des estimations de performances entre les deux outils

Les deux outils ne donnent pas exactement les mêmes estimations de tok/s. Voici une comparaison sur deux modèles, à titre indicatif — les résultats réels varient selon la configuration de chaque machine :

Comparatif des estimations tok/s — CanIRun.ai vs LLMfit
Modèle LLM CanIRun.ai (tok/s estimés) LLMfit (tok/s estimés) Écart
Llama 3.1 8B 22 tok/s 29,1 tok/s +7,1 tok/s
Qwen 3.5 9B 20 tok/s 24,2 tok/s +4,2 tok/s
Ces valeurs sont des estimations théoriques basées sur les caractéristiques matérielles. Les performances réelles peuvent varier selon la configuration exacte, la charge système et la quantisation du modèle.

Les deux outils produisent des estimations cohérentes, avec une légère tendance de LLMfit à afficher des valeurs un peu plus optimistes. Dans tous les cas, ces chiffres sont des estimations théoriques et non des benchmarks réels : vos résultats peuvent différer selon votre configuration exacte, le niveau de charge du système, et la quantisation du modèle utilisé.

Conclusion et prochaines étapes

CanIRun.ai et LLMfit sont deux outils complémentaires qui répondent au même besoin : vous aider à choisir le bon LLM pour votre machine, sans avoir à tester chaque modèle un par un. L'un brille par sa simplicité d'accès et son interface visuelle dans le navigateur, l'autre par la richesse de son catalogue et la puissance de ses filtres en ligne de commande.

Selon votre profil, l'un ou l'autre — voire les deux combinés — vous permettront de prendre une décision éclairée avant d'installer quoi que ce soit. Et une fois ce choix fait, la prochaine étape est le déploiement du modèle sur votre machine.

Pour vous accompagner dans cette étape, je vous invite à consulter mes tutoriels dédiés :