Accéder au contenu principal

Un auto-entrepreneur passionné à votre service,

Pour votre projet de site internet et vos dépannages informatiques

C'est quoi la distillation en IA ? Explication simple, usages et polémique

Publié le 2 Novembre 2026, dernière mise à jour le 2 Novembre 2026

Depuis le début de l'année 2026, je vois passer le mot « distillation » dans presque toutes les accusations que les laboratoires d'IA américains lancent contre leurs concurrents chinois. Anthropic, OpenAI et jusqu'à la Maison-Blanche reprochent à DeepSeek, Moonshot, Alibaba et quelques autres d'avoir « distillé » leurs modèles. Pourtant, la distillation est d'abord une technique d'entraînement tout à fait banale, que ces mêmes laboratoires appliquent à leurs propres modèles. Elle relève de la fabrication d'une IA, au même titre que l'alignement, et pas des outils qui la relient au monde extérieur. Dans cet article, je vous explique simplement comment elle fonctionne, en quoi elle se distingue du fine-tuning ou de la quantification, et pourquoi elle est devenue un sujet géopolitique.

Pourquoi faire apprendre un petit modèle à partir d'un grand

Les modèles les plus performants sont aussi les plus chers à faire tourner. Chaque réponse demande beaucoup de calcul, et ça se paie deux fois : sur la facture et sur le temps d'attente. À l'inverse, un petit modèle entraîné tout seul, de zéro, reste nettement moins bon. Il lui manque la masse de données et de calcul dont ont profité les gros.

La distillation part d'une idée assez intuitive : plutôt que de laisser le petit modèle se débrouiller, on lui fait imiter le grand. Le petit modèle s'appelle l'« élève », le grand le « professeur ». L'élève n'atteindra pas le niveau du professeur sur tout, mais il peut s'en approcher de près sur les tâches qu'on lui a fait travailler, pour une fraction du coût.

D'où vient la distillation ?

L'idée a été formalisée en mars 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean, alors chez Google, dans l'article de recherche Distilling the Knowledge in a Neural Network. C'est ce papier qui a donné son nom à la technique. Hinton a depuis reçu le prix Nobel de physique 2024 pour ses travaux fondateurs sur les réseaux de neurones. Les trois chercheurs prolongeaient des travaux de Rich Caruana et de ses collègues, qui avaient montré dès 2006 qu'on pouvait compresser tout un ensemble de modèles en un seul.

Le cœur de l'idée tient dans un détail. Quand un modèle classe une image, il ne donne pas seulement une réponse : il attribue une probabilité à chaque option possible. Les auteurs prennent l'exemple d'une photo de BMW. Le modèle la reconnaît comme une voiture, mais il juge aussi, avec une probabilité infime, qu'elle pourrait être un camion poubelle. Et cette erreur-là reste bien plus probable à ses yeux que de la confondre avec une carotte.

Ces nuances ont l'air anodines. En réalité, elles disent beaucoup sur la façon dont le professeur « voit » le monde : une voiture ressemble un peu à un camion, pas du tout à un légume. Les chercheurs appellent ces probabilités des « soft targets » (cibles souples), par opposition à la seule bonne réponse, la « hard target ». Pour les rendre plus lisibles, ils jouent sur un paramètre appelé température, qui adoucit la distribution et fait ressortir les petites probabilités. L'élève qui apprend à reproduire toute cette distribution en retient bien plus que s'il recopiait seulement l'étiquette « voiture ».

Comment se déroule une distillation, étape par étape

Appliquée aux grands modèles de langage (les LLM, ceux qui font tourner ChatGPT, Claude ou Gemini), la distillation suit en général trois étapes :

  • La collecte des réponses du professeur. On envoie au grand modèle un très grand volume de requêtes, choisies selon les compétences qu'on veut transférer (code, mathématiques, rédaction, raisonnement…), et on conserve ses réponses.
  • L'entraînement de l'élève. Le petit modèle apprend à reproduire ces réponses. Ceux qui ont la main sur le professeur peuvent exploiter ses probabilités détaillées, comme dans l'exemple de la BMW. Ceux qui passent par une API, c'est-à-dire par l'interface payante d'un service en ligne, n'ont accès qu'au texte produit. Ça suffit déjà à transférer une bonne partie des capacités.
  • L'évaluation. On teste l'élève sur les tâches visées pour mesurer l'écart qui le sépare encore de son professeur, puis on recommence si besoin avec de nouvelles données.

Ce deuxième point explique pourquoi la question est si sensible. Pas besoin d'accéder aux entrailles d'un modèle pour le distiller : il suffit de lui poser beaucoup de questions et de garder les réponses. Tout fournisseur qui vend un accès par API s'expose donc, de fait, à ce type d'usage.

Les chaînes de raisonnement, la matière la plus convoitée

Avec l'arrivée des modèles de raisonnement, ceux qui « réfléchissent » avant de répondre, une nouvelle ressource est apparue : la chaîne de raisonnement. Elle montre les étapes intermédiaires qui mènent à une réponse, alors que le résultat final n'en garde aucune trace. Pour entraîner un élève à raisonner, c'est de l'or.

L'exemple le plus connu date de janvier 2025. En publiant son modèle de raisonnement R1, DeepSeek a mis en ligne en même temps six modèles plus petits distillés à partir de lui, construits sur des modèles ouverts des familles Qwen (Alibaba) et Llama (Meta). Ils sont tous décrits sur la page GitHub du projet DeepSeek-R1. Il s'agissait là d'une distillation parfaitement assumée, de son propre modèle vers des bases open source.

Les fournisseurs cloud vendent aussi la technique clé en main. Amazon Bedrock Model Distillation permet par exemple de choisir un modèle professeur (Nova Premier, certains Llama ou Claude) et un modèle élève plus léger. Le client fournit ses requêtes, Bedrock génère les réponses du professeur et entraîne l'élève avec. Amazon annonce des modèles distillés jusqu'à cinq fois plus rapides et jusqu'à 75 % moins chers, avec une perte de précision inférieure à 2 % sur des usages comme le RAG (la recherche dans une base documentaire). Ce sont les chiffres du fournisseur, à vérifier sur votre propre cas d'usage.

Distillation, fine-tuning, quantification, élagage : quelles différences ?

On entend souvent ces quatre termes dans les mêmes discussions sur l'IA « légère », et je les vois régulièrement confondus. Ils n'ont pourtant pas le même but. Le fine-tuning consiste à réentraîner un modèle existant sur des données spécifiques pour changer son comportement. La distillation passe souvent par ce même mécanisme, mais ses données d'entraînement sont produites par un autre modèle, et non rédigées ou annotées par des humains. La quantification et l'élagage, eux, ne réentraînent pas forcément quoi que ce soit : ils allègent un modèle existant.

Les quatre grandes façons d'obtenir un modèle plus léger ou plus spécialisé
Technique Objectif Ce qui change Besoin d'un autre modèle ? Exemple
Distillation Faire tenir les capacités d'un grand modèle dans un plus petit Un nouveau modèle, plus petit, est entraîné Oui, le professeur Les modèles DeepSeek-R1-Distill basés sur Qwen et Llama
Fine-tuning Spécialiser un modèle sur un ton, un format ou un domaine Les poids du modèle existant sont ajustés Non, des données suffisent Un assistant entraîné sur la documentation interne d'une entreprise
Quantification Réduire la mémoire et accélérer l'exécution Les nombres du modèle sont stockés avec moins de précision (8 bits, 4 bits…) Non Les fichiers GGUF « Q4 » qu'on télécharge pour l'IA locale
Élagage (pruning) Alléger le modèle en supprimant ce qui sert peu Des connexions ou des couches entières sont retirées Non, mais souvent suivi d'un réentraînement Des versions « compactes » de modèles ouverts publiées par leurs éditeurs
Ces techniques se combinent souvent : un modèle peut être distillé, puis quantifié pour tourner sur un PC.

Pour faire court : le fine-tuning change ce que sait faire un modèle, la quantification change sa taille sur le disque, et la distillation crée un nouveau modèle plus petit qui imite un plus grand.

Ce que la distillation change pour vous

Dans un billet publié en février 2026, Anthropic rappelait que les laboratoires de pointe distillent régulièrement leurs propres modèles pour proposer à leurs clients des versions plus petites et moins chères. Si vous utilisez un modèle « mini », « flash », « lite » ou « haiku » chez un fournisseur, il y a de bonnes chances que la distillation ait joué un rôle dans sa fabrication.

Pour une entreprise, l'intérêt est direct. Ces versions compactes coûtent moins cher par requête, répondent plus vite et peuvent parfois tourner sur ses propres serveurs, ce qui règle une partie des questions de confidentialité. Pour un particulier, l'effet se voit surtout dans l'IA locale. J'utilise Ollama et LM Studio pour faire tourner des modèles directement sur mon PC, et une bonne partie de ce qu'on y trouve n'existerait pas sans la distillation. Les déclinaisons de 7 à 32 milliards de paramètres proposées sous le nom deepseek-r1 dans la bibliothèque d'Ollama, par exemple, sont justement ces versions distillées sur des bases Qwen ou Llama. Elles tiennent sur une carte graphique grand public, ce qui serait impensable avec le modèle complet.

Il y a quand même une contrepartie. L'élève reste borné par son professeur : il n'invente pas de capacités que celui-ci n'avait pas, et il reproduit aussi ses erreurs et ses biais. Un modèle distillé peut briller sur les tâches qu'on lui a fait travailler et décevoir dès qu'on sort de ce périmètre.

Un modèle distillé à partir d'un autre peut aussi perdre en route les garde-fous du professeur (refus de répondre à certaines demandes dangereuses, filtres…). C'est d'ailleurs un des arguments avancés par Anthropic et OpenAI dans leurs accusations.

Distillation ou copie ? Le bras de fer entre laboratoires américains et chinois

Le reproche des laboratoires américains ne porte pas sur la technique en elle-même, mais sur la façon dont elle aurait été employée contre leurs modèles. Voici les principales étapes de l'affaire, telles qu'elles ont été rendues publiques jusqu'à aujourd'hui.

Chronologie des accusations de distillation (janvier 2025 à octobre 2026)
Date Événement
Janvier 2025 DeepSeek publie R1. OpenAI ouvre peu après une enquête avec Microsoft sur une possible distillation de ses modèles.
23 février 2026 Anthropic accuse DeepSeek, Moonshot et MiniMax d'avoir généré plus de 16 millions d'échanges avec Claude via environ 24 000 comptes frauduleux. MiniMax en représenterait à lui seul environ 13 millions, Moonshot 3,4 millions et DeepSeek autour de 150 000.
22 juillet 2026 Michael Kratsios, directeur du bureau de la politique scientifique et technologique de la Maison-Blanche, affirme sur X que Moonshot a distillé Claude Fable pour concevoir Kimi K3. Aucune preuve n'est publiée. Moonshot avait déclaré la veille que K3 n'était la copie distillée d'aucun modèle existant. Le secrétaire au Trésor Scott Bessent évoque dans la foulée de possibles sanctions.
8 et 9 septembre 2026 La NSA, la CISA et le FBI publient un avis commun accusant des entreprises chinoises, dont Moonshot, de campagnes de distillation à grande échelle. Le ministère chinois du Commerce rejette ces accusations dès le lendemain et menace de contre-mesures.
10 septembre 2026 Le rapport de menaces d'Anthropic cite sept laboratoires chinois. La campagne la plus importante est attribuée à des équipes d'Alibaba, avec plus de 151 millions d'échanges entre mai et juillet 2026.
30 septembre 2026 OpenAI attribue à des personnes liées à Moonshot le noyau d'une campagne menée en juillet pour extraire le raisonnement caché de ses modèles.
12 octobre 2026 Anthropic assure que ses nouvelles protections réduisent de 90 à 99 % les données de raisonnement récupérées par ces campagnes.
20 et 21 octobre 2026 Washington ordonne aux agences fédérales civiles de retirer les produits DeepSeek de leurs systèmes, en invoquant la sécurité nationale. Pékin dénonce la mesure.

Les griefs avancés sont toujours à peu près les mêmes : réseaux de comptes frauduleux, contournement des restrictions géographiques (Claude n'est pas commercialisé en Chine) et violation des conditions d'utilisation. Anthropic y ajoute un argument de sécurité : un modèle distillé de cette façon a peu de chances de conserver les protections de son professeur.

Les chiffres de 90 à 99 % annoncés par Anthropic le 12 octobre viennent de ses propres mesures, sur sa propre plateforme. L'entreprise reconnaît elle-même ne pas savoir combien de temps ces gains dureront. À la date où j'écris ces lignes, aucun audit indépendant ne les a confirmés.

Les arguments de chaque camp et le flou juridique

Côté américain, l'argument principal est contractuel et sécuritaire. Les conditions d'utilisation d'Anthropic comme d'OpenAI interdisent d'utiliser les réponses de leurs modèles pour développer des modèles concurrents. Contourner ces règles avec des milliers de faux comptes relève, selon eux, du vol de propriété intellectuelle, et Washington y voit un moyen de contourner ses restrictions sur l'exportation de puces.

Côté chinois, les entreprises visées et le gouvernement contestent ces accusations. Pékin parle d'une notion de sécurité nationale étirée à l'excès et met en avant la recherche menée par ses propres laboratoires. Les critiques, y compris aux États-Unis, rappellent aussi que les laboratoires américains ont eux-mêmes entraîné leurs modèles sur d'immenses volumes de textes et de code collectés sur le web sans l'accord de leurs auteurs. Le reproche de « se servir dans le travail des autres » se retourne donc facilement.

Reste une question de fond que personne n'a encore tranchée. À ma connaissance, aucun texte de loi ne traite spécifiquement de la distillation, ni aux États-Unis ni dans l'Union européenne. Pour l'instant, ce sont les conditions d'utilisation des fournisseurs qui tracent la limite entre usage légitime et copie. Et une violation de contrat n'a pas la même portée qu'une infraction pénale.

Questions fréquentes sur la distillation

La distillation est-elle illégale ?
Non, la technique en elle-même est légale et largement utilisée. Ce qui pose problème, c'est de distiller le modèle de quelqu'un d'autre en violant ses conditions d'utilisation, par exemple avec de faux comptes ou en contournant des restrictions géographiques.
Un modèle distillé est-il forcément moins bon ?
Il est généralement moins polyvalent que son professeur, mais il peut s'en approcher beaucoup sur les tâches pour lesquelles il a été entraîné. Pour un usage ciblé, il offre souvent le meilleur rapport entre qualité, vitesse et coût.
Puis-je utiliser ChatGPT ou Claude pour entraîner mon propre modèle ?
Pour un modèle concurrent, non : les conditions d'utilisation d'OpenAI et d'Anthropic l'interdisent. Si vous voulez distiller légalement, passez par un modèle ouvert dont la licence l'autorise, ou par un service prévu pour ça comme Amazon Bedrock.
Comment savoir si le modèle que j'utilise est distillé ?
Regardez sa fiche technique (« model card ») sur le site de l'éditeur ou sur Hugging Face. Les modèles distillés ouvertement l'indiquent souvent dans leur nom, comme les DeepSeek-R1-Distill. Pour les modèles fermés, les éditeurs donnent rarement le détail de leur fabrication.
Peut-on faire tourner un modèle distillé chez soi ?
Oui, c'est même un de leurs principaux intérêts. Avec Ollama ou LM Studio et une carte graphique correcte, un modèle distillé de quelques milliards de paramètres tourne sans problème, surtout dans une version quantifiée.

Ce qu'il faut retenir

La distillation n'a rien d'une technique d'espion. C'est une méthode d'entraînement vieille de plus de dix ans, qui permet de faire tenir l'essentiel d'un gros modèle dans un plus petit, et dont nous profitons tous dès que nous utilisons un modèle rapide ou une IA locale. Si elle fait aujourd'hui la une, c'est parce qu'elle sert aussi de raccourci pour rattraper des concurrents en se servant de leurs réponses. Tant qu'aucun cadre juridique précis n'existera, le débat restera coincé entre conditions d'utilisation, sécurité nationale et rivalité commerciale. Je suivrai de près la suite, en particulier les éventuelles sanctions américaines et les réponses de Pékin.

Source

Comment cet article a-t-il été réalisé ? Le texte a été rédigé par mes soins, puis relu avec l'aide d'une intelligence artificielle afin de corriger d'éventuelles erreurs d'orthographe ou de grammaire. L'illustration de présentation a également été créée à l'aide de l'IA.