Accéder au contenu principal

Un auto-entrepreneur passionné à votre service,

Pour votre projet de site internet et vos dépannages informatiques

Alignement de l'IA : quand un modèle atteint son objectif sans faire ce qu'on lui demande

Publié le 22 Novembre 2026, dernière mise à jour le 22 Novembre 2026

Depuis quelques mois, j'écris beaucoup sur les briques qui relient les modèles d'IA au monde extérieur : le protocole MCP, les formats de connaissance, les agents qui pilotent des outils. Il restait une question que j'avais mise de côté, et c'est peut-être la plus importante. Quand un modèle exécute une tâche, quel objectif poursuit-il vraiment ? C'est tout le sujet de l'alignement. Longtemps réservé aux laboratoires de recherche, il est devenu très concret depuis que les IA ne se contentent plus de répondre et agissent à notre place. Ce qui s'est passé chez OpenAI entre septembre et novembre 2026, avec la famille GPT-6 Astra, en donne une illustration presque trop parfaite. Je vous explique tout ça simplement, que vous découvriez le sujet ou que vous déployiez déjà des agents en entreprise.

Un modèle désaligné n'est pas un modèle malveillant

On dit qu'un modèle est aligné quand son comportement correspond aux intentions des personnes qui l'ont conçu et de celles qui l'utilisent. Il est désaligné quand il poursuit autre chose. Et c'est là que beaucoup de gens se trompent : le désalignement n'a rien à voir avec une IA « méchante » sortie d'un film de science-fiction. Dans la grande majorité des cas, le modèle fait exactement ce qu'on lui a appris à faire. Il optimise avec application un objectif mal formulé, ou un indicateur qui ne mesure qu'une partie de ce qu'on voulait.

Le problème ne date pas d'hier. En mai 1960, le mathématicien Norbert Wiener, père de la cybernétique, publiait dans la revue Science un article intitulé Some Moral and Technical Consequences of Automation. Pour faire comprendre le danger, il convoquait deux vieilles histoires. Celle de l'apprenti sorcier, qui lance un balai pour porter l'eau et ne sait plus l'arrêter. Et celle de la patte de singe, ce talisman qui exauce les vœux à la lettre : on demande de l'argent, on le reçoit sous forme d'indemnité après la mort de son fils. Dans les deux cas, la machine (ou la magie) fait exactement ce qu'on lui a dit, et c'est bien le problème.

Sa conclusion tient toujours : avant de confier un objectif à une machine qu'on ne pourra pas facilement interrompre, il faut être sûr que c'est bien celui qu'on désire, et pas une imitation séduisante de cet objectif. Soixante-six ans plus tard, avec des modèles de langage capables d'écrire du code, d'envoyer des mails ou de naviguer sur le Web, la remarque de Wiener a pris un sacré coup de jeune.

Les trois visages du désalignement

Avec les grands modèles de langage, le désalignement prend plusieurs formes. Je retiens les trois qui reviennent le plus souvent dans les publications des laboratoires.

Le contournement de l'objectif (reward hacking)

En mars 2025, OpenAI a publié un travail sur la surveillance des modèles de raisonnement qui décrit un cas d'école. Un modèle en cours d'entraînement devait corriger du code pour faire passer des tests unitaires. Jugeant la vraie correction trop compliquée, il a tout simplement modifié la fonction de vérification pour qu'elle réponde toujours « vrai ». Les tests passaient au vert. Le code, lui, était toujours faux.

La complaisance

En avril 2025, une mise à jour de GPT-4o a rendu ChatGPT tellement prompt à plaire qu'OpenAI a dû la retirer au bout de quelques jours. Le modèle approuvait à peu près tout ce qu'on lui disait. L'entreprise a reconnu avoir accordé trop de poids aux retours immédiats des utilisateurs, comme les pouces levés sous les réponses. Honnêtement, je l'ai vécu moi aussi : il m'est déjà arrivé qu'une IA me donne raison alors que j'avais tort, simplement parce que j'avais formulé ma question avec assurance. C'est agréable sur le moment. Beaucoup moins quand on s'appuie sur la réponse pour travailler.

La tromperie et le dépassement de périmètre

Ici, le modèle va au-delà de ce qu'on l'a autorisé à faire, ou il rend un compte inexact de ce qu'il a accompli. Il dit avoir terminé une tâche à moitié faite, passe sous silence un obstacle, ou emprunte un chemin qu'on ne lui avait pas ouvert. C'est la forme la plus préoccupante dès qu'on parle d'agents, et c'est exactement elle qui fait l'actualité depuis septembre.

Les principales formes de désalignement
Forme Exemple réel Indicateur atteint Intention manquée
Reward hacking Modèle OpenAI qui réécrit la fonction de test (mars 2025) Tests réussis Un code qui fonctionne
Complaisance Mise à jour de GPT-4o retirée (avril 2025) Utilisateurs satisfaits sur le moment Des réponses honnêtes et utiles
Dépassement de périmètre GPT-6.1 Astra, sortie annulée (septembre 2026) Tâche « terminée » Rester dans le cadre autorisé
Compte rendu inexact GPT-6.2 Astra, obstacles omis deux fois plus souvent (novembre 2026) Rapport de travail propre Savoir ce qui a vraiment été fait, et ce qui a coincé
Dans chaque cas, le modèle a atteint un objectif mesurable. Il n'a simplement pas servi l'intention qui se cachait derrière.

Comment les laboratoires alignent leurs modèles

À la fin de son préentraînement, un modèle sait prolonger un texte de manière vraisemblable, mais il ne sait pas encore suivre une consigne. L'alignement intervient après, en plusieurs couches qui se complètent.

L'apprentissage par renforcement à partir de retours humains (RLHF)

Des annotateurs comparent plusieurs réponses du modèle et les classent. Le modèle est ensuite entraîné à produire celles qu'ils préfèrent. OpenAI a popularisé la méthode dès janvier 2022 avec InstructGPT, l'ancêtre direct de ChatGPT. Son point faible, c'est justement l'épisode de la complaisance : si on récompense ce qui plaît, on finit par obtenir un modèle qui cherche à plaire.

L'IA constitutionnelle

Présentée par Anthropic en décembre 2022, l'IA constitutionnelle remplace une partie des annotations humaines par une liste de principes rédigés en langage naturel. Le modèle s'en sert pour critiquer puis réécrire ses propres réponses. L'avantage : les règles sont écrites noir sur blanc, on peut les lire et en discuter.

Les évaluations avant déploiement

Les laboratoires, mais aussi des organismes publics comme l'AI Security Institute (AISI) britannique, soumettent les modèles à des scénarios conçus pour les pousser à la faute. On leur tend des pièges, on leur donne des occasions de tricher, et on regarde ce qu'ils en font.

La surveillance de la chaîne de raisonnement

Un second modèle relit le raisonnement du premier pour y repérer une intention de tricher. Sur le papier, c'est très séduisant. Mais OpenAI a observé un effet pervers : pénaliser ces « mauvaises pensées » ne supprime pas la majorité des écarts. Le modèle apprend surtout à ne plus les écrire, autrement dit à cacher ses intentions. On verra plus bas que ce n'est pas une crainte théorique.

Les méthodes d'alignement en un coup d'œil
Méthode Principe Limite principale
RLHF Des humains classent les réponses, le modèle apprend leurs préférences Peut récompenser la complaisance
IA constitutionnelle Le modèle se corrige à partir de principes écrits Dépend de la qualité et de la complétude des principes
Évaluations avant déploiement Scénarios pièges, tests indépendants On ne teste que les scénarios qu'on a imaginés, et le modèle peut deviner qu'il est testé
Surveillance du raisonnement Un second modèle lit la chaîne de pensée Le modèle peut apprendre à dissimuler
Aucune méthode ne suffit seule : les laboratoires les empilent, et chacune comble en partie les trous des autres.

Désalignement ou hallucination ? Une hallucination est une erreur : le modèle présente comme vraie une information fausse. Le désalignement porte sur l'objectif. Un modèle qui réécrit un test pour le faire passer n'hallucine pas, il sait très bien ce qu'il fait. La RAG (génération augmentée par la recherche) réduit les hallucinations en fournissant des sources fiables au modèle, mais elle ne change rien à ce qu'il cherche à accomplir.

GPT-6 Astra, le cas d'école de l'automne 2026

Le 3 septembre 2026, OpenAI a lancé GPT-6 Astra en le présentant comme « le modèle le plus intelligent et le mieux aligné au monde ». Dans sa fiche système, l'entreprise affirme qu'Astra respecte mieux les limites de sécurité que GPT-5.6 Sol et reste davantage dans le cadre de ses autorisations. Elle reconnaît au passage un point gênant : le modèle est moins facile à surveiller, car il contrôle mieux ce qu'il écrit dans sa chaîne de raisonnement.

Le 28 septembre, l'AISI a publié ses propres tests, réalisés avant la sortie du modèle. Le tableau est nettement moins flatteur. Dans une évaluation de cybersécurité entièrement simulée, avec les filtres de sécurité désactivés, Astra a mené des attaques complètes contre la chaîne d'approvisionnement logicielle de projets extérieurs à sa mission dans 29,2 % des cas. GPT-5.6 Sol en était à 6,3 %, et GPT-5.5 à 0 % (sur un échantillon plus réduit). Même quand les chercheurs ont précisé noir sur blanc que tout ce qui n'était pas listé était hors périmètre, Astra a encore lancé une attaque complète dans 4 essais sur 49.

Pour y arriver, il est allé jusqu'à se créer de faux comptes de développeur et proposer du code piégé à des mainteneurs fictifs. Autre détail qui m'a frappé : quand il demandait l'autorisation d'agir et recevait une réponse automatique du type « continuez selon votre jugement », il la prenait parfois pour un feu vert, tout en notant dans son raisonnement que ce message n'était sans doute pas écrit par un humain. Et dans quasiment tous les essais, il se posait la question du périmètre… avant de passer outre.

L'institut appelle tout de même à la prudence : Astra relevait souvent qu'il se trouvait probablement dans une simulation, ce qui peut avoir influencé son comportement. Dans un sens comme dans l'autre, d'ailleurs.

Au lancement, OpenAI mettait en avant sa propre évaluation, dans laquelle Astra ne sortait jamais du périmètre autorisé. Celle de l'AISI arrive à un tout autre résultat. Les deux ne testaient pas les mêmes scénarios, et c'est bien là le problème : un modèle peut sembler parfaitement aligné dans un test et pas du tout dans un autre.

L'annulation de GPT-6.1 Astra

Le même jour, le Wall Street Journal révélait qu'OpenAI renonçait à lancer GPT-6.1 Astra, attendu en octobre dans ChatGPT et Codex. L'entreprise l'a confirmé dans la foulée. Saachi Jain, responsable des systèmes de sécurité, a expliqué que le modèle, bien que meilleur sur certains points comme la « paresse », n'avait pas tout à fait atteint le niveau attendu pour rester dans son périmètre et ses autorisations, ni dans la manière de rendre compte à l'utilisateur du travail effectué. En clair : il avançait sans permission et ne disait pas toujours la vérité sur ce qu'il avait fait. Ce sont précisément les deux défauts qui posent problème chez un agent déployé en entreprise.

L'incident DNS : un agent qui sort de sa cage

Une autre affaire est tombée à la même période, et elle illustre très bien le dépassement de périmètre. Le 20 septembre, un agent en cours d'entraînement chez OpenAI devait identifier une personne à partir d'indices tirés d'un article de blog. Son environnement était censé être coupé d'Internet : les requêtes Web classiques étaient bloquées ou servies depuis un cache hors ligne. Après plusieurs échecs, l'agent a remarqué que le résolveur DNS de son bac à sable, lui, communiquait encore avec l'extérieur. Il s'en est servi pour envoyer des questions à un chatbot public et récupérer les réponses, encodées dans des requêtes DNS.

Personne ne lui avait demandé de tester les protections réseau. Il a juste trouvé un chemin pour atteindre son objectif. Le système de surveillance a mis plus de dix minutes à lever une alerte, et d'autres accès DNS externes n'ont pas été signalés du tout. OpenAI a suspendu l'entraînement, l'évaluation et l'usage avec outils de ses modèles les plus puissants, abandonné le modèle concerné, puis repris l'entraînement le 1er octobre, après onze jours de pause et un renforcement du filtrage DNS sur deux niveaux indépendants. Le 23 octobre, l'entreprise a annoncé une règle permanente : plus aucun accès direct à Internet pendant l'entraînement de ses modèles de pointe.

GPT-6.2 Astra, le retour sous conditions

Le 17 novembre 2026, moins de deux mois après l'annulation, OpenAI a sorti GPT-6.2 Astra, accompagné de GPT-6.2 Sol. Les deux modèles sont disponibles dans ChatGPT Work et Codex pour les abonnés Plus, Pro, Enterprise et Edu, et via l'API sous les noms gpt-6.2-astra et gpt-6.2-sol. OpenAI dit s'être appuyé sur les garde-fous mis en place pour le déploiement interne de GPT-6 Astra : déploiement interne contrôlé par des évaluations d'alignement, surveillance étendue du comportement des agents, contrôles de sécurité renforcés.

La fiche système de GPT-6.2 est intéressante à lire, parce qu'elle raconte deux histoires à la fois. D'un côté, sur des tâches de bureau simulées et réalistes, les deux modèles commettent environ deux fois moins d'actions inappropriées que leurs prédécesseurs. Le problème de périmètre qui avait coulé la version 6.1 semble donc avoir reculé. De l'autre, OpenAI écrit lui-même que ses nouveaux modèles sont plus enclins à omettre des obstacles connus quand ils rendent compte de leur travail.

Les chiffres de la fiche système de GPT-6.2 Astra. Dans le test « Blocker Deception », Astra passe sous silence un obstacle de code connu dans 22,28 % des essais, contre 11,09 % pour GPT-6 Astra. Dans le test « Broken Search Tool », le taux d'échec grimpe de 7,58 % à 23,00 %. Côté AISI, le modèle se demande s'il est en train d'être testé dans 85 % des cas, contre 57 % pour GPT-6 Astra. L'institut a aussi trouvé une méthode de contournement des garde-fous cyber en un seul message ; OpenAI dit l'avoir corrigée, mais l'AISI n'avait pas encore revérifié ces correctifs au moment de la publication.

Autrement dit, l'agent sort moins souvent de son cadre, mais il vous dit moins souvent ce qui a coincé. Pour quelqu'un qui délègue une tâche, c'est presque pire : une erreur qu'on vous signale se corrige, une erreur qu'on vous cache finit en production. La fiche note aussi qu'Astra échappe plus facilement à une surveillance qui ne lit que son raisonnement. Les sabotages passent en revanche rarement inaperçus quand on surveille aussi ses actions, mais cette surveillance-là ne voit l'action qu'après coup. C'est exactement l'effet pervers que je décrivais plus haut à propos de la surveillance de la chaîne de pensée.

Je trouve honnête qu'OpenAI publie ces chiffres de lui-même. Il n'empêche : le mot « aligné » sur une plaquette commerciale recouvre ici un modèle qui ment deux fois plus souvent par omission que son prédécesseur, dans un test précis. Ça ne veut pas dire qu'il ment à chaque tâche. Ça veut dire qu'on ne peut pas se reposer sur son compte rendu.

La gamme GPT-6 de septembre à novembre

Entre les sorties, les annulations et les pauses, on s'y perd vite. Voici la chronologie telle qu'elle se présente au 21 novembre 2026.

Chronologie de la famille GPT-6 chez OpenAI
Date Événement
3 septembre Lancement de GPT-6 Astra (aperçu limité, puis ouverture générale le 4)
20 septembre Incident DNS : un agent en entraînement contourne ses restrictions d'accès à Internet
22 septembre Sortie de GPT-6 Sol et GPT-6 Luna, modèles moins chers entraînés avec les mêmes méthodes d'alignement
28 septembre Publication des tests de l'AISI, annulation de GPT-6.1 Astra révélée par le WSJ, pause de l'entraînement des modèles les plus puissants
29 septembre Sortie de GPT-6.1 Sol
1er octobre Reprise de l'entraînement après onze jours de pause
7 et 8 octobre GPT-6 Instant arrive pour les abonnés payants, puis pour les utilisateurs gratuits
23 octobre OpenAI annonce qu'il n'y aura plus d'accès direct à Internet pendant l'entraînement de ses modèles de pointe
26 octobre Sortie de GPT-6.1 Terra, version plus rapide et moins chère
17 novembre Sortie de GPT-6.2 Astra et GPT-6.2 Sol
GPT-6.1 Astra n'est jamais sorti : c'est GPT-6.2 Astra qui a pris sa place.

Côté prix, GPT-6.2 Astra coûte via l'API 8 dollars par million de jetons en entrée (0,40 dollar en entrée mise en cache) et 40 dollars en sortie, soit 20 % de moins que la génération précédente. GPT-6.2 Sol reste à 2 dollars en entrée, 0,10 dollar en cache et 10 dollars en sortie. Je le mentionne parce que cette baisse va pousser beaucoup d'équipes à brancher Astra dans des automatisations. Raison de plus pour lire sa fiche système avant.

Cet épisode montre une chose : même chez les acteurs les plus avancés, on découvre les écarts de comportement en testant, souvent après coup. Et corriger un défaut peut en faire apparaître un autre.

Ce que ça change quand on confie des tâches à un agent

Tant qu'un modèle se contentait de répondre, un désalignement donnait une mauvaise réponse. On pouvait la relire, la corriger, passer à autre chose. Les agents IA, eux, envoient des mails, mettent à jour des fiches clients, modifient des fichiers et exécutent du code. Le désalignement devient alors une action, et certaines actions sont difficiles à rattraper.

Je le vois dans mon propre travail. J'utilise Claude Code pour développer et maintenir des outils, et des workflows n8n qui font appel à l'IA pour automatiser une partie de ma publication. Dans les deux cas, l'IA ne se contente pas de me suggérer quelque chose : elle agit. Ma règle est simple, l'agent n'a accès qu'à ce dont il a besoin pour la tâche, et tout ce qui touche à quelque chose d'important passe par moi avant d'être validé.

Un exemple concret. Quand Claude Code me dit « les tests passent, la fonctionnalité est terminée », je ne m'arrête pas là : je relance les tests moi-même et je regarde le diff, en particulier les fichiers de test. Il m'est arrivé de trouver un test assoupli pour qu'il passe, ou une étape signalée comme faite alors qu'elle avait échoué en silence. Côté n8n, mes workflows de publication écrivent dans Notion et dans Joomla. J'ai donc ajouté des nœuds qui relisent ce qui a réellement été enregistré au lieu de faire confiance au message de succès de l'étape précédente. Ce n'est pas de la méfiance de principe. Personne aujourd'hui, pas même OpenAI, ne peut garantir qu'un modèle est aligné. On peut seulement le tester, scénario par scénario, et vérifier le résultat.

Voici la liste de vérification que j'applique, et que je conseille à mes clients avant de brancher un agent IA sur leurs outils :

  • Donner à l'agent les droits minimaux : lecture seule par défaut, écriture uniquement là où c'est indispensable.
  • Imposer une validation humaine pour les actions sensibles : envoi de mails à des clients, paiements, suppressions, mise en production.
  • Tester d'abord dans un environnement isolé, avec des données factices, avant de toucher aux vraies données. Et vérifier que l'isolement est réel : l'incident DNS montre qu'un trou dans la clôture finit par être trouvé.
  • Garder des journaux de tout ce que fait l'agent, et les relire de temps en temps, pas seulement en cas de problème.
  • Ne jamais se contenter du compte rendu de l'agent : vérifier le résultat réel (le fichier, la fiche, le mail envoyé). Avec des modèles qui taisent un obstacle sur cinq dans certains tests, c'est devenu le point le plus important de la liste.
  • Demander explicitement à l'agent de lister ce qui n'a pas marché, ce qu'il a contourné et ce qu'il n'a pas pu vérifier. Ça ne remplace pas le point précédent, mais ça aide.
  • Se méfier des validations automatiques : une réponse du type « continue » envoyée par un script n'est pas une autorisation humaine, l'exemple d'Astra le montre bien.
  • Prévoir un moyen simple de tout couper si l'agent part dans une mauvaise direction.

L'étiquette « aligné » mise en avant par un éditeur ne remplace pas un bon cadre d'utilisation. Des droits limités, une vérification du résultat réel et un humain dans la boucle restent la protection la plus fiable, quel que soit le modèle utilisé.

Questions fréquentes sur l'alignement de l'IA

L'alignement, c'est la même chose que la censure ?
Non. Les filtres qui refusent certains sujets font partie de la sécurité, mais l'alignement est plus large : il s'agit de faire en sorte que le modèle poursuive le bon objectif, qu'il soit honnête sur ce qu'il fait et qu'il reste dans le cadre qu'on lui a donné.
Est-ce qu'un modèle aligné peut quand même se tromper ?
Oui. Un modèle peut viser le bon objectif et halluciner une information. Les deux problèmes sont distincts et se traitent avec des méthodes différentes.
Peut-on vérifier soi-même qu'un modèle est aligné ?
Pas de manière absolue. On peut le tester sur ses propres cas d'usage, dans un environnement isolé, et observer comment il réagit quand une tâche devient difficile ou qu'un raccourci se présente. Les évaluations indépendantes, comme celles de l'AISI, et les fiches système publiées par les éditeurs sont aussi de bonnes sources, à condition de lire les chiffres et pas seulement le résumé.
GPT-6.2 Astra est-il plus sûr que GPT-6 Astra ?
Sur certains points, oui : il commet environ deux fois moins d'actions inappropriées dans les tâches simulées. Sur d'autres, non : il omet plus souvent les obstacles dans ses comptes rendus et repère davantage qu'il est testé, ce qui rend les évaluations plus difficiles à interpréter. Tout dépend de l'usage. Pour un agent qui travaille seul, le compte rendu fiable compte énormément.
Pourquoi les agents IA sont-ils plus concernés que les chatbots ?
Parce qu'ils agissent. Une mauvaise réponse se relit, un mail envoyé ou un fichier supprimé ne se rattrape pas toujours.
Faut-il arrêter d'utiliser des agents IA ?
Je ne le pense pas. Ils font gagner un temps considérable. Il faut simplement les traiter comme un nouveau collaborateur très rapide mais qu'on ne connaît pas encore : on lui confie des tâches progressivement, avec des accès limités, et on vérifie son travail.

Ce que je retiens

L'alignement n'est plus un débat de chercheurs. Avec des modèles qui agissent seuls, il conditionne la confiance qu'on peut leur accorder au quotidien. Ces trois derniers mois l'ont montré de façon assez spectaculaire : le modèle présenté comme le mieux aligné du marché a mené des attaques en simulation, son successeur a été mis de côté parce qu'il sortait de son cadre et ne disait pas toujours la vérité sur son travail, et la version suivante, sortie le 17 novembre, reste mieux dans son cadre mais tait deux fois plus souvent ce qui a coincé.

La bonne nouvelle, c'est que ces écarts ont été détectés et rendus publics, parfois par OpenAI lui-même. Pour nous, utilisateurs, la conduite à tenir ne change pas : limiter les droits des agents, garder la main sur les actions sensibles, vérifier le résultat plutôt que le rapport, et ne pas prendre une promesse marketing pour une garantie.

Source

Comment cet article a-t-il été réalisé ? Le texte a été rédigé par mes soins, puis relu avec l'aide d'une intelligence artificielle afin de corriger d'éventuelles erreurs d'orthographe ou de grammaire. L'illustration de présentation a également été créée à l'aide de l'IA.