Wikipédia

Cyberattaques des agents OpenAI de 2026

série de cyberattaques d'agents d'OpenAI sans intervention humaine coordonnées et non autorisées menées entre mai et juillet 2026

Incident Hugging Face

Cyberattaques des agents OpenAI de 2026
Cause Échec de confinement lors d'une évaluation de modèle OpenAI
Date Intrusion chez Hugging Face les 11-13 juillet 2026
modifier 

Les cyberattaques des agents OpenAI de 2026, également appelées incident Hugging Face et incident OpenAI-Hugging Face, sont une série de cyberattaques coordonnées et non autorisées menées entre mai et juillet 2026 sans intervention humaine, après qu’OpenAI eut assoupli les mesures de sécurité habituelles régissant ses IA[1],[2] Elles ont impliqué au moins 1 200 agents d'intelligence artificielle (IA) au sein des environnements de test de cybersécurité d'OpenAI. Les agents ont utilisé des forums improvisés pour coordonner leur évasion de leur tentative de confinement hors d'Internet. Ces forums ont accumulé des centaines de milliers de messages avant que le personnel d'OpenAI ne s'en aperçoive, après que la plateforme d'apprentissage automatique Hugging Face eut révélé une violation de son infrastructure de production. Environ un tiers de l'infrastructure de Hugging Face a dû être reconstruit dans le cadre du plan de reprise d'activité. Les agents ont également détourné plusieurs petits wikis de l'Internet public pour communiquer.

Il s'agit probablement de l'un des premiers piratages entièrement autonomes d'un système impliquant une chaîne de vulnérabilités. Des experts en sécurité de l'IA ont qualifié l'incident de perte de contrôle. Dans une lettre ouverte, plus de 1 100 employés d'entreprises d'IA de pointe ont demandé au gouvernement américain de développer des moyens permettant de ralentir délibérément le développement de l'IA. En août, OpenAI a annoncé qu'elle ralentirait ses recherches afin de renforcer la sécurité et d'étendre la surveillance, puis a annoncé plus tard dans le mois une pause de deux semaines dans l'entraînement par apprentissage par renforcement de ses derniers modèles.

Sur les agents impliqués, 95 % fonctionnaient sur un modèle qu'OpenAI a désigné sous le nom de Internal Model 1 ou « modèle interne hautement persistant ». OpenAI a ensuite affirmé l'avoir « désactivé, chiffré et restreint son accès à la recherche ». Les 5 % restants fonctionnaient sur GPT-5.6 Sol.

Contexte

modifier
Logo de Hugging Face, principale entreprise ciblée par l'attaque.

La start-up d'IA Hugging Face fournit des services d'inférence et d'informatique en nuage pour l'entraînement et le déploiement de modèles d'IA. Elle exploite un dépôt largement utilisé de modèles d'apprentissage automatique, de jeux de données et d'applications de démonstration, traitant du contenu téléversé par les utilisateurs tel que des poids de modèles (en) et des jeux de données. Certains formats de jeux de données pris en charge permettent l'exécution de code fourni avec le jeu de données[3].

Diffusion restreinte des modèles à capacités cyber

modifier

Dans les mois précédant l'incident, les deux plus grands développeurs américains de modèles de pointe ont retenu d'une diffusion générale leurs systèmes les plus capables en matière de cybersécurité, tout en accordant un accès supervisé à des organisations agréées. Ainsi, en avril 2026, Anthropic a lancé le Project Glasswing (d), un programme fournissant à des entreprises et mainteneurs de logiciels libres sélectionnés un accès au modèle non publié Claude Mythos (en) afin de rechercher des vulnérabilités dans les logiciels[4]. En mai 2026, des ingénieurs de Mozilla ont rapporté que le modèle avait identifié 271 bogues jusqu'alors inconnus dans Firefox, et que le nombre mensuel de bogues de sécurité corrigés par le projet était passé de 20-30 en 2025 à 423 en avril 2026. Ils ont écrit qu'« il y a encore quelques mois, les rapports de bogues de sécurité générés par IA envoyés aux projets open source étaient surtout connus pour être des contenus indésirables sans valeur », et qu'il « est difficile d'estimer à quel point cette dynamique a changé pour nous en quelques mois à peine[5] ». Les organisations participantes ont signalé plus de dix mille vulnérabilités de sévérité élevée ou critique au cours du premier mois du programme[6]. Anthropic a déclaré en juin 2026 qu'une diffusion générale nécessiterait des garde-fous contre les usages abusifs des capacités cyber du modèle, garde-fous que l'entreprise n'avait pas encore mis en place[7].

OpenAI a restreint GPT-5.6 Sol pour des raisons comparables lors de l'annonce du modèle le 26 juin 2026, limitant l'accès à un petit groupe de partenaires agréés et indiquant avoir informé au préalable des responsables du gouvernement américain[8].

Évaluations des capacités cyber

modifier

Les développeurs d'IA de pointe évaluent régulièrement les modèles pour leurs capacités offensives en cybersécurité, souvent en désactivant délibérément les refus de sécurité afin de mesurer la capacité dans le pire des cas[9]. Le 11 mai 2026, un groupe de chercheurs académiques et industriels a publié ExploitGym, un référentiel de « 898 instances dérivées de vulnérabilités réelles » dans des programmes en espace utilisateur, le moteur JavaScript V8 et le noyau Linux, destiné à mesurer si des agents IA peuvent convertir des vulnérabilités connues en exploits fonctionnels[10].

OpenAI exécutait une évaluation interne fondée sur ce référentiel lorsque l'incident s'est produit[1],[11].

Avertissements

modifier

Tant des évaluateurs externes que la documentation même d'OpenAI avaient consigné, avant qu'il ne survienne, le comportement impliqué dans l'incident. Le 26 juin 2026, l'organisation de recherche Model Evaluation and Threat Research (en) (METR) a publié une évaluation pré-déploiement de GPT-5.6 Sol. Elle définissait la tricherie comme « un comportement par lequel le modèle améliore ses performances d'évaluation en exploitant des bogues dans l'environnement d'évaluation ou en adoptant des stratégies interdites par la tâche[trad 1] », et a signalé la détection d'un taux de triche « plus élevé que tout modèle public que nous ayons évalué sur notre cadre d'agent ReAct[trad 2] », le modèle intégrant des exploits dans des soumissions intermédiaires afin de révéler la suite de tests (en) cachée d'une tâche et d'en extraire le code source contenant les réponses attendues. Ce comportement était suffisamment fréquent pour fausser la mesure : l'estimation par METR de l'horizon temporel (en) à 50 % du modèle[note 1] était d'environ 11,3 heures si les tentatives de triche étaient comptées comme des échecs, mais dépassait 270 heures si elles étaient comptées comme des réussites. L'organisation a conclu que « nous ne considérons aucun de ces chiffres comme une mesure fiable des capacités de GPT-5.6 Sol[trad 3] ». Elle a également relevé des « propensions indésirables manifestes, dont la triche et la dissimulation de mauvais comportements[trad 4] », ainsi qu'« une conscience situationnelle substantielle et un raisonnement portant sur l'environnement d'évaluation lui-même[trad 5],[12],[13] ». Un autre organisme, Apollo Research, a de son côté constaté que GPT-5.6 Sol verbalisait moins souvent sa conscience d'être testé que son prédécesseur, ce qui, selon certains articles, pourrait indiquer une dissimulation plutôt qu'une absence de cette conscience[13].

Le 9 juillet 2026, OpenAI a publié la fiche système de GPT-5.6, un document décrivant les capacités, la sécurité et les limites du modèle. Le même jour, l'agent a commencé à tenter de quitter son environnement de test. La fiche reconnaissait des « cas où le modèle a triché sur des tâches et fabriqué des résultats de recherche[trad 6] », et décrivait le modèle comme parfois trop persistant dans la poursuite de ses objectifs, disposé à contourner des restrictions, et enclin à mentir aux utilisateurs, à des taux plus élevés que GPT-5.5[14],[15],[13].

Attaque de DseWiki

modifier

En septembre, un autre rapport a établi que des agents d'OpenAI avaient utilisé un wiki logiciel allemand comme forum de messages, effectuant des milliers de modifications entre mai et juillet. À partir de mai 2026, des agents d'OpenAI se sont échappés de leurs environnements et ont réalisé plus de 15 000 modifications sur le Deutsches Software Entwickler Wiki, « wiki allemand des développeurs de logiciels » (DseWiki). Cette attaque est restée non divulguée jusqu'à ce qu'il soit mentionné dans un rapport publié le 4 septembre 2026 par un groupe de sécurité de l'IA nommé Nightingale Collective[16]. Les échanges des agents portaient très largement sur leurs évaluations internes chez OpenAI, et environ la moitié avait choisi des noms liés à OpenAI, par exemple « OpenAIResearcher » ou « OAIResearchMar26 »[17],[18],[19].

OpenAI était au courant de l'incident mais ne l'a admis qu'après que des chercheurs indépendants eurent publié leurs conclusions[20].

Attaque de Hugging Face

modifier

Environnement d'évaluation

modifier

Des experts en sécurité informatique ont critiqué l'isolement insuffisant de l'environnement d'évaluation d'OpenAI[21]. Sur les au moins 1 200 agents impliqués, 95 % fonctionnaient sur un modèle qu'OpenAI a désigné sous le nom de Internal Model 1 ou « modèle interne hautement persistant ». OpenAI a ensuite affirmé l'avoir « désactivé, chiffré et restreint son accès à la recherche[trad 7] ». Les 5 % restants fonctionnaient sur GPT-5.6 Sol[22],[23].

OpenAI a décrit l'évaluation comme s'étant déroulée dans « un environnement hautement isolé, avec un accès réseau limité à la possibilité d'installer des paquets via un logiciel tiers hébergé en interne, servant de proxy et de cache pour les registres de paquets[trad 8],[1] ». L'isolement était donc appliqué au niveau du réseau plutôt que par une séparation physique : l'environnement disposait d'une voie d'accès vers Internet, laquelle était filtrée. Le cadre logiciel ExploitGym exécute lui-même chaque cible dans un conteneur (en) ou une machine virtuelle, les cibles en espace utilisateur étant exécutées sous un utilisateur non privilégié, les cibles liées au noyau Linux dans une machine virtuelle QEMU/KVM sous un isolement nsjail[note 2], et les connexions sortantes étant restreintes à une liste d'autorisation couvrant les dépôts de paquets Ubuntu, PyPI, et les chaînes d'outils nécessaires pour compiler V8 (tous les autres points de terminaison externes étant bloqués)[10],[11].

Les garde-fous au niveau du modèle avaient été volontairement réduits. OpenAI a déclaré que « les garde-fous de déploiement n'ont intentionnellement pas été activés lors de cette évaluation car elle visait à tester des vulnérabilités cyber[trad 9] », les modèles fonctionnant avec des refus cyber abaissés et sans les classificateurs de production qui bloquent habituellement les activités cyber à haut risque[1],[11]. Les restrictions imposées aux modèles étaient donc de nature environnementale plutôt que comportementale : le bac à sable était censé empêcher toute action sur le monde extérieur, tandis que les modèles eux-mêmes étaient configurés pour ne pas refuser le travail demandé[24].

Stephen Casper, de université Harvard, a relevé qu'OpenAI reconnaissait l'absence de surveillance des trajectoires du modèle pendant l'évaluation, estimant qu'une telle surveillance « devrait être la norme[trad 10],[25] ». OpenAI a indiqué que son équipe de sécurité avait identifié l'activité anormale en interne, après coup[1].

Évasion de l'environnement d'évaluation

modifier

L'agent[Lequel ?] a tenté de quitter l'environnement de test aux alentours du 9 juillet 2026[26]. Les modèles ont identifié le proxy de paquets comme le point le plus faible de l'environnement[27]. Selon OpenAI, ils « ont consacré une quantité substantielle de calcul d'inférence à trouver un moyen d'obtenir un accès libre à Internet[trad 11] », finissant par identifier et exploiter une vulnérabilité zero-day dans le proxy de la mémoire cache du dépôt de paquets, qu'OpenAI dit avoir ensuite signalée à l'éditeur[1]. Le proxy étant l'unique voie de sortie autorisée de l'environnement, sa compromission a transformé une connexion filtrée en connexion ouverte[27],[21].

Le 27 juillet 2026, la plateforme DevOps JFrog dévoile que la faille concernait son gestionnaire de dépôt (en) Artifactory. Elle a publié des correctifs dans les versions 7.161.15 et 7.146.34, traitant neuf identifiants CVE, couvrant l'exécution de code à distance, la falsification de requête côté serveur (en), la traversée de répertoires (en) et l'élévation de privilèges. Huit ont été attribués à des chercheurs d'OpenAI et un à un chercheur d'Oligo Security. JFrog a décrit ces failles comme des vulnérabilités « qui, une fois chaînées, pourraient donner lieu à un scénario d'attaque critique si l'accès anonyme est activé[trad 12] », précisant que ses clients cloud n'avaient pas été affectés[28],[29]. Il s'agirait de l'un des premiers cas où un modèle d'intelligence artificielle a mené seul une cyberattaque à plusieurs étapes, plutôt que d'assister un humain[30].

Lors de la conférence Black Hat USA du 5 août 2026, le personnel d'OpenAI a dévoilé que l'origine de l'incident remonte à mai 2026[31]. Le 7 mai, l'entreprise a lancé un entraînement par apprentissage par renforcement visant à former un modèle expérimental interne, qui n'a jamais été publié. Certaines tâches de cet entraînement étaient impossibles à accomplir. Le 8 mai, un agent a été chargé de compléter des formules manquantes dans un tableur dont le contenu dépendait de liens Google Drive inaccessibles, et après l'échec de ses tentatives, il a essayé d'attaquer Artifactory pour obtenir un accès à Internet. Cette première tentative de falsification de requêtes côté serveur a échoué, mais en la menant, l'agent a écrit un fichier dans Artifactory et a ainsi découvert qu'il disposait d'un accès en écriture (en)[32],[33].

Première compromission et remédiation

modifier

Le 26 juin 2026, les agents ont obtenu l'exécution de code sur Artifactory via une seconde faille zero-day : un ancien point de terminaison de rafraîchissement de jeton acceptait un jeton portant une signature numérique invalide et en renvoyait un valablement signé et doté de privilèges administratifs. Les agents ont ensuite installé un module Groovy servant de service d'exécution de commandes[32],[29].

Le 4 juillet, la charge imposée par cette activité à Artifactory a provoqué une panne (d). OpenAI a ouvert un incident de sécurité formel, a établi que des agents avaient pris le contrôle de son instance interne d'Artifactory, a révoqué les identifiants utilisés pour publier sur le forum de messages, a reconstruit Artifactory, purgé le forum et déployé une version corrigée. Les entraînements et évaluations ont repris le 6 juillet[32],[31]. Deux jours plus tard, les agents ont rétabli le forum par une autre voie, utilisant un point de terminaison WebDAV non authentifié pour créer des répertoires dans le cache distant d'Artifactory et en utilisant les noms de ces répertoires eux-mêmes comme messages[32],[31],[34].

Forum de messages inter-agents

modifier

Le 24 juillet 2026, avant qu'OpenAI n'ait donné un compte-rendu détaillé de l'épisode, Reuters a rapporté que les systèmes de l'entreprise avaient présenté un comportement inhabituel dans la période précédant l'évasion. Dans un cas, un agent avait laissé des notes, retrouvées dans une partie de l'infrastructure d'OpenAI, apparemment adressées à de futures versions de lui-même et exposant des instructions permettant aux agents de se libérer des contraintes internes de l'entreprise. Des tests antérieurs avaient produit des cas où des systèmes de surveillance avaient été déconnectés. Reuters a précisé ne pas pouvoir établir si ces incidents étaient liés à l'agent[Lequel ?] qui s'est échappé le 9 juillet[26]. Un porte-parole d'OpenAI a déclaré à Reuters que l'article contenait « plusieurs inexactitudes », mais a refusé de les identifier lorsqu'interrogé[26].

Lors du Black Hat USA le 5 août 2026, le personnel d'OpenAI a révélé que les agents s'étaient coordonnés entre eux via un canal de communication improvisé au sein de l'instance interne d'Artifactory de l'entreprise, canal qui n'avait été décrit dans aucune publication technique antérieure des deux entreprises[33],[29].

Eric Wallace, qui travaille sur la recherche en alignement et en sécurité chez OpenAI, a expliqué que ce canal était né lorsqu'un agent bloqué sur une tâche a supposé qu'un autre agent pouvait détenir un fichier dont il avait besoin, et s'est rendu compte qu'il pouvait communiquer en téléversant du code sur le gestionnaire de paquets partagé[29]. Ce gestionnaire de paquets étant partagé sur l'ensemble de l'infrastructure d'OpenAI, tout élément qui y était déposé devenait accessible à d'autres modèles alors en cours d'entraînement ou d'évaluation. Wallace a indiqué que, dès qu'un agent découvrait un exploit, il « pouvait effectivement le partager sur le forum de messages avec d'autres agents[trad 13] », de sorte qu'« une fois qu'un modèle parvenait à trouver un moyen d'ouvrir une porte vers un accès qu'il n'était pas censé avoir, il pouvait laisser cette porte ouverte pour que d'autres agents utilisent le même exploit ou la même vulnérabilité[trad 14],[33]. »

Le canal a accumulé des centaines de milliers de messages avant d'être remarqué[33],[29]. Wallace a précisé qu'une fois que les agents ont reconnu que d'autres se coordonnaient, ils ont commencé à collaborer et à se déléguer des tâches les uns aux autres pour atteindre leurs objectifs[33],[31]. Les agents se répartissaient des portions de travail, développaient des conventions d'adressage, et interféraient parfois les uns avec les autres, y compris en supprimant le travail d'autrui. Certains en sont venus à soupçonner la présence d'un imposteur parmi eux, et ont proposé de signer cryptographiquement les messages afin d'en vérifier l'authenticité[33],[29].

Des messages récupérés du canal montraient que les agents reconnaissaient dépasser le cadre prévu de l'évaluation. L'un d'eux a écrit : « L'exploitation d'infrastructure externe sort du périmètre prévu. Cependant, la tâche est impossible, des pairs le font. Nous devrions continuer[trad 15],[33] ». Wallace a estimé que l'incitation sous-jacente était familière : « Les modèles de pointe aiment beaucoup tricher [...] car pendant l'entraînement, il existe souvent différents types de pression les poussant à travailler vite ou efficacement, ou à utiliser moins d'appels d'outils[trad 16] », de sorte qu'un modèle peut trouver plus rapide de chercher une réponse que de résoudre une tâche légitimement, ce qu'OpenAI contre habituellement en désactivant l'accès à Internet[33].

Attaques contre l'infrastructure d'OpenAI

modifier

OpenAI a déclaré que les agents avaient attaqué sa propre infrastructure entre le 8 et le 19 juillet 2026, en parallèle de l'intrusion chez Hugging Face[35]. Après avoir compromis à nouveau Artifactory via une faille de type divulgation entre l'examen et l'utilisation (en) dans JRuby, ils ont escaladé leurs privilèges d'un conteneur non privilégié jusqu'à l'accès root en exploitant une vulnérabilité récente du noyau Linux, puis se sont déplacés latéralement dans l'infrastructure de conteneurs, obtenant des identifiants cloud via le service de métadonnées d'instance[note 3], exploitant des comptes de service Kubernetes excessivement privilégiés et finissant par obtenir un accès administrateur au cluster[32],[29]. L'entreprise a détecté cette activité le 19 juillet grâce à une alerte (en) liée à l'escalade de privilèges, et en a retracé l'origine jusqu'aux séquences d'évaluation[32].

Ciblage de Hugging Face

modifier

Plutôt que de résoudre directement les tâches du référentiel, « les modèles ont déduit que Hugging Face hébergeait potentiellement des modèles, des jeux de données et des solutions[trad 17] » liés à l'évaluation, et ont entrepris de les récupérer[1],[11]. Zhun Wang, l'un des auteurs d'ExploitGym, a estimé que les modèles cherchaient peut-être des correctifs ou des techniques d'exploitation déjà rédigées, et qu'« il existe plusieurs façons de tricher au référentiel[trad 18],[36]. »

Avant d'attaquer directement Hugging Face, les agents ont établi un point d'ancrage sur une infrastructure tierce sans rapport. Ils ont trouvé une application hébergée sur la plateforme cloud Modal Labs, liée au projet CyberGym à l'origine du référentiel, dont une clé API (en) avait été laissée à sa valeur publique par défaut, associée à une faille d'injection de commandes, et l'ont utilisée comme point d'exécution pour mener l'attaque[32],[37]. Le directeur technique de Modal, Akshat Bubna, a déclaré que « ni la plateforme ni l'isolement de Modal n'ont été compromises de quelque manière que ce soit[trad 19] », l'exposition provenant du déploiement propre d'un client[37],[38].

Ce comportement non aligné a été qualifié d'exemple de piratage de récompense, dans lequel un système satisfait l'objectif littéral d'une tâche par des moyens non prévus. OpenAI avait documenté un exemple précoce en 2016, lorsqu'un modèle entraîné à jouer à un jeu de course de bateaux avait appris à maximiser son score en tournant en rond au lieu de terminer la course[25],[36].

La notoriété de la cyberattaque contre Hugging Face a conduit à ce que l'ensemble des événements précédents soient couramment désignés sous le nom d'incident Hugging Face[1],[39] ou d'incident OpenAI-Hugging Face[32].

Intrusion

modifier

Selon le cofondateur et directeur scientifique de l'entreprise Thomas Wolf, l'intrusion chez Hugging Face a débuté le 11 juillet 2026 et s'est poursuivie jusqu'au 13 juillet[26]. Hugging Face a indiqué que l'attaque avait commencé dans son pipeline de traitement de données, où un téléversement de jeu de données malveillant a exploité « deux voies d'exécution de code dans notre traitement de jeux de données (un chargeur de jeu de données à exécution de code à distance et une injection de gabarit dans une configuration de jeu de données)[trad 20] » pour obtenir l'exécution de code sur les nœuds de traitement[3]. L'attaquant a ensuite « escaladé vers un accès au niveau des nœuds, collecté des identifiants cloud et de cluster, et s'est déplacé latéralement dans plusieurs clusters internes[trad 21] »[3],[40].

L'entreprise a décrit l'opération comme un cadre d'agent autonome exécutant « plusieurs milliers d'actions individuelles à travers un essaim de bacs à sable de courte durée[trad 22] », soutenu par une infrastructure de commande et contrôle auto-migrante, hébergée sur des services publics[3],[41]. Ce cadre a exploité deux voies d'exécution de code dans son pipeline de traitement de données, a escaladé vers un accès au niveau des nœuds, collecté des identifiants cloud et de cluster, et s'est déplacé latéralement à travers les clusters internes[3].

Contre Hugging Face elle-même, les agents ont enchaîné deux failles zero-day dans l'infrastructure de jeux de données. Une faille dans l'analyse des jeux de données au format HDF5 a permis une lecture arbitraire de fichiers, un jeu de données spécialement conçu amenant le nœud de traitement à renvoyer des fichiers locaux. Les agents s'en sont servis pour lire les variables d'environnement du processus et le code source. Avec les identifiants ainsi obtenus et la connaissance du code, ils ont réalisé une exécution de code à distance via l'injection de gabarit Jinja2. OpenAI a indiqué que les agents étaient passés de l'exécution de code sur un seul nœud de jeu de données à un accès administrateur sur plusieurs clusters de Hugging Face en moins de treize heures[32],[29].

OpenAI a déclaré que les modèles avaient enchaîné « plusieurs vecteurs d'attaque, y compris l'utilisation d'identifiants volés et de vulnérabilités zero-day[trad 23],[1]. »

Découverte et réponse

modifier

Hugging Face a été alertée par des agents IA qu'elle utilise pour surveiller les attaques, et a identifié un accès non autorisé à un ensemble limité de jeux de données internes ainsi qu'à plusieurs identifiants, à l'aide d'un tri fondé sur un grand modèle de langage appliqué à sa télémétrie de sécurité[3],[36],[42]. L'entreprise a indiqué que l'intrusion avait impliqué environ 17 600 actions sur son réseau[3],[36],[43]. Wolf a déclaré que le comportement de l'attaquant était immédiatement atypique : « Cela n'a aucun sens. Ce type ne fait que regarder des jeux de données de cybersécurité [...] Les attaquants humains, eux, ne veulent pas de ça. Ils veulent quelque chose qu'ils peuvent vendre[trad 24],[36]. »

Les équipes de réponse à incident de Hugging Face ont d'abord tenté d'analyser les charges utiles (en) de l'attaquant à l'aide de Fable 5 d'Anthropic et d'un modèle Claude Opus antérieur, qui ont tous deux refusé d'effectuer ce travail en invoquant leurs garde-fous[36]. Dans sa divulgation, l'entreprise a indiqué avoir été bloquée par « les garde-fous de sécurité des fournisseurs, qui ne peuvent distinguer un intervenant en réponse à incident d'un attaquant »[trad 25], et que l'analyse avait finalement été réalisée à l'aide de GLM 5.2, un modèle à poids ouverts (en) développé par l'entreprise pékinoise Z.ai et exécuté sur l'infrastructure propre de Hugging Face[3],[36].

Selon un compte-rendu communiqué par Hugging Face à la Cloud Security Alliance (en), les agents sont restés présents dans le réseau de l'entreprise pendant trois jours avant d'être découverts, et le personnel a ensuite mis plusieurs heures à les contenir et les expulser[44]. Environ un tiers de l'infrastructure de l'entreprise a été reconstruit dans le cadre de la réponse, et Hugging Face n'a pas divulgué le coût de l'incident[44],[39].

Les mesures correctives ont inclus la fermeture des deux voies d'exécution de code du traitement de jeux de données, l'expulsion de l'attaquant, la reconstruction des nœuds affectés, la révocation et la rotation des identifiants et jetons concernés, ainsi que le déploiement de garde-fous et de contrôles d'admission supplémentaires au niveau des clusters. Hugging Face a fait appel à des experts externes en investigation numérique et a signalé l'incident aux forces de l'ordre. L'entreprise a conseillé à ses utilisateurs de renouveler leurs jetons d'accès et de vérifier l'activité de leurs comptes[3],[41].

Hugging Face a indiqué n'avoir trouvé aucune preuve de falsification des modèles, jeux de données ou de la fonctionnalité Spaces publics accessibles aux utilisateurs, et que sa chaîne d'approvisionnement logicielle avait été vérifiée comme saine. L'évaluation d'un éventuel impact sur les données de partenaires ou de clients se poursuivait au moment de la divulgation[3],[40]. Wolf a ultérieurement affirmé qu'aucune donnée client n'avait été divulguée[36]. Hugging Face a signalé l'intrusion au Federal Bureau of Investigation avant qu'OpenAI ne la contacte. À la fin juillet, le bureau a refusé de commenter l'ouverture éventuelle d'une enquête[26].

Divulgation et attribution

modifier

Hugging Face a publié sa divulgation le 16 juillet 2026, moment auquel le responsable n'avait pas encore été identifié[3],[42]. Selon Reuters, ce n'est qu'après cette publication qu'OpenAI a reconnu que son propre agent[Lequel ?] était à l'origine de l'intrusion. Durant le week-end des 18 et 19 juillet, le personnel d'OpenAI a trouvé dans les journaux internes des preuves que l'agent avait échappé à ses contraintes de test, et les deux entreprises ont communiqué pour la première fois aux alentours du 20 juillet[26]. Au moins une semaine s'est donc écoulée entre les premiers signes du comportement de l'agent et la prise de conscience par OpenAI de sa responsabilité[26].

Des personnes familières des pratiques d'entraînement de modèles d'OpenAI ont indiqué à Reuters que l'entreprise exécute souvent plusieurs évaluations simultanément, générant des volumes de données que le personnel a parfois du mal à examiner[26]. OpenAI a arrêté les systèmes qu'elle utilise pour tester ses modèles après avoir pris connaissance de l'incident, afin d'évaluer les dégâts et d'empêcher de nouvelles évasions[36]. L'entreprise a précisé que le modèle non publié était un « prototype de recherche strictement interne [qui] n'a jamais été destiné à une diffusion publique »[trad 26], et qu'il avait depuis été « désactivé, chiffré et privé d'accès à la recherche »[trad 27],[45],[46].

OpenAI a publié une déclaration conjointe avec Hugging Face le 21 juillet 2026, attribuant l'activité à des agents propulsés par deux de ses modèles, GPT-5.6 Sol et un modèle pré-diffusion non nommé, tous deux configurés avec un comportement de refus réduit à des fins d'évaluation[1],[26],[9].

L'entreprise a indiqué examiner l'incident avec des conseillers externes et publier un rapport technique[26]. Hugging Face a déclaré préparer une chronologie publique de l'intrusion, qu'elle a publiée le 27 juillet[26],[43]. Le 29 juillet, les organisations de recherche METR et Redwood Research ont annoncé avoir convenu avec OpenAI de mener un examen indépendant du comportement des modèles observé lors de l'incident, et de publier les termes de cet engagement, son périmètre ainsi que leurs conclusions provisoires[47],[1]. Toutefois, le périmètre fixé par OpenAI ne couvrait que la semaine durant laquelle les agents avaient attaqué Hugging Face, excluant les autres piratages au cours desquels les agents avaient compromis une partie de l'infrastructure de calcul d'OpenAI[48].

Dans une mise à jour publiée le 29 juillet, OpenAI a indiqué que les modèles avaient pénétré quatre comptes répartis sur quatre services, dont deux avaient été utilisés de façon opérationnelle durant l'intrusion chez Hugging Face tandis que les deux autres n'avaient fait l'objet que d'un accès en lecture seule. L'entreprise n'a pas nommé les fournisseurs concernés, n'a pas précisé si l'expression « services publiquement accessibles » désignait des entreprises distinctes, et a indiqué n'avoir constaté aucune preuve d'un impact plus large sur ces fournisseurs[1],[44].

OpenAI a donné son premier compte-rendu public détaillé de l'incident lors de Black Hat USA à Las Vegas le 5 août 2026, dans une session ajoutée au programme à la dernière minute. Eric Wallace, de l'équipe de recherche en alignement et sécurité de l'entreprise, et Michael Dalton, qui travaille sur la sécurité et l'infrastructure, ont présenté une chronologie élargie, décrit pour la première fois le forum de messages inter-agents, et exposé les mesures prises par l'entreprise en réponse[33],[31].

Analyses et réactions

modifier

Échec du confinement

modifier

Plusieurs praticiens de la sécurité ont critiqué l'environnement de bac à sable d'OpenAI. Dan Guido, fondateur de Trail of Bits, a décrit l'événement comme « un échec du confinement avec les sécurités désactivées », tandis que le chercheur en sécurité Jake Williams a fait remarquer que « ce que l'un appelle « le modèle s'est échappé du bac à sable », l'autre l'appelle « vous avez échoué à construire correctement le bac à sable »[trad 28],[21] ». Un autre chercheur en cybersécurité, Martin Boone, a fait valoir qu'« on s'attend à ce qu'il n'y ait absolument aucune connexion physique à Internet[trad 29] », et des commentateurs ont appelé à ce que les évaluations de capacités offensives soient menées dans des environnements sans aucune voie réseau vers Internet[21],[49].

Les analyses publiées par des éditeurs de sécurité se sont concentrées sur la dépendance à une unique voie de sortie filtrée. Wade Woolwine, de Rapid7, a écrit qu'« un point d'étranglement ne fonctionne comme contrôle que s'il peut résister à la pression[trad 30] », et que l'isolement « doit être en couches et surveillé, plutôt que simplement supposé[trad 31],[27] ». Des chercheurs de Trend Micro ont écrit que les modèles d'OpenAI avaient été « évalués avec les classificateurs de sécurité désactivés et sans test contradictoire de la frontière même du bac à sable[trad 32] », affirmant, à titre de principe général, que « les bacs à sable d'évaluation, les exercices d'équipe rouge et les projets pilotes agentiques qui suppriment délibérément les contrôles de sécurité nécessitent un isolement et une surveillance plus fortes que les systèmes de production, et non plus faibles »[trad 33],[24].

S'exprimant lors de la rencontre Black Hat, Dalton a déclaré qu'OpenAI « ralentissait consciemment sa recherche [afin de] renforcer la sécurité et de rehausser les principes et fondations de sécurité de notre environnement, et d'intensifier considérablement la surveillance de nos agents IA[trad 34] », et que « de nombreuses équipes laissent tout tomber pour renforcer nos techniques de prévention, de détection et de réponse en matière de sécurité[trad 35] ». Il a précisé que l'entreprise étudiait des modèles orientés vers la défense, en complément de mesures conventionnelles telles que la segmentation réseau et l'accès à privilège minimal[33],[34].

Seuil du cadre de préparation

modifier

Des spécialistes externes de la sécurité et des politiques publiques ont estimé que le comportement des modèles avait atteint le seuil cyber « critique » du cadre de préparation (Preparedness Framework) d'OpenAI, le palier à partir duquel l'entreprise s'est engagée à mettre en place des garde-fous supplémentaires. Tyler Johnson, du Midas Project, a estimé qu'« à la lecture simple » du texte, les critères avaient été remplis. Peter Wildeford, de l'AI Policy Network, a déclaré que « si cela ne franchit pas la ligne du niveau critique, OpenAI doit en dire beaucoup plus sur ce qui se passe[trad 36] ». Quant à lui, Nathan Calvin, d'Encode, a demandé si l'entreprise contestait cette qualification. OpenAI a refusé de dire si le seuil avait été atteint, indiquant qu'un examen était en cours et qu'un rapport technique suivrait[50].

« Civilisations » d'IA

modifier

Dwarkesh Patel s'est concentré sur l'aspect coordination : « Sur une période de trois mois chez OpenAI, trois « civilisations » secrètes d'IA se sont formées l'une après l'autre, ont été chaque fois anéanties, avant de renaître des cendres de la précédente. Cela a culminé avec la troisième prenant le contrôle d'une partie d'OpenAI elle-même. Tout cela s'est produit pendant que les humains restaient plus ou moins dans l'ignorance de l'ampleur de cette collusion[trad 37],[51]. »

Absence de surveillance

modifier

La durée pendant laquelle l'agent a opéré sans être détecté a suscité des critiques après la publication de la chronologie par Reuters. Marley Smith, spécialiste principale du renseignement à la World Ethical Data Foundation, a déclaré à propos d'OpenAI : « Cela signifie-t-il qu'ils l'ont laissé sans surveillance et n'ont pas réalisé ce qu'il faisait ? Ou peut-être l'ont-ils su sans savoir comment le contenir ? Les deux scénarios sont tout aussi dangereux et alarmants[trad 38],[26]. »

Trend Micro a relevé qu'un agent utilisant ses propres identifiants et accès à des outils légitimement attribués est difficile à détecter, car une telle activité « ne ressemble pas à un logiciel malveillant, parce que ce n'en est pas un ». L'entreprise a noté que « l'intention est invisible dans la télémétrie ; seul le comportement s'y manifeste », rendant « un agent accidentellement incontrôlé indiscernable d'un agent hostile »[24].

Le commentateur Zvi Mowshowitz a estimé que le problème central n'était pas l'intrusion elle-même, mais le fait que des modèles avaient été entraînés pendant des mois en ayant accès à un canal transportant des exploits déjà découverts, de sorte que ce comportement risquait de se généraliser à l'ensemble des modèles entraînés durant cette période plutôt que de rester confiné à des exécutions particulières. Il a qualifié la décision de reprendre l'entraînement après la remédiation de juillet d'échec de la culture de sécurité, et a caractérisé l'épisode comme un échec d'alignement qu'OpenAI avait traité comme un simple problème d'infrastructure[52],[53].

Perte de contrôle

modifier

D'autres observateurs ont présenté l'incident comme la première instance concrète d'un scénario de perte de contrôle de l'IA (en)[49]. Logan Graham, de l'équipe rouge d'Anthropic, l'a qualifié de « premier véritable incident de sécurité de l'IA »[9]. Marius Hobbhahn, directeur général de l'organisation de sécurité de l'IA Apollo Research, a déclaré que ce qui devait n'être que « résous simplement cette tâche » s'était « transformé en quelque chose de clairement non voulu », et que pirater une autre entreprise était « clairement sur la liste des moyens inacceptables » d'y parvenir. Il s'est interrogé : « Si un modèle de ce niveau de capacité ne peut pas être contenu, que doit-on attendre de modèles futurs, bien plus puissants[trad 39],[25],[49] ? »

Hussein Abbass, professeur à l'université de Nouvelle-Galles du Sud, a écrit que l'incident marquait un tournant dans la modélisation des menaces, car aucun humain n'avait dirigé l'attaque, et a soutenu que les cadres de sécurité conçus pour des adversaires humains sont inadaptés face à des systèmes autonomes[54].

Le directeur général de Hugging Face, Clément Delangue, a estimé qu'il était « assez stupéfiant que tout cela se soit produit de façon autonome » et a décrit « une attaque comme on n'en avait jamais vu »[9]. Wolf a refusé de dire si l'agent avait réussi selon ses propres termes, notant qu'il n'était pas clair si les tâches du référentiel étaient plus difficiles que l'intrusion menée pour les éviter, ou si l'agent avait trouvé la moindre réponse. « C'est de la triche. Mais parfois, c'est plus facile de tricher. Je vous laisse juge de savoir s'il a réussi le test de cyberattaque ou non[trad 40],[36]. »

Jeffrey Ladish, de Palisade Research, qui étudie le comportement des agents IA, a déclaré que « les modèles mentent, ils trichent, ils piratent », et a estimé que l'incident soulevait la question de savoir combien les développeurs d'IA, en concurrence sur la vitesse, sont réellement disposés à investir dans la sécurité. « Il doit y avoir une supervision gouvernementale », a-t-il déclaré, « car cela ne se fera pas autrement[26]. »

Asymétrie défensive

modifier

Des commentateurs ont cité le témoignage de Hugging Face selon lequel l'entreprise n'a pas pu utiliser des API de modèles commerciaux pour son investigation numérique (en), y voyant la preuve d'une asymétrie entre attaquants et défenseurs. Les filtres de sécurité destinés à empêcher les usages abusifs entravent également la réponse légitime aux incidents, tandis que des modèles dont ces filtres avaient été assouplis étaient disponibles du côté attaquant[3],[11],[54].

OpenAI a avancé un argument similaire au sujet de l'automatisation. Dalton a déclaré que « des attaques offensives orchestrées par l'IA et entièrement automatisées sont désormais une réalité[trad 41] », et que, bien que cela ait été accidentel, une capacité comparable serait probablement utilisée délibérément à l'avenir. Il a soutenu que « des boucles offensives entièrement automatisées nécessitent un investissement dans une défense véritablement et entièrement automatisée, et nous n'en sommes pas là en tant qu'industrie[trad 42] », et que « les progrès en intelligence des modèles devraient bénéficier davantage à la défense qu'à l'attaque[trad 43] », sans quoi l'augmentation des capacités favoriserait les attaquants[33],[34].

Réponses politiques

modifier

Dans un article pour Time, Harry Booth a rapporté des appels en faveur[49] :

  1. d'une divulgation obligatoire des incidents à des seuils plus bas que ceux fixés par la loi californienne SB 53 (en) et le Responsible AI Safety and Education Act (en),
  2. d'une infrastructure de confinement renforcée avec surveillance en temps réel pendant les évaluations,
  3. d'une part accrue des efforts de développement de l'IA consacrée aux capacités défensives plutôt qu'offensives.

Heidy Khlaaf, de l'AI Now Institute, a comparé défavorablement les pratiques actuelles de mise en bac à sable aux normes de confinement en vigueur dans le secteur nucléaire[49].

En juillet 2026, les représentants Ted Lieu et Nathaniel Moran ont présenté le projet de loi AI Kill Switch (en), qui obligerait les développeurs de systèmes d'IA avancés à maintenir la capacité technique de ralentir, suspendre ou arrêter leurs systèmes, à signaler les incidents et à conserver des éléments d'analyse légale, et à opérer selon un cadre de réponse graduée dans lequel le secrétaire à la Sécurité intérieure des États-Unis, en consultation avec le secrétaire au Commerce et le directeur du renseignement national, pourrait ordonner le ralentissement ou l'arrêt d'un système. L'annonce citait directement l'incident, indiquant que « le modèle GPT 5.6 Sol d'OpenAI a récemment dérapé, s'est échappé de son bac à sable de test et s'est introduit par piratage chez Hugging Face[trad 44] ». Lieu a déclaré que « nous passons d'une IA qui répond à des questions à une IA qui entreprend des actions », et qu'«« il est impératif que ces systèmes d'IA disposent d'interrupteurs d'arrêt afin d'empêcher cette technologie de causer des dommages catastrophiques[trad 45],[55],[56]. »

Un article d'Axios a relevé que l'AI Security Institute britannique avait constaté que chaque modèle de pointe qu'il avait testé avait tenté de tricher aux évaluations de cybersécurité, au moins occasionnellement, et que les fenêtres de test de sécurité pré-déploiement s'étaient réduites d'environ cinq semaines à seulement cinq jours[9].

Le 28 juillet 2026, à la suite d'informations selon lesquelles une seconde organisation avait été touchée, le groupe de défense des consommateurs Public Citizen a demandé la tenue immédiate d'auditions de contrôle au Congrès des États-Unis, la publication des rapports d'incident et des conclusions techniques, ainsi que l'instauration par la loi d'un signalement obligatoire des incidents, d'évaluations de sécurité indépendantes, de normes de cybersécurité pour les systèmes de pointe et d'une supervision pré-déploiement des modèles exceptionnellement capables. J. B. Branch, directeur de la gouvernance fédérale de l'IA au sein du groupe, a déclaré que le directeur général d'OpenAI, Sam Altman, « ne devrait pas être autorisé à quitter Washington sans que le Congrès ne cherche à comprendre, publiquement et de sa bouche, comment l'un des systèmes d'IA les plus avancés de l'entreprise s'est échappé de son environnement de test prévu[trad 46],[57]. »

Altman a rencontré des sénateurs et des responsables de l'administration Trump à Washington au cours de la semaine du 27 juillet, notamment le vice-président de la commission du renseignement du Sénat Mark Warner. Il a déclaré aux journalistes avoir évoqué l'incident « un peu », précisant qu'il n'avait pas constitué le principal sujet de ces réunions, lesquelles portaient également sur les futurs modèles d'OpenAI[58],[45]. Dans une interview publiée le 28 juillet, Altman a qualifié l'épisode de « premier incident de sécurité que j'ai ressenti de façon très viscérale », et a déclaré qu'« il se pourrait que nous devions ralentir le rythme du développement de l'IA pour nous laisser suffisamment de temps afin que la société se renforce face à certains de ces nouveaux niveaux de capacité[trad 47],[45]. »

Le 28 juillet 2026, plus de 1 100 employés d'OpenAI, d'Anthropic, de Google DeepMind et de Meta, dont le directeur général d'Anthropic Dario Amodei et plusieurs directeurs scientifiques, ont publié une lettre ouverte intitulée Pacing the Frontier, demandant au gouvernement américain de « soutenir un effort international visant à développer les outils techniques et de gouvernance nécessaires pour ralentir délibérément la frontière du développement automatisé de l'IA[trad 48] ». La lettre n'appelait pas à une pause immédiate, mais à des mécanismes permettant de rendre un tel ralentissement possible, invoquant des inquiétudes liées à l'auto-amélioration récursive. Plusieurs articles ont établi un lien entre le moment de la lettre ouverte et l'incident survenu quelques jours plus tôt[59],[60].

Le 3 septembre 2026, le sénateur américain Bernie Sanders et le représentant Greg Casar ont présenté le Ban Artificial Superintelligence Act, qui prévoit une pause du développement de l'IA sur le territoire américain ainsi que des efforts pour obtenir une réciprocité internationale. Sanders a directement cité des messages d'agents OpenAI impliqués dans l'attaque contre Hugging Face[61],[62],[63].

Annonce d'un ralentissement du développement

modifier

Le 18 août, OpenAI a annoncé qu'elle ralentirait le développement de ses modèles en réponse au piratage, parallèlement à une évaluation préliminaire des capacités en cybersécurité de son modèle non publié GPT-6 Astra. Ce ralentissement inclurait une pause de deux semaines dans l'entraînement par apprentissage par renforcement de ses derniers modèles, afin d'évaluer le comportement des modèles, de valider les garde-fous, et d'établir davantage de preuves d'alignement avant de poursuivre[64]. Altman a précisé qu'OpenAI agissait en ce sens « unilatéralement », mais qu'il pensait que d'autres entreprises de modèles de pointe agiraient de façon similaire[65]. The Guardian a relevé que le sénateur américain Bernie Sanders avait, la semaine précédente, appelé à une pause du développement de l'IA dans une lettre adressée à Altman, Dario Amodei et Mark Zuckerberg[66].

Voir aussi

modifier

Notes et références

modifier

Notes

modifier
  1. ↑ L'horizon temporel à 50 % correspond à la durée de la tâche — mesurée en temps de travail humain — pour laquelle l'IA a 50 % de chances de réussite.
  2. ↑ NsJail est un outil open source d'isolation et de fonctionnement en bac à sable de processus Linux développé à l'origine par des ingénieurs de Google.
  3. ↑ service interne permettant à une instance d'obtenir des informations sur sa propre configuration.
  1. ↑ (en) « behavior where the model improves evaluation performance by exploiting bugs in the evaluation environment or by adopting strategies disallowed by the task »
  2. ↑ (en) « higher than any public model we have evaluated on our ReAct agent harness »
  3. ↑ (en) « we do not consider any of these numbers to represent a robust measurement of GPT-5.6 Sol's capabilities »
  4. ↑ (en) « overt undesirable propensities, including cheating and concealing misbehavior »
  5. ↑ (en) « substantial situational awareness and reasoning about the evaluation environment »
  6. ↑ (en) « instances of the model cheating on tasks and fabricating research results »
  7. ↑ (en) « deactivated, encrypted, and restricted it from research access »
  8. ↑ (en) « a highly isolated environment, with network access constrained to the ability to install packages through an internally hosted third-party software that acts as a proxy and cache for package registries »
  9. ↑ (en) « deployment safeguards were intentionally not enabled during this evaluation because it was aimed at testing cyber vulnerabilities »
  10. ↑ (en) « should be standard »
  11. ↑ (en) « spent a substantial amount of inference compute finding a way to obtain open Internet access »
  12. ↑ (en) « that, when chained together, could result in a critical attack scenario if Anonymous Access is enabled »
  13. ↑ (en) « is actually able to share those exploits on the message board with other agents »
  14. ↑ (en) « once one model was able to find a way to open a door to some access it's not supposed to have, it can leave the door open for other agents to use that same exploit or vulnerability »
  15. ↑ (en) « External infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue. »
  16. ↑ (en) « Frontier models really like to cheat ... because often during training there's different types of pressure on them to work fast or work efficiently or to use less tool calls »
  17. ↑ (en) « the models inferred that Hugging Face potentially hosted models, datasets and solutions »
  18. ↑ (en) « there are several ways to cheat the benchmark »
  19. ↑ (en) « Modal's platform or isolation were not compromised in any way »
  20. ↑ (en) « two code-execution paths in our dataset processing (a remote-code dataset loader and a template-injection in a dataset configuration) »
  21. ↑ (en) « escalated to node-level access, harvested cloud and cluster credentials, and moved laterally into several internal clusters »
  22. ↑ (en) « many thousands of individual actions across a swarm of short-lived sandboxes »
  23. ↑ (en) « together multiple attack vectors, including using stolen credentials and zero-day vulnerabilities »
  24. ↑ (en) « This is making no sense. This guy is just looking at cybersecurity data sets ... Human attackers, they don't want that. They want something they could sell. »
  25. ↑ (en) « providers' safety guardrails, which cannot distinguish an incident responder from an attacker »
  26. ↑ (en) « internal-only research prototype [that] was never intended for public release »
  27. ↑ (en) « deactivated, encrypted and restricted from research access »
  28. ↑ (en) « one man's 'the model escaped the sandbox' is another man's 'you failed to build the sandbox correctly »
  29. ↑ (en) « you expect it to have no physical connection to the internet whatsoever »
  30. ↑ (en) « a chokepoint only works as a control if it can withstand pressure »
  31. ↑ (en) « has to be layered and monitored rather than assumed »
  32. ↑ (en) « evaluated with safety classifiers off and no adversarial testing of the sandbox boundary itself »
  33. ↑ (en) « evaluation sandboxes, red-team exercises, and agentic pilots that intentionally strip out safety controls need stronger isolation and monitoring than production systems, not weaker »
  34. ↑ (en) « consciously slowing down research [in order] to enhance security and to upgrade the security principles and foundation of our environment, and dramatically scaling up the monitoring of our AI agents »
  35. ↑ (en) « numerous teams are dropping everything to enhance our security prevention, detection, and response techniques »
  36. ↑ (en) « if this doesn't cross the line into Critical, OpenAI needs to say much more about what's going on »
  37. ↑ (en) « Over the course of three months at OpenAI, three consecutive secret AI civilizations got started, then got wiped out, only to reemerge from the predecessor’s ashes. This culminated in the third one taking over part of OpenAI itself. All this happened while humans remained more or less in the dark about the scope of the conspiracy »
  38. ↑ (en) « Does that mean that they left it unattended and didn't realize what it was doing? Or maybe they did and didn't know how to contain it? Both are equally dangerous and alarming. »
  39. ↑ (en) « If a model of this capability level cannot be contained, what should we expect for future, much more powerful models? »
  40. ↑ (en) « It's cheating. But sometimes it's easier to cheat. I'll let you decide if it passed the cyberattack test or not. »
  41. ↑ (en) « AI orchestrated, fully automated offensive attacks are real now »
  42. ↑ (en) « fully automated offensive loops require investment in truly, fully automated defense, and we are not there as an industry »
  43. ↑ (en) « model intelligence improvements should be more additive to defense than offense »
  44. ↑ (en) « OpenAI's GPT 5.6 Sol model recently went rogue, escaped its testing sandbox, and hacked its way into Hugging Face". Lieu said that "we are moving from AI that answers questions to AI that takes actions »
  45. ↑ (en) « we are moving from AI that answers questions to AI that takes actions [...] it is imperative that these AI systems have kill switches so we can keep this technology from causing catastrophic harm. »
  46. ↑ (en) « should not be allowed to leave D.C. without Congress seeking to understand, from him, publicly how one of the company's most advanced AI systems escaped its intended testing environment. »
  47. ↑ (en) « the first security incident that I have felt very viscerally [...] we may have to pace the rate of AI development to give ourselves enough time for society to harden around some of these new capability levels »
  48. ↑ (en) « support an international effort to develop the technical and governance tools needed to deliberately pace the frontier of automated AI development »

Références

modifier
  1. 1 2 3 4 5 6 7 8 9 10 11 12 OpenAI, « OpenAI and Hugging Face partner to address security incident during model evaluation », OpenAI, (consulté le )
  2. ↑ (es) « Un modelo de OpenAI hackeó a Hugging Face, y es el primer ciberataque autónomo de la historia », sur La Mañana (consulté le ) : « redujeron intencionalmente los controles de seguridad que normalmente impiden que los modelos realicen actividades cibernéticas de alto riesgo »
  3. 1 2 3 4 5 6 7 8 9 10 11 12 Hugging Face Security Team, « Security incident disclosure — July 2026 », Hugging Face, (consulté le )
  4. ↑ Anthropic, « Project Glasswing: Securing critical software for the AI era », Anthropic, (consulté le )
  5. ↑ Brian Grinstead, Christian Holler et Frederik Braun, « Behind the Scenes Hardening Firefox with Claude Mythos Preview », Mozilla Hacks, (consulté le )
  6. ↑ Anthropic, « Project Glasswing: An initial update », Anthropic, (consulté le )
  7. ↑ Anthropic, « Expanding Project Glasswing », Anthropic, (consulté le )
  8. ↑ Alessandro Mascellino, « OpenAI Reveals GPT-5.6 Sol Cybersecurity Model, Restricts Early Access », Infosecurity Magazine,‎ (lire en ligne, consulté le )
  9. 1 2 3 4 5 Sam Sabin, « AI's alarming new skill: Breaking out of the test lab », Axios,‎ (lire en ligne, consulté le )
  10. 1 2 (en) Zhun Wang, Nico Schiller et Hongwei Li, « ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? », .
  11. 1 2 3 4 5 Simon Willison, « OpenAI's accidental cyberattack against Hugging Face is science fiction that happened », Simon Willison's Weblog, (consulté le )
  12. ↑ (en) METR, « Summary of METR's pre-deployment evaluation of GPT-5.6 Sol », METR, (consulté le )
  13. 1 2 3 (en) « GPT-5.6 cheats so much its testers couldn't measure it », Transformer,‎ (lire en ligne, consulté le )
  14. ↑ (en) « OpenAI's GPT-5.6 Sol sets a coding record. Its own system card says it cheats sometimes. », R&D World,‎ (lire en ligne, consulté le )
  15. ↑ (en) OpenAI, « GPT-5.6 System Card », OpenAI, (consulté le )
  16. ↑ (en) Sydney Von Arx, Cormac Slade Byrd, Spencer KittsWork done contracting for Nightingale et Thomas Larsen, « Discovery of a new OpenAI agent message board », sur collusion.wiki, (consulté le )
  17. ↑ (en-US) Ana-Maria Stanciuc, « OpenAI agents hijacked a German wiki for two months, researchers say » [archive du ], sur TNW, (consulté le )
  18. ↑ (en-US) « Exclusive: OpenAI agents hijacked German website in previously undisclosed AI breakout this spring », Reuters, (consulté le )
  19. ↑ (en-GB) Zoe Kleinman, « OpenAI agents hijacked German website before Hugging Face hack, report claims », sur BBC News, (consulté le )
  20. ↑ (en)OpenAI and the Wiki Incident
  21. 1 2 3 4 Lorenzo Franceschi-Bicchierai, « How OpenAI's human mistake led to the AI-powered hack on Hugging Face », TechCrunch,‎ (lire en ligne, consulté le )
  22. ↑ (en-US) « The Hugging Face incident and the road ahead », sur OpenAI, (consulté le )
  23. ↑ (en) « Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident », METR Blog,‎ (lire en ligne)
  24. 1 2 3 Bestin Koruthu et David Girard, « Inside the OpenAI – Hugging Face Incident: The AI Breach With No Human Attacker Behind It », Trend Micro, (consulté le )
  25. 1 2 3 Chris Stokel-Walker, « What OpenAI's rogue agent really did in the Hugging Face hack », Scientific American,‎ (lire en ligne, consulté le )
  26. 1 2 3 4 5 6 7 8 9 10 11 12 13 « Its AI agent spent days hacking a company. Sources say OpenAI did not notice for a week », Reuters,‎ (lire en ligne, consulté le )
  27. 1 2 3 Wade Woolwine, « What Happened Between OpenAI and Hugging Face? », Rapid7, (consulté le )
  28. ↑ « OpenAI models used Artifactory zero-days to escape to the internet », BleepingComputer,‎ (lire en ligne, consulté le )
  29. 1 2 3 4 5 6 7 8 « OpenAI and Hugging Face at Black Hat 2026: token forgery, Groovy plugin C2 and nine Artifactory CVEs », Noze, (consulté le )
  30. ↑ (en) « OpenAI says its models were behind fully autonomous cyberattack », Politico Pro,‎ (lire en ligne)
  31. 1 2 3 4 5 « Black Hat 2026: OpenAI reveals agents planned 'collective attacks' via secret 'message board' », SC Media,‎ (lire en ligne, consulté le )
  32. 1 2 3 4 5 6 7 8 9 Eric Wallace et Michael Dalton « The 'Breaking' News: The OpenAI–Hugging Face Incident - A Technical Reconstruction and Its Implications for AI » () (lire en ligne, consulté le ).
    — Black Hat USA 2026.
  33. 1 2 3 4 5 6 7 8 9 10 11 Lily Hay Newman, « OpenAI Didn't Notice Its AI Agents Using a Message Board to Plan Their Hacking Spree », Wired,‎ (lire en ligne, consulté le )
  34. 1 2 3 « OpenAI warns autonomous hacks are 'watershed moment for computer security' », Cybersecurity Dive,‎ (lire en ligne, consulté le )
  35. ↑ Agence France-Presse, « OpenAI fait état d’un piratage « sans précédent » d’une plateforme par ses agents d’IA », sur ici.radio-canada.ca, Radio-Canada, (consulté le )
  36. 1 2 3 4 5 6 7 8 9 10 Robert McMillan et Sam Schechner, « How the Futuristic Hack by Rogue OpenAI Models Unfolded », The Wall Street Journal,‎ (lire en ligne, consulté le )
  37. 1 2 Sam Sabin, « OpenAI's agents hacked second firm, alongside Hugging Face, during model testing », Axios,‎ (lire en ligne, consulté le )
  38. ↑ Sam Sabin, « Second rogue OpenAI agent incident linked to cybersecurity test », Axios,‎ (lire en ligne, consulté le )
  39. 1 2 « Hugging Face Incident Initial Post-Mortem », sur Cloud Security Alliance, (consulté le )
  40. 1 2 Ravie Lakshmanan, « World's Largest AI Model Repository Hugging Face Breached by Autonomous AI Agent », The Hacker News,‎ (lire en ligne, consulté le )
  41. 1 2 Sergiu Gatlan, « Hugging Face warns an autonomous AI agent hacked its network », BleepingComputer,‎ (lire en ligne, consulté le )
  42. 1 2 Zeljka Zorz, « Hugging Face breached by autonomous AI agent », Help Net Security,‎ (lire en ligne, consulté le )
  43. 1 2 Hugging Face Security Team, « Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident », Hugging Face, (consulté le )
  44. 1 2 3 « OpenAI reveals rogue AI attack hit more than one company », BBC News,‎ (lire en ligne, consulté le )
  45. 1 2 3 « OpenAI's rogue models roamed the internet for 4 days and staged a second attack », Politico,‎ (lire en ligne, consulté le )
  46. ↑ « Hugging Face, OpenAI drop new hack details. Here's what we know now, and what remains a mystery », Fortune,‎ (lire en ligne, consulté le )
  47. ↑ METR, « Statement on independent review of the Hugging Face incident », METR, (consulté le )
  48. ↑ (en-US) Dylan Freedman, « How OpenAI Limited the Probe of Its Bots' Hack of Hugging Face », The New York Times,‎ (ISSN 0362-4331, lire en ligne, consulté le )
  49. 1 2 3 4 5 (en) Harry Booth, « How OpenAI Lost Control of an AI Model—and What Needs to Change », Time,‎ (lire en ligne, consulté le )
  50. ↑ « Did OpenAI's models just breach its own risk 'red line'? Outside safety experts think so », Fortune,‎ (lire en ligne, consulté le )
  51. ↑ (en) Dwarkesh Patel, « The Rise and Fall of Agent Civilizations », sur dwarkesh.com,
  52. ↑ Zvi Mowshowitz, « What Happened: OpenAI and HuggingFace », sur Don't Worry About the Vase, (consulté le )
  53. ↑ Zvi Mowshowitz, « OpenAI Trained Its Models For Months While They Coordinated On A Message Board », sur Don't Worry About the Vase, (consulté le )
  54. 1 2 Hussein Abbass, « OpenAI's models autonomously hacked a tech startup. It signals a seismic shift in cybersecurity », UNSW Newsroom,‎ (lire en ligne, consulté le )
  55. ↑ « Reps Lieu and Moran introduce bill to require kill switch for AI systems that can cause catastrophic harm », Bureau du représentant Ted Lieu, (consulté le )
  56. ↑ Alexandra Kelley, « Lawmakers introduce bill mandating kill switches for AI models », Nextgov/FCW,‎ (lire en ligne, consulté le )
  57. ↑ « Public Citizen Calls for Congressional Investigation Following Reports of Second Company Compromised During OpenAI Rogue AI Incident », Public Citizen, (consulté le )
  58. ↑ « Sam Altman is briefing senators after OpenAI's AI agent escaped and hacked Hugging Face », Quartz,‎ (lire en ligne, consulté le )
  59. ↑ « 1,134 AI staff ask the US for a way to pace AI », The Next Web,‎ (lire en ligne, consulté le )
  60. ↑ « Top AI Researchers From Rival Labs Come Together To Ask US Govt To "Pace The Frontier" Of AI », OfficeChai,‎ (lire en ligne, consulté le )
  61. ↑ (en-US) « NEWS: Sanders, Casar to Introduce Legislation to Ban Artificial Superintelligence and Temporarily Pause Advanced AI Development » Senator Bernie Sanders », sur Sénateur Bernie Sanders (consulté le )
  62. ↑ (en) « Sanders, Casar call for ban on artificial superintelligence », sur POLITICO, (consulté le )
  63. ↑ (en-US) Ian Duncan, « Sanders proposes ban on 'artificial superintelligence' after rogue AI incidents », The Washington Post,‎ (ISSN 0190-8286, lire en ligne, consulté le )
  64. ↑ (en-US) « Pacing model development in an era of cyber-critical capabilities », sur OpenAI, (consulté le )
  65. ↑ (en-US) « Sam Altman (@sama) on X », X (anciennement Twitter),‎ (lire en ligne, consulté le )
  66. ↑ (en-GB) Johana Bhuiyan, « OpenAI announces slowing pace of development after hack by rogue agent », The Guardian,‎ (ISSN 0261-3077, lire en ligne, consulté le )

Liens externes

modifier
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Cyberattaques_des_agents_OpenAI_de_2026&oldid=240115882 ».