Humanity's Last Exam

Humanity's Last Exam (HLE) est un test de performance pour l’évaluation des modèles de langage composée de 2 500 questions couvrant un large éventail de sujets. Il est créé conjointement par le Center for AI Safety et Scale AI et dévoilé publiquement le 28 janvier 2026.

Création

Le rapport annuel 2025 de l'IA Index de l'Institute for Human-Centered Artificial Intelligence (HAI) de l'université Stanford cite Humanity's Last Exam comme l'un des « épreuves de référence les plus difficiles » développés en réponse aux épreuves d'IA populaires ayant atteint un « plafond ». Le test est décrit comme le fruit de l'imagination de Dan Hendrycks, chercheur en apprentissage automatique et directeur du Center for AI Safety, qui déclare avoir été inspiré pour créer le test après une conversation avec Elon Musk, qui pensait que les épreuves de modèles de langage existants, tels que le MMLU, étaient trop faciles. Hendrycks travaille avec Scale AI pour compiler les questions.

Les questions sont collectées auprès d'experts en la matière de diverses institutions à travers le monde. Elles sont d'abord filtrées par les principaux modèles d'IA ; si les modèles ne parviennent pas à y répondre ou font pire que deviner au hasard pour les questions à choix multiples, ils sont examinés par des experts humains en deux tours et approuvés pour être inclus dans l'ensemble de données. Les auteurs des questions les mieux notées reçoivent un prix d'un montant de 500 000 dollars américains : 5 000 $ pour chacune des 50 meilleures questions et 500 $ pour les 500 suivantes.

Après la publication initiale dans la revue Nature, le 28 janvier 2026, un programme de récompenses aux bugs, basé sur les commentaires de la communauté, est lancé pour identifier et supprimer les erreurs majeures dans l'ensemble de données.

Composition

Le test comprend 2 500 questions, classées selon les principales disciplines suivantes :

• mathématiques (41 %),
• physique (9 %),
• biologie/médecine (11 %),
• sciences humaines/sociales (9 %),
• informatique/intelligence artificielle (10 %),
• ingénierie (4 %),
• chimie (7 %)
• et autres (9 %).

Environ 14 % des questions requièrent la compréhension de textes et d’images, ce qui exige une capacité multimodale des modèles. 24 % des questions sont à choix multiples ; les autres sont des questions à réponse courte et à correspondance exacte. Un ensemble privé est également maintenu pour tester le surapprentissage du test .

Un exemple de question :

« Les colibris (Apodiformes) possèdent de manière unique un os ovale bilatéralement apparié, un sésamoïde enchâssé dans la partie caudolatérale de l’aponévrose cruciforme élargie d’insertion du m. depressor caudae. Combien de tendons appariés sont soutenus par cet os sésamoïde ? Répondez par un nombre. »

Résultats

Performances de différents modèles sur l'épreuve

Source : Scale AI, 5 juin 2025.

Organisation	Modèle	Précision (%) ↑	Erreur d'étalonnage (%) ↓
Google DeepMind	Aperçu de Gemini 2.5 Pro (06-05)	21,64	72
OpenAI	o3 (élevé)	20,32	34
Anthropic	Claude Opus 4	10,72	73
Meta AI	Llama 4 Maverick	5,68	83
Mistral AI	Mistral Medium 3	4,52	77
Amazon Web Services	Nova Pro	4,40	80

Performances de divers modèles non multimodaux sur le sous-ensemble textuel de l'épreuve

Source : Scale AI, 3 juin 2025.

Organisation	Modèle	Précision (%) ↑	Erreur d'étalonnage (%) ↓
DeepSeek	DeepSeek-R1-0528	14,04	78
OpenAI	o3-mini (élevé)	13,37	80
Alibaba Cloud	Qwen3-235B-A22B	11,75	74
Amazon Web Services	Nova Micro	4,41	84

Voir aussi

Références

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Humanity's Last Exam » (voir la liste des auteurs).

Articles connexes

• Grand modèle de langage

Liens externes

• Le dernier examen de l'humanité au Center for AI Safety
• Le dernier examen de l'humanité à Scale AI
• Les 2500 questions du Dernier examen de l'humanité sur le site Hugging Face