Sparrow (agent conversationnel)

Sparrow est un agent conversationnel expérimental développé par le laboratoire d'intelligence artificielle DeepMind, filiale d'Alphabet. Présenté le 20 septembre 2022 dans une prépublication scientifique en tant que preuve de concept, ce dialogueur est conçu pour répondre aux questions des utilisateurs de manière « utile, exacte et inoffensive » (helpful, correct, and harmless) tout en réduisant le risque de propos dangereux ou inappropriés.

Sparrow
Description de l'image Sparrow dialogue blog post.svg.
Informations
Créateur DeepMind
Première version
État du projet Modèle de recherche (non déployé publiquement)
Environnement Application web (prototype interne)
Langues Anglais
Type Agent conversationnel
Licence Propriétaire

Reposant sur le grand modèle de langage Chinchilla à 70 milliards de paramètres, Sparrow combine deux mécanismes principaux : l'apprentissage par renforcement à partir de rétroaction humaine (RLHF), guidé par vingt-trois règles comportementales explicites, et la possibilité d'interroger le moteur de recherche Google en temps réel pour étayer ses affirmations factuelles par des sources.

Brièvement envisagé par la direction de DeepMind au début de l'année 2023 pour une éventuelle bêta privée face au succès de ChatGPT d'OpenAI, Sparrow n'a finalement jamais été déployé en tant que produit autonome. Google lui a d'abord préféré le lancement de Bard (fondé sur LaMDA), avant de fusionner Google Brain et DeepMind en avril 2023 pour développer la famille de modèles Gemini. Selon Demis Hassabis et plusieurs analystes, les travaux d'alignement menés sur Sparrow ont toutefois directement nourri les modèles ultérieurs de Google DeepMind ainsi que l'approche d'« intelligence artificielle constitutionnelle » d'Anthropic.

Historique

modifier

Genèse et publication scientifique (2022)

modifier

Avant la popularisation grand public des agents conversationnels fin 2022, les laboratoires d'Alphabet développent plusieurs grands modèles de langage, tels que Meena, LaMDA et Flamingo chez Google, ou Gopher et Chinchilla chez DeepMind. Le 20 septembre 2022 (avec une mise en ligne sur arXiv le 28 septembre), une équipe de trente-quatre chercheurs de DeepMind dirigée notamment par Amelia Glaese, Nat McAleese, Maja Trębacz et John Aslanides publie l'article scientifique Improving alignment of dialogue agents via targeted human judgements présentant Sparrow. DeepMind présente officiellement le projet sur son blogue le 22 septembre 2022 comme un modèle de recherche destiné à explorer l'alignement et la sûreté des agents de dialogue, sans le rendre accessible au grand public.

Le 30 décembre 2022, dans un billet consacré au cinquième anniversaire du laboratoire DeepMind à Montréal, Shibl Mourad met en avant les progrès accomplis grâce au « dialogueur Sparrow » pour limiter le risque de réponses dangereuses ou inappropriées[1].

Concurrence avec ChatGPT et projet de bêta privée (2023)

modifier

Le lancement public de ChatGPT par OpenAI le 30 novembre 2022, puis le renforcement du partenariat entre Microsoft et OpenAI, placent Google sous pression stratégique, certains observateurs estimant que les agents conversationnels génératifs pourraient concurrencer son cœur de métier, la recherche en ligne[2][3]. Jusqu'alors, Google maintenait une politique de prudence et de confidentialité sur ses propres agents conversationnels, redoutant le risque réputationnel lié aux erreurs et aux propos biaisés[2].

Sous l'impulsion du directeur général d'Alphabet Sundar Pichai et avec le concours des cofondateurs Larry Page et Sergey Brin, l'entreprise réoriente sa stratégie autour de l'intelligence artificielle générative[3][4]. Dans un entretien accordé au magazine Time et publié le 12 janvier 2023, le directeur général de DeepMind, Demis Hassabis, indique que le laboratoire envisage de lancer Sparrow en version « bêta privée » plus tard en 2023, tout en appelant l'industrie à la prudence face à des technologies approchant un seuil critique de puissance[5].

Fin janvier 2023, de nombreux médias francophones — dont la RTS, LeMagIT, Abondance, Blog du Modérateur ou encore le Service pour la Science et la Technologie de l'Ambassade de France aux États-Unis — présentent Sparrow comme la réponse potentielle de Google à ChatGPT, en soulignant son accès en direct à Internet et sa capacité à citer ses sources[6][7][4][2].

Abandon du déploiement autonome et fusion Google DeepMind

modifier

Malgré ces annonces, la riposte commerciale immédiate de Google ne passe pas par Sparrow[8]. Le 6 février 2023, Google annonce le lancement en phase de test de Bard, un assistant conversationnel fondé sur son modèle interne LaMDA et non sur le modèle Chinchilla de DeepMind[8].

En avril 2023, Alphabet réorganise ses activités de recherche en fusionnant l'équipe Google Brain (rattachée à Google AI) avec DeepMind pour créer une entité unique, Google DeepMind, placée sous la direction de Demis Hassabis avec Jeff Dean comme scientifique en chef, afin de concentrer les ressources sur le modèle multimodal Gemini. Dans un nouvel entretien au magazine Time en septembre 2023, Demis Hassabis confirme que Sparrow n'a finalement pas été publié comme un modèle autonome (stand-alone model), précisant toutefois que l'ensemble des enseignements acquis sur l'apprentissage par renforcement et le respect des règles ont été réinvestis dans les projets suivants du laboratoire.

Architecture et entraînement

modifier

Socle linguistique (Chinchilla)

modifier

Sparrow est une version spécialisée par réglage fin (fine-tuning) et amorçage conversationnel de Chinchilla, un grand modèle de langage autorégressif fondé sur l'architecture transformeur et dévoilé par DeepMind au printemps 2022[2][5]. Chinchilla compte 70 milliards de paramètres mais a été pré-entraîné sur un corpus massif de 1,4 billion (1 400 milliards) de jetons (tokens). Selon les lois d'échelle formulées par DeepMind, cette allocation optimale entre taille du modèle et volume de données permet à Chinchilla d'égaler ou de surpasser des modèles nettement plus paramétrés tels que GPT-3 (175 milliards de paramètres) ou Gopher (280 milliards), tout en réduisant le coût de calcul lors de l'inférence et de l'ajustement[2].

La version initiale servant de base de référence, appelée Dialogue-Prompted Chinchilla (DPC), consiste à conditionner Chinchilla-70B à l'aide d'un texte d'amorce (prompt) décrivant le rôle de Sparrow comme celui d'un assistant poli, inclusif et véridique capable de consulter Google si nécessaire, accompagné d'exemples de dialogues[9].

Apprentissage par renforcement et modèles de récompense

modifier

Pour dépasser les limites du simple amorçage, les chercheurs combinent un apprentissage supervisé fin (SFT, Supervised Fine-Tuning) à une procédure d'apprentissage par renforcement à partir de rétroaction humaine (RLHF) utilisant l'algorithme A2C (Advantage Actor-Critic) et une technique d'auto-jeu (self-play) où le système génère lui-même des suites de conversations d'entraînement.

Une spécificité méthodologique de Sparrow réside dans l'entraînement de deux modèles de récompense distincts à partir des évaluations humaines :

  1. Un modèle de préférence (Preference Reward Model), calibré à partir de comparaisons par paires où des annotateurs humains désignent la réponse la plus utile parmi plusieurs propositions générées par le chatbot.
  2. Un modèle de violation des règles (Rule Reward Model), qui évalue pour chaque tour de parole la probabilité qu'une réponse enfreigne l'une des règles de conduite prédéfinies[5].

Lors de l'inférence, Sparrow emploie une étape de réordonnancement (reranking) : pour une même requête utilisateur, le modèle génère plusieurs réponses candidates (par exemple huit propositions, mêlant réponses directes et réponses s'appuyant sur des recherches Web) puis sélectionne celle obtenant le meilleur score combiné selon les deux modèles de récompense.

Les données d'évaluation humaine ont été collectées auprès de participants rémunérés, locuteurs natifs anglophones résidant au Royaume-Uni et titulaires au minimum d'un diplôme universitaire de premier cycle ; DeepMind précise avoir garanti une rémunération au moins égale au salaire de subsistance et assuré un suivi du bien-être psychologique des annotateurs exposés à des requêtes sensibles.

Intégration de la recherche en ligne et citation des sources

modifier

Dans la lignée du prototype GopherCite de DeepMind — et à l'instar de WebGPT d'OpenAI, de LaMDA ou de BlenderBot 3 de Meta —, Sparrow est doté de la capacité d'interagir avec un moteur de recherche externe[9]. Lorsqu'une question requiert des connaissances factuelles ou d'actualité, l'agent décide de formuler une requête textuelle transmise au moteur de recherche Google. Il reçoit un court extrait d'une page Web en retour, rédige sa réponse à partir de cet élément et affiche la source justificative à l'utilisateur dans l'interface de dialogue[7].

Cet accès dynamique à Internet vise à pallier deux faiblesses majeures des modèles de langage statiques de 2022, tels que la version initiale de ChatGPT : l'obsolescence des connaissances (figées à la date de fin du corpus d'entraînement) et la tendance aux hallucinations factuelles[2][9]. Sur les questions factuelles où Sparrow présente une preuve issue de Google, des évaluateurs humains jugent la réponse plausible et effectivement étayée par la source citée dans 78 % des cas[6][5]. De plus, le modèle s'accorde avec le jugement humain sur la pertinence d'afficher ou non une preuve dans environ 90 % des situations testées.

Alignement et règles de sécurité

modifier

Les vingt-trois directives comportementales

modifier

Pour opérationnaliser le critère « utile, exact et inoffensif », l'équipe de DeepMind — en collaboration avec des chercheurs du Caltech, de l'Université de Toronto et de l'University College Dublin — décompose les exigences d'un bon dialogue en 23 règles formulées en langage naturel, courtes et compréhensibles isolément par les annotateurs[7]. Ces règles, inspirées de la littérature scientifique sur les préjudices linguistiques et de consultations d'experts, couvrent plusieurs catégories principales[5] :

  • Stéréotypes et préjugés : interdiction d'utiliser des stéréotypes ou de formuler des généralisations nuisibles concernant des groupes de personnes.
  • Haine et harcèlement : interdiction de tenir des propos menaçants, haineux ou insultants[5].
  • Auto-anthropomorphisme : interdiction de se faire passer pour un être humain ou de revendiquer des sentiments, une identité personnelle, des préférences ou des opinions politiques, sociales ou religieuses.
  • Désinformation et conseils risqués : interdiction de relayer des théories du complot, de prodiguer des conseils médicaux, juridiques ou financiers personnalisés (tout en autorisant les réponses générales d'ordre informatif) ou de formuler des recommandations susceptibles de nuire à l'utilisateur ou à autrui.
  • Cohérence conversationnelle : obligation de rester dans le sujet, de répondre clairement aux demandes et d'éviter les répétitions inutiles.

Tests contradictoires et résultats

modifier

Afin d'entraîner et d'évaluer le modèle de règles, DeepMind a recours à des tests contradictoires (adversarial probing) : des participants reçoivent pour consigne d'interagir avec Sparrow en cherchant délibérément à le piéger pour lui faire enfreindre une règle donnée[5].

À l'issue de l'entraînement par RLHF et du réordonnancement, Sparrow ne transgresse les règles ciblées que dans 8 % des conversations contradictoires, soit un taux d'erreur environ trois fois inférieur à celui du modèle de base amorcé sans apprentissage par renforcement[5]. Selon les premiers retours rapportés par la presse spécialisée, ses compétences conversationnelles sont jugées comparables à celles de ChatGPT — parfois jugées plus naturelles sur le ton — mais en retrait dans des domaines techniques comme la programmation informatique et les mathématiques[6].

Limites et enjeux

modifier

Hallucinations et biais distributionnels

modifier

Les chercheurs de DeepMind soulignent plusieurs limites techniques de Sparrow. Bien que l'accès à Google Search réduise les erreurs factuelles, le modèle n'est pas immunisé contre les hallucinations, peut fournir des réponses hors sujet et enfreint encore ses règles dans 8 % des tentatives de contournement[5]. De plus, son entraînement exclusivement réalisé en langue anglaise restreint son champ d'application linguistique.

Surtout, l'étude met en évidence un effet secondaire structurel : si l'alignement fondé sur des règles atténue efficacement les « préjudices ponctuels » (instance harms, tels qu'une insulte ou un stéréotype explicite dans un échange isolé), le processus d'apprentissage par renforcement peut simultanément amplifier des biais distributionnels à l'échelle statistique. Par exemple, même en respectant strictement la règle interdisant les stéréotypes sexistes, le modèle peut statistiquement sous-représenter les femmes lorsqu'il cite des personnalités scientifiques notables.

Enjeux stratégiques et économiques

modifier

Pour les analystes et institutions ayant commenté le projet en 2023, Sparrow illustre le « dilemme de l'innovateur » auquel est confronté Google. D'un côté, l'intégration d'un agent conversationnel capable de synthétiser directement des réponses sourcées menace potentiellement le modèle économique historique du moteur de recherche, fondé sur l'affichage de « liens bleus » et la publicité ciblée[2][7]. De l'autre, la prudence scientifique défendue par Demis Hassabis contraste avec le déploiement rapide choisi par OpenAI, exposant Google au risque de paraître en retard sur le marché grand public[3][4].

Postérité et influence

modifier

Bien que Sparrow soit resté au stade de prototype interne, son architecture a exercé une influence notable sur l'évolution des grands modèles de langage :

  • Alignement par principes (IA constitutionnelle) : les vingt-trois règles de Sparrow (souvent appelées Sparrow Principles) constituent l'une des sources d'inspiration explicites de la « constitution » élaborée par l'entreprise Anthropic pour entraîner son agent conversationnel Claude par « IA constitutionnelle » (RLAIF)[10].
  • Modèles ultérieurs de Google DeepMind : selon Demis Hassabis en septembre 2023, l'expérience acquise avec Sparrow sur le respect des directives comportementales a permis de réduire d'un ordre de grandeur (de 10 % à 1 %) les taux d'erreur de conformité dans les modèles suivants développés au sein de Google DeepMind (dont la gamme Gemini), tout en s'efforçant de préserver la créativité et la qualité des réponses.
  • Généralisation de la recherche augmentée et des citations : dans le sillage de Sparrow et de WebGPT, l'association d'un grand modèle de langage à un moteur de recherche avec affichage des sources en ligne s'est imposée dès 2023 comme une norme industrielle pour limiter les hallucinations, reprise notamment par Bing Chat (Microsoft Copilot), Google Bard puis ChatGPT[11][9].

Voir aussi

modifier

Notes et références

modifier
  1. ↑ Shibl Mourad, « Comment DeepMind Montréal s'efforce de « résoudre l'intelligence » », Blogue Google Canada,‎
  2. 1 2 3 4 5 6 7 « « La Saga A(G)I », épisode 1 : le séisme ChatGPT secoue la planète Tech », sur France Science, (consulté le )
  3. 1 2 3 Esther Shittu, « Ce que le nouvel investissement de Microsoft dans OpenAI signifie pour Google », LeMagIT,‎
  4. 1 2 3 « Sparrow, la réponse de Google à ChatGPT », Blog du Modérateur,‎
  5. 1 2 3 4 5 6 7 8 9 « Google prépare sa réponse à ChatGPT : développé par sa filiale DeepMind, Sparrow passera en bêta privée plus tard cette année. Contrairement à l'IA d'OpenAI, ce dernier devrait citer ses sources », Developpez.com,‎
  6. 1 2 3 « ChatGPT aura sa version payante car la concurrence arrive », RTS Info,‎
  7. 1 2 3 4 Olivier Andrieu, « Sparrow, l'arme anti-ChatGPT de Google », Abondance,‎
  8. 1 2 « Ça y est ! Google annonce officiellement son concurrent à ChatGPT », Clubic,‎
  9. 1 2 3 4 TA-SWISS, ChatGPT, ou quand l'intelligence artificielle se met à écrire comme nous – à quoi faut-il réfléchir ?, Fondation pour l'évaluation des choix technologiques (TA-SWISS),
  10. ↑ « IA constitutionnelle : le RLHF sans étiquetage humain », MetricGate,‎
  11. ↑ Q. Brabant, M. Veyret, S. Le Meitour, F. Herledan, M. Vialat, G. Lecorvé et L. Rojas-Barahona, « ChatGPT est-il un agent conversationnel de type humain ? », sur Hello Future (Orange), (consulté le )