Projet:Observatoire des IA/Documentation

Accueil

Règlementation

Contrôle

Documentation

Discussion du projet

Discuter la réglementation

Signaler un usage

Cf. discussion en cours, 8/10/2024 : Que documenter et comment ?.

Centrer la documentation sur la problématique des usages en lien avec Wikipédia, particulièrement les problèmes que ça peut poser. Indiquer des types généraux de pratiques.

Documentation générale

Types de technos, usages actuels, problèmes connus, questions générales de principe etc.

• examen d'une étude sur le taux d'articles concernés : "As many as 5%" of new English Wikipedia articles "contain significant AI-generated content", says paper, Tilman Bayer, Wikipedia Signpost, 10 oct. 2024. (discussion de l'article)
• Articles d'intérêt à sélectionner dans Catégorie:Intelligence artificielle pour intégration dans Catégorie:Observatoire des IA ?
• Articles à développer ou créer
  • Écriture assistée par ordinateur ? Assistant d'écriture (logiciel) ?

Détecteurs de contenus générés par IA

À faire : donner des infos sur leur fiabilité et la manière de les utiliser sur Wikipédia

• AI Detector By Copyleaks
• GPTZero (en)
• Binoculars
• Risques de pseudo-détecteurs
  • zerogpt.com pourrait être un pseudo-détecteur parasitant gptzero.me de GPTZero (en). Le site a donné un résultat absurde cf. cette discussion

Évaluation des technologies en lien avec Wikipédia

Faire des rapports sur les technos en lien avec WP. Ce qu'on a testé, les questions que ça pose.

Générateurs de texte

Grand modèle de langage en général (LLM - Large Language model)

• Biais et limites : à compléter par la manière dont les utilisateurs experts gèrent les défauts
• Types d'usages et valeur d'usage : brainstorming, textes standardisés (code, rédactionnel bureaucratique), agent conversationnel...

ChatGPT

• Wikilegal : Copyright Analysis of ChatGPT
• GPT-4 surpasses its predecessors" in writing Wikipedia-style articles about NLP concepts, but still "occasionally exhibited lapses"
• Texte standardisé : assistant correct pour du langage codé (cf. Création d'infobox), style administratif,
• Usages en rédaction de bon niveau : les pratiques ne sont pas encore bien fixées, il semblerait pour l'heure qu'un utilisateur expert puisse par exemple obtenir une bonne copie de niveau terminale en philo mais il faut maîtriser le sujet et l'outil ce qui le rend alors moins utile voire plus coûteux à utiliser que de rédiger directement, et l'usage le plus pertinent serait comme sorte de « partenaire » d'écriture avec qui échanger, y compris dans un cadre pédagogique pour améliorer des apprentissages.
• utilisation de recherches en ligne : ChatGPT explore maintenant des sites comme un moteur de recherche. Je lui ai demandé^{[source insuffisante]} dans quel contexte, réponse pour : des événements actuels ou sujets récents, des sujets peu connus ou nouveaux, de références spécifiques ou de vérification, des informations dynamiques (météo etc.). Sur une question d'actualité (attaques du 7 octobre), il m'a ainsi indiqué Bing et Human Rights Watch comme sources.
  • Test complémentaire (13/10/2024), demande de résumé d'un article simple sur des remises de prix littéraire qui contient une erreur de nom dans le titre (Avril Bernard au lieu de Bénard) mais pas dans le texte : il reprend l'erreur de nom , se trompe sur le titre de l'ouvrage qu'il nomme Le temps des cerises, glose dessus (« Le roman de Bernard, qui évoque les souvenirs d'enfance et le passage du temps... ») et ne mentionne pas les autres lauréats indiqués dans l'article. Erreur, hallucination, incomplet : fiabilité zéro ?

Perplexity AI

• test Fabius Lector : indication de sources appréciable mais aussi résultats peu satisfaisants et l'impression que ça pouvait trop utiliser Wikipédia. P.e. à la question « Leucippe était-il une femme ? », il prenait en compte une correction que j'ai faite en mai mais sans cette correction, la réponse aurait pu être fausse puisqu'il renvoie à l'article comme source. Risque de cercle référentiel.
• En version de base et sans inscription, tests sur divers sujets et problématiques : 0° Pour mémoire : réel risque de cercle référentiel. 1° Il s'agit d'un moteur de recherche associé aux LLM : j'ai trouvé certaines sources remarquablement adéquates à certains prompts (des thèses pointues). 2° Comme moteur de recherche également, il commence souvent par reconnaître sa relative difficulté à répondre avec les sources trouvées (il faut donc travailler les prompts ; changer de langue (pas testé), etc.) 3° Aucune hallucination trouvée dans les réponses, si ce n'est - je crois - l'invention de "vagueur" dans une des questions proposées en complément de la réponse. 4° Reste à voir du côté de la relecture des articles : a) demander si c'est moi qui trouve encore que c'est du charabia ou par ailleurs si c'est bien un point pertinent dans cet article. b) trouver les lacunes des articles (ou éliminer la redondance). Beaucoup d'avenir de mon côté ! TigH (discuter) 7 octobre 2024 à 19:58 (CEST)

Google Gemini

• Avertissement du chat : « Gemini peut parfois se tromper ; Gemini peut fournir des réponses inexactes ou choquantes »
• Test Fabius Lector :
  • « Leucippe était-il une femme ? » : cercle référentiel, s'appuie sur Leucippe pour le doute avec Jean-Paul Dumont et son évocation par Michèle Le Dœuff ainsi que Leucippe (fille de Galatée) pour le mythe de la femme transformée en homme ;
  • « Was Leucippus a Woman ? » : se limite à indiquer une possible confusion entre les deux Leucippe. Indique Leucippe_(fille_de_Galatée) et Stanford Encyclopedia of Philosophy comme source.

STORM AI

• STORM: AI agents role-play as "Wikipedia editors" and "experts" to create Wikipedia-like articles
  • Projet de recherche afférent sur Meta, étudiants de Stanford travaillant sur un système pouvant générer une page Wikipédia complète : Wikipedia type Articles Generated by LLM (Not for Publication on Wikipedia)
• Résumés de tests par Pa2chant.bis : Résultats ko

Microsoft Copilot

• testé par Le Chat perché

NotebookLM

• Indiqué par Jean-Christophe BENOIST pour de la synthèse de sources

Projets expérimentaux

• 3-10-2024, mentionné ici par Softenpoche : « Je teste depuis un mois une encyclo expérimentale entièrement basée sur 2IA fonctionnant en tandem : l'une s'occupe de la recherche des sources, l'autre analyse ce que la première a trouvé puis synthétise le tout et rédige un article sourcé. [...] J'utilise Perplexity couplé à Claude 3.5 Sonnet. »

Sources impactées

À coordonner avec l'observatoire des sources ?

• universitaires
  • Notes de Pa2Chant.bis
• livres
• presse