Utilisateur:Nanoyo88/testIA
Prise de notes IA
Depuis la création de cette sous-page, l'usage de l'IA a explosé. Le risque de son usage se résume en une phrase : inutile de maîtriser l'IA sans maîtriser les règles de Wikipédia. En effet, la vérification humaine dépend de ce dernier point et, actuellement, c'est indispensable. Voir WP:IA.
Principe
modifierJ'ai effectué des tests que j'ai placé ici, je les préserve pour l'historique. Par la suite, l'Observatoire des IA est apparu et cette page n'avait plus de raison d'être. Aujourd'hui, je teste encore régulièrement plusieurs LLM gratuit (pour être en condition d'accès minimale) afin de déterminer si elles dépassent ou non leurs limites.
Test 2023-2024 (obsolètes)
modifierTraduction
Le travail s'effectue depuis l'outil de traduction wikipedia afin d'avoir un résumé de modification de traduction automatique. Si l'outil permettait un passage en code source, il serait possible d'indiquer à Chatgpt de comparer la traduction proposée, de l'améliorer et ce en préservant le code source automatiquement traduit. Impossible en l'état.
Demande initiale : "Tu es un traducteur vers le français pour Wikipédia et tu m'assistes dans mon travail. Traduis ce texte en Français et reformule le au présent". L'ensemble de l'article anglais lui est dès lors proposé. Mon travail est dès lors de relire la traduction et remettre les liens internes perdus, différents éléments de code, références, liens linguistiques, etc. Résultat concret de 25 minutes de travail : .
Des traductions automatiques bâclées demandent environ 10 minutes d'adaptation du texte pour "forcer" la traduction. Une traduction automatique légèrement relue de cette taille demande 20 minutes environ. Une traduction convenablement relue de cette taille demandera environ 45 minutes. (D'expérience 1000 octets = entre 5 et 10 minutes).
Les problèmes qui persistent au niveau du code source trouvent racine dans l'absence de code source disponible dans l'outil de traduction, et non dans l'intervention de chatgpt.
Autres tests identiques
Aborigines’ Protection Society : Test identique. Ici encore, en l'absence de code source, beaucoup de temps perdu. De plus, la limite de texte à proposer à chatgpt fait que l'article se fait morceau par morceau, et il faut rappeler parfois de mettre "au présent". Les problèmes posttrad sont relatifs à l'outil de traduction wikipédia encore une fois. La traduction proposée par chatgpt est perfectible en lui indiquant de ne pas traduire le nom des associations et des publications. Ca n'a pas été fait car chatgpt oublie ce genre d'instruction dès la seconde itération de texte. Temps passé : 35 minutes pour 22.000 octets (17900 après correctifs posttrad)
Société ethnologique de Londres : Même méthode que ci-dessus. Le plus long, c'est ce qui relève du code wikipedia. Temps : 40 minutes - 27.000 octets. Résultat :
Harry Edward Arnhold : idem, mais ici ça a été peu efficace car la rédaction en anglais n'était pas forcément bonne non plus. 25 minutes - 12.000 octets
Améliorations de fond
Rédaction de RI
Sur base d'un article de base qui lui est transmis, demande de fournir un résumé introductif de 600 mots. Précision sur le type de texte, l'objet encyclopédique. Ensuite, demande de réduire de moitié et passer le temps verbal au présent.
Résultat en 5 minutes.
Intégration d'une source par comparaison
L'article possède un lien ODNB. Il a été proposé à Chatgpt de comparer le contenu de l'article traduis et le contenu ODNB afin d'insérer ce qu'il manque. La demande aurait pu être améliorée, mais elle a été faite comme suit : "Tu es un expert Wikipédia. Compare les deux textes que je vais te fournir et indique moi les paragraphe dans le second texte qui contiennent des informations inexistantes dans le premier." Puis dans un second temps "Réécris les paragraphes concernés au temps présent, avec 20% de mots en moins, en préservant les informations les plus pertinentes"
Même méthode que précédemment + intégration de sources supplémentaire. La demande est qu'il tienne compte de tous les textes précédemment fournis afin d'identifier les informations supplémentaires sur le sujet que présente la nouvelle source. D'indiquer si rien ne semble pertinent. Ensuite, de les formuler en un paragraphe neutre et encyclopédique de 200 mots.
Résultat en 10 à 15 minutes au total.
Intégration d'une source de type liste
Dans le cas de Felipe Gonzalez, plusieurs sources fournissaient des données centrées sur l'île de Pâques en Espagnol. Une source fournissait un listing biographique assez complet mais pas du tout mis en forme convenablement. De plus, elle est en espagnol et je ne maitrise pas l'espagnol.
Essais ratés : "Transforme les informations ci-dessous en texte encyclopédique français au temps présent". Chatgpt me renvoie le contenu copié et traduis sans reformulation. Ma demande était donc imprécise sur ce point. Je lui demande donc de "Reformuler le tout en un texte reprenant les informations les plus importantes". Il m'offre alors un résumé de 9 lignes, j'en déduis qu'il a compris que je demandais un résumé. Encore une fois ma demande était imprécise.
Je reformule la demande complètement : "Réinitialise mes précédentes demandes. Tu es un expert Wikipedia. Sur base de ce texte, crée une biographie écrite au temps présent avec les informations les plus importantes. N'invente rien et ne commet pas d'hallucinations numérique. Le texte doit faire au moins 600 mots"
Le texte fourni correspond parfaitement à ma demande. Mon travail consiste dès lors à insérer, mettre en forme, mettre des liens. Il est tout à fait possible de demander à chatgpt de suggérer une structure à l'article, mais je n'ai jamais été convaincu jusqu'ici.
Assistant de source ?
Les différents essais effectués sur les sources n'ont jamais offert de bons résultats. Je vais tenter d'encadrer une demande groupée en interdisant à chatgpt d'inventer une source. Dans la demande, j'ai mis l'accent sur la précision et l'importance de la qualité des sources. Je lui ai également indiqué qu'il est probable qu'il ne trouve pas de source pour certains sujets et qu'il doit uniquement me faire part de références de haute qualité et haute fiabilité. Afin d'atteindre cet objectif, j'ai même demandé à chatgpt s'il a besoin d'informations complémentaires. C'est là que c'est devenu intéressant puisqu'il m'a demandé d'affiner par catégorie afin qu'il soit en mesure de fournir quelque chose de pertinent. J'ai donc précisé la recherche sur les articles sans sources étant liés au portail musique. Au total, 198 sujets. J'ai été très étonné que, pour la première fois, chatgpt m'indique prendre en compte la demande et avoir besoin de temps pour identifier des sources pour chacun des sujets. En attente de résultat, donc.
Conseils
Combien de mots demander ?
Lorsque vous demander une tâche à chatgpt avec une quantité de mot, c'est à vous de déterminer la pertinence du contenu du texte à traiter. Pour une pertinence très élevée qu'il faut reformuler, visez environ la moitié (ex Felipe Gonzalez, la nouvelle source = 1366 mots, j'ai visé 600 mots). Pour une information que vous ne voulez résumer qu'à un paragraphe : entre 100 et 300 mots. Par habitude, je demande 200.
Constatations et avis
Concernant les traduction, le gain de temps n'est pas forcément l'argument principal. C'est plutôt l'optimisation qualité/temps investi. Mes traductions assistées par chatgpt sont TOUTES meilleures que lorsque je le fais en solo. Elles ne sont pas sans défaut, mais elles réduisent significativement le temps de travail que cela peut représenter aux relecteurs, ce qui est donc un argument collaboratif fort. Dans un monde idéal, l'outil de traduction wikipédia exploite chatgpt pour sa traduction automatique plutôt que le traducteur actuel. Ca permettrait d'avoir également une prise en charge des codes sources. Mais là, le débat est ouvert car cela ouvre la voie à une gigantesque quantité de données traduites avec toujours aussi peu de contributeurs capables d'éponger les dégâts en cas de vandalisme.
Concernant l'intégration de sources, l'outil est extrêmement utile de par sa capacité à prendre en charge de nombreuses langues. Il devient incertain pour les dialectes rares, mais si on le conditionne, il signalera lorsque ses limites sont atteintes. Il permet de réduire le temps de lecture bien entendu, mais aussi le temps de synthèse. En lui donnant le bon ton à adopter et les bonnes directives, l'outil est très fonctionnel. Je pense que tout l'enjeu de l'utilisation de l'outil, c'est de partager ces connaissances afin de s'entraider mutuellement à identifier les meilleures formulations pour répondre aux demandes.
Prise en charge du wikicode ?
Malheureusement, il ne comprend toujours pas la demande pour les balises ref. C'est une demi réussite. Je lui ai indiqué son erreur et il est passé en mode code, peu pratique.Je vais te fournir un texte avec du wikicode. Tu dois me renvoyer un texte qui préserve l'ensemble de ces codes. Les instructions sont de corriger d'éventuelles erreurs de compréhension car il s'agit d'un texte traduit automatiquement de l'anglais vers le français. Deuxièmement, tu dois supprimer les espaces superflus. Troisièmement, tu dois passer tous les verbes au temps présent. Quatrièmement, tu dois déplacer toutes les références avant la ponctuation. Tu peux identifier ces références car elles utilisent soit la balise SFN, soit la balise REF. L'intégralité de la référence et du contenu qui se trouve entre deux balises <refname=...> et </ref> doit faire l'objet de ce déplacement.
Test 2025-2026
modifierEn 2026, la variété de LLM permet d'obtenir des résultats variés. Ils peuvent aider à identifier des sources mais n'aideront pas à vérifier si elles sont fiables. Les éléments de vérification de fond sont toujours problématiques.
Si on présente un cadre strict au LLM, notamment exiger de ne travailler qu'à partir d'un document ou texte fourni (dès que ça dépasse plusieurs pages, ça déconne), il parvient à être utile. Mais il fait toujours du cherry picking.
Pour le wikicode et l'aide à la mise en forme, les LLM peuvent être très utiles, mais ils tendent toujours à créer quelques artéfacts nuisibles. Il faut toujours vérifier et repasser derrière.
L'IA est aujourd'hui un véritable piège pour tout nouveau contributeur, mais c'est aussi une nouvelle porte d'accès. Je me demande s'il ne faudrait pas créer un module "checklist" pour la vérification humaine par un créateur d'article généré par IA qui serait récupérable. (Genre pas du genAI promotionnel)