Sujet sur Discussion Projet:Aide et accueil/Flow

Hello,

Cela date un peu mais pour ceux qui se souviennent en 2019/2020 nous avons collecter des données pour mesurer l'efficacité du message d'accueil automatisé {{Bienvenue nouveau}}.

Pour un résumé rapide et les résultats : Projet:Aide et accueil/Évaluation du message d'accueil et poste externe

Le résultat en gros est que recevoir ou non le message d'accueil n'a pas d'impact mesurable comparé à ne rien recevoir du tout. Cela vaut tant pour des mesures comme le nombre de jours à éditer, le taux de nouveaux qui font une contribution... que des mesures subjectives comme les retours des nouveaux sur convivialité de l'accueil.

Bien sûr cela pose un certain nombre de questions sur ce que l'on pourrait faire de ces résultats. L'idée la plus logique serait de tester d'autres variantes du message d'accueil : a priori on a tout le code de l'étude précédente donc cela ne couterait pas grand-chose d'expérimenter avec d'autres messages.

Maintenant il faut aussi voir qu'à ma connaissance la page d'accueil du nouvel arrivant de l'équipe Croissance a elle démontré des effets positifs, hors cette page n'existait pas au moment de l'étude de notre message d'accueil. Il pourrait être intéressant d'articuler les deux par exemple en ayant un message simplifié qui renvoie vers la page d'accueil.

En tout cas vos retours/idées sont les bienvenues.

Pour info j'ai aussi posté sur le bistro.

Hello Binabik et merci pour le suivi. Eh bien, au moins, on sait, d'après ces résultats, qu'il est inutile de trop se casser la tête sur le contenu ou l'apparence du message de bienvenue en pdd.

Bonjour, il me semble qu'il manque une donnée importante dans ce test : que le message de bienvenue soit lu ou non n'est pas évalué.

Dans le compte rendu, il est écrit : « Lorsque nous avons envoyé des messages aux comptes, nous les avons envoyés aux nouveaux contributeurs des groupes de test 1 et 2 dans les 3 minutes suivant leur inscription (le même délai que celui utilisé par Wikipédia en français avant cette étude) ». Nous avons ensuite observé leurs contributions à Wikipédia au cours des douze semaines suivantes et leur avons demandé de répondre à une enquête (détails ici). » Plus loin, il est précisé : « nous présentons une estimation de « l’intention de traiter » examinant l’effet de l’affectation d’un nouvel arrivant à son groupe plutôt que la réception effective du message. »

Un autre dispositif de test devrait d'abord garantir que le message de bienvenue est lu. On peut imaginer que dès l'inscription, toute personne inscrite soit immédiatement redirigée vers sa PdD dans laquelle le message de bienvenue serait affiché.

D'autre part, dans les conclusions du compte rendu, on peut lire cette alerte : « [l]es messages sur les pages de discussion s’avèrent être un mauvais moyen d’atteindre les nouveaux contributeurs, même si les contributeurs expérimentés y répondent bien. Bien que Wikipédia ne fournisse pas de données sur le nombre de personnes consultant une page, les résultats de notre enquête nous amènent à penser que très peu de personnes qui enregistrent un compte Wikipédia lisent ensuite les messages qu’elles reçoivent. »

Je pense qu'une analyse qualitative des messages aux mentors pourrait permettre de s'apercevoir qu'il y a plutôt une incompréhension sur ce que signifie la bonne volonté participative dans un projet tel que WP. J'ai parcouru plusieurs de ces messages ; nombreux sont du genre « Comment faire pour créer un profil ? » ou « Comment créer la page de mon entreprise, de mon footballeur préféré, de ma boulangère, etc ? »

Bonjour

Merci @Binabik d'avoir eu le courage d'aller jusqu'au bout ! Et désolé de ne plus avoir pris de temps pour te seconder, mais ce projet a été trèèèèès long.

De plus, j'avais fait remonter à l'équipe de test ce que @ContributorQ relève également : ne pas savoir si la PDD était visitée allait fausser les chiffres. Qu'importe la configuration dans ce test (contrôle, message, message + bouton), si le message n'est pas lu, alors les chiffres de rétention seront à prendre avec de grosses pincettes. Cela n'a pas été pris en compte, vu que le test était fini. Tant pis, et dommage !

+1 concernant le fait d'aligner le message d'accueil avec la page d'accueil des novices. Nous avons déjà {{mentor}} pour faire cela. :)

Et il faudrait mettre en avant les remerciements laissés aux newbies. L'étude en parle : c'est bien plus efficace pour les faire revenir.