Déclaration de San-Francisco
| Nom court | DORA  |
|---|---|
| Titre | Declaration on Research Assessment |
| Énoncé de la devise | Improving how research is assessed |
| Sujet ou thème principal | évaluation de la recherche scientifique, Facteur d'impact |
| Date de publication | 13 mai 2013 |
| Incipit | There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties. |
| Site officiel | https://sfdora.org/ |
| Hashtag | sfDORA |
La Déclaration de San-Francisco sur l'évaluation de la recherche (San Francisco Declaration on Research Assessment ; DORA) ou « Déclaration de San-Francisco » est une déclaration publiée par des membres de la Société américaine de biologie cellulaire (en) et un groupe d'éditeurs de revues scientifiques. Elle remet en cause l'usage croissant du classement bibliométrique comme indicateur de qualité dans l’évaluation de la recherche et des chercheurs.
Préparée dès 2012, cette déclaration a été publiée en 2013. La DORA se présente comme une initiative de portée mondiale visant toutes les disciplines scientifiques. Toute personne physique ou morale ou institution sensible aux besoins d'amélioration de l’évaluation de la recherche scientifique peut la signer[1]. Après seulement quelques mois, en mai 2013, plus de 6 000 personnes l'avaient signé. Le nombre d'organisations scientifiques signataires est passé de 78 à 231 en moins de deux semaines[2].
La déclaration découle des conclusions d'une réunion organisée en 2012 en marge du congrès annuel de la société mentionnée ci-dessus qui portait sur le thème des citations scientifiques et de l'évaluation de la recherche scientifique, et remettait en cause l'utilisation du facteur d'impact, tel que calculé par Thomson Reuters, de plus en plus utilisé pour évaluer les chercheurs malgré sa définition et les biais qu'il implique[3],[4],[5].
Le facteur d'impact est par définition une mesure indirecte de la visibilité ou de la notoriété d'une revue et non de la qualité intrinsèque de chercheurs individuels. Selon les auteurs de la déclaration, elle souffre de biais importants. Or c'est un des critères utilisé pour l'évaluation des chercheurs et des laboratoires par certains organismes. En France, c'était le cas de l'AERES, une autorité administrative indépendante créée en 2007 pour évaluer la recherche. Le HCERES, qui remplace l'AERES depuis 2013, est par contre signataire de la DORA depuis 2021[6] ainsi que la plupart des grands organismes de recherche français (CNRS, Inria, Cirad, INSERM[7]...).
Contexte modifier
Il est naturellement difficile d'évaluer la qualité et l'impact des travaux de recherche aussi objectivement que possible, c'est-à-dire d'en faire la mesure.
L'évaluation de personnes, d'organisations, de réseaux scientifiques, et celle de leurs activités et impacts (utilité) est intrinsèquement difficile, tant pour les pairs que par des outils mathématiques ou informatiques supposés neutres et indépendants.
Avant la réunion de San-Francisco, des chercheurs se demandaient déjà quelle part l'évaluation doit accorder au critères de vulgarisation scientifique, de « valorisation de la recherche » (par les brevets ou par la mise à disposition de tous de données et solutions essentielles ?) par rapport à la notoriété d'un article supposé lié à celle de la revue dans laquelle il parait[8].
Le contexte est aussi celui de la crise de 2008 et des crises écologiques, climatiques ou géopolitiques qui appellent des analyses et réponses scientifiques alors que les budgets sont limités pour la recherche.
La publication scientifique doit aussi répondre à des critiques concernant le poids et l'influence de certains lobbys (industriels, agroalimentaires, nucléaires, etc.) qui orientent parfois les budgets et contenus de la recherche à leur profit. Les révélations de conflits d'intérêts à des haut niveaux de décision dans certaines agences de financement ou d'évaluation d'importance nationale ou européenne, par exemple, on montré que ce risque existait bien.
Parallèlement à une demande sociale d'intégrité scientifique, il existe aussi une demande pour l'ouverture des données et le libre accès aux publications, en particulier quand les études ont été pour tout ou partie financées avec de l'argent public. Ce sont des questions que les financeurs de la recherche, dont l'ANR en France, commencent à étudier de manière plus coordonnée, par exemple via le Global Research Council (en) (GRC)[9].
De larges enjeux moraux, éthiques et de justice ou financiers sont donc sous-jacents à ces débats et à la déclaration de San-Francisco.
Objectifs modifier
L'enjeu principal de la déclaration de San-Francisco (DORA) est de mettre fin à la pratique d'établir une corrélation entre le facteur d'impact d'une revue scientifique et le fond ou la qualité de la contribution individuelle d'un scientifique. Cette pratique est de plus en plus fréquente et systématique notamment en Chine, en Inde et en France, selon Joël Bockaert[10], membre de l'Académie des sciences.
Contenu modifier
Ce texte reconnait le besoin d’améliorer la façon dont les découvertes et la vulgarisation scientifique sont évaluées (en particulier par la remise en cause du facteur d’impact).
Selon cette déclaration, cette pratique (qui s'est fortement répandue depuis quelques décennies) crée des distorsions et des biais d'évaluation lors de l'appréciation de la recherche scientifique d'un scientifique, de son équipe ou de son laboratoire.
La déclaration affirme que le facteur d'impact ne doit pas être utilisée comme un substitut à la « mesure de la qualité des articles de recherche individuelle, ni en matière d'embauche, de promotion, ou de prise de décisions de financement »[4].
Le contenu de la déclaration consiste en une synthèse des résultats des discussions de la conférence de 2012, traduites en un ensemble de recommandations publiées en mai 2013[3].
Motivations sous-jacentes à la déclaration modifier
La motivation de la rencontre qui a produit cette déclaration était de rompre l'apparent consensus sur le lien entre qualité scientifique et facteurs d'impact, et de montrer que les facteurs d'impact (dans ce cas pour de nombreuses revues scientifiques spécialisées dans le domaine de la biologie cellulaire) ne reflètent pas correctement la valeur des travaux publiés dans ces revues pour la communauté scientifique du domaine de la biologie cellulaire ; ceci valant aussi pour d'autres domaines de le biologie.
Le groupe a aussi voulu discuter des façons de mieux corréler les « mesures » d'impact d'un article et d'un journal avec la qualité de la revue et des auteurs.
Il a également insisté sur une tendance qu'il juge alarmante : les auteurs citent de plus en plus des articles de revue et de moins en moins de sources primaires, ce qui induit outre une perte d'informations vérifiables par le lecteur, des biais d'interprétation. Cette tendance serait en partie due au manque d'espace imposé aux auteurs par certains journaux.
Ce « biais de citation » contribue aussi à réduire ou modifier les « indices de citation » pour des revues qui se concentrent principalement sur la « littérature primaire ». Le groupe a discuté des moyens de combattre cette tendance.
Réaction des éditeurs modifier
Certains grands éditeurs ou groupements d'éditeurs ont signé la DORA. Elsevier a déclaré adhérer à certains de ses éléments[11].
Notes et références modifier
- présentation de la DORA par le collectif "Sauvons la recherche", consulté 2013-08-27
- John Fleischman, « Impact Factor Insurrection Catches Fire with Over 6,000 Signatures and Counting », The American Society for Cell Biology,
- (en) R. Cagan, « San Francisco Declaration on Research Assessment », Disease Models & Mechanisms, (DOI 10.1242/dmm.012955, lire en ligne)
- Alberts, Bruce (2013), Impact Factor Distortions, Journal Science, volume 340, no 6134, p. 787, American Association for the Advancement of Science, May 17, 2013 ; doi=10.1126/science.1240319
- Richard Van Noorden, « Scientists join journal editors to fight impact-factor abuse », Nature News Blog, Nature Publishing Group, (lire en ligne)
- Le Hcéres signe Dora, la Déclaration de San Francisco sur l’évaluation de la recherche
- Évaluation de la recherche : le CNRS, Inria et le Cirad signent la déclaration de San Francisco,L’INSERM signe la déclaration de San Francisco !
- Sylvain Piron (2009), Nicolas Dodier (sociologue, directeur de recherches à l'INSERM et directeur d'études à l'EHESS), Penser un régime d’évaluation de la recherche scientifique 5 mai 2009
- ANR Les financeurs de la recherche mondiale se penchent sur l’open access et les questions d’intégrité,
- Cité par Sabine Casalonga, in « Faut il abandonner le facteur d'impact ? », Biofutur, p. 6, in Biotech news,
- Andrew Plume, PhD (2013), San Francisco Declaration on Research Assessment (DORA) – Elsevier’s view Elsevier supports those elements of DORA that reflect long known problems with Impact Factors, and in which we have been actively supporting a range of alternatives and best practices. Elsevier is not signing DORA in its entirety, however, as it’s not our place to advocate for positions that are primarily aimed at other partners in the research community. Mendeley is signing DORA on its own 2013-06-03 (en savoir plus)
Voir aussi modifier
Articles connexes modifier
- évaluation
- scientométrie
- bibliométrie
- Métrologie
- évaluation par les pairs
- revue scientifique
- expertise
- Appel à papiers
- Revue scientifique
- Les pré-publications : l'exemple d'arXiv
- Facteur d'impact, indice h
Bibliographie modifier
- K. Simons, « The Misused Impact Factor », Science, vol. 322, no 5899, , p. 165 (PMID 18845714, DOI 10.1126/science.1165316)
- Éric Archambault, « History of the journal impact factor: Contingencies and consequences », Scientometrics (en), vol. 79, no 3, , p. 635–649 (DOI 10.1007/s11192-007-2036-x, lire en ligne)
