Les mesures alternatives pour l’évaluation de la recherche

by | 3 June 2022 | French, Observations, Observations and Responses | 0 comments

Collection of social media logos
https://doi.org/10.25547/C7DE-C721

Read this in English

Ce observation a été écrit par Caroline Winter, avec remerciements à Mike Taylor pour ses commentaires et contribution.

En bref:

Titre Les mesures alternatives pour l’évaluation de la recherche
Créateur  
Date de publication  
Mots clés évaluation de la recherche, infrastructure ouverte, communication savante

Ces dernières années, de nombreux appels ont été lancés pour modifier les politiques d’évaluation de la recherche afin de moins se compter sur les mesures de citation au niveau des revues telles que le Journal Impact Factor (JIF), y compris deux initiatives internationales clés. Le San Francisco Declaration on Research Assessment (DORA), élaborée lors de la réunion annuelle de l’American Society for Cell Biology en 2012, appelle à l’utilisation de mesures au niveau de l’article, à une plus grande transparence dans les politiques et procédures d’évaluation de la recherche et à la prise en compte de tous les types des résultats de la recherche, pas seulement des articles de revues.

Le Leiden Manifesto, rédigé par Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke et Ismael Rafols et publié dans Nature en 2015, attire l’attention sur le problème de l’évaluation de la recherche – au niveau de l’individu, de la revue et du institution – repose de plus en plus sur des mesures qui sont souvent appliquées et interprétées de manière inappropriée. Il présente dix principes pour guider la politique d’évaluation de la recherche à tous les niveaux, soulignant que les mesures quantitatives et les mesures qualitatives doivent être utilisées en combinaison pour produire une évaluation de la recherche bien informée et pleinement contextualisée.

De nombreux membres de la communauté universitaire ont proposé l’utilisation de mesures alternatives ou « altmetrics » parallèlement aux mesures de citation pour quantifier l’impact de la recherche de manière plus nuancée. Dans leur étude sur l’utilisation des mesures dans l’examen du rendement, la promotion et la titularisation, par exemple, Stacy Konkiel, Cassidy Sugimoto et Sierra Williams (2016) notent que les mesures alternatives peuvent fournir une image plus complète de la façon dont la recherche est utilisée par des groupes extérieurs à l’académie, tels que les décideurs politiques et le public, y compris les résultats de recherche autres que les articles de revues, tels que le code, les rapports, les jeux de données et les logiciels. Ils notent, faisant écho aux préoccupations de la communauté universitaire au sens large, que les mesures quantitatives ne peuvent à elles seules donner une image complète de l’impact de la recherche.

À propos des mesures alternatives

Contrairement aux mesures de citation qui retracent les citations de publications savantes formelles – principalement des articles de revues – dans d’autres publications savantes formelles, les données des mesures alternatives retracent diverses formes d’engagement avec de nombreux types de productions savants, non seulement des articles et des monographies, mais aussi des jeux de données, du code et des ressources pédagogiques.

Comme le soulignent Jason Priem, Dario Taraborelli, Paul Groth et Cameron Neylon dans Altmetrics : A Manifesto (2010), étant donné qu’une grande partie du discours universitaire et public se déroule désormais en ligne, il est possible de recueillir des données sur les formes d’engagement dans la recherche universitaire qui ne pouvaient pas être capturés ou mesurés auparavant. Ce manifeste note que, contrairement aux des comptes de citations qui évoluent lentement, sont relativement étroits et manquent souvent de transparence, les mesures alternatives évoluent rapidement et reflètent la diversité de l’écosystème de la communication savante en examinant les résultats au-delà des publications savantes formelles.

« Des mesures alternatives » ou « altmetrics » est un terme générique qui fait référence à une variété de mesures mesurant de nombreux types d’engagement, en s’appuyant sur les domaines de la bibliométrie, de la scientométrie et de la webométrie (Taylor 2020). Ces types d’engagement sont souvent classés comme suit :

  • Utilisation : téléchargements, vues
  • Enregistrement : signets, sauvegardes, partages
  • Mentions : dans les blogs, articles de presse, Wikipédia
  • Médias sociaux : partages et likes sur Facebook, Instagram, LinkedIn, Pinterest, Twitter
  • Citations : dans des ressources scientifiques, des bases de données, ainsi que des rapports, des brevets, des politiques et d’autres formes de littérature grise (King et Thuna 2013 ; Tananbaum 2013)

Les données des mesures alternatives sont générées à l’aide d’interfaces de programmes d’applications (API), qui collectent des données sur l’utilisation, les captures, les mentions, etc., à partir de diverses sources :

Les données peuvent être collectées pour la recherche seulement avec un identifiant pérenne (PID), tel qu’un DOI, et seulement lorsque ce PID est utilisé (voir « Le « Persistent Identifier (PID) Consortium » de Royaume-Uni » et « Mise à jour ORCID : Intégration des identifiants ORCID dans les workflows de financement de la recherche »). Cela signifie que les informations pour les livres, chapitres de livres et autres ressources qui n’ont pas de DOI ou d’autres PID ne peuvent pas être collectées (voir Taylor 2020).

Alors que les mesures alternatives ont gagné en popularité au cours de la dernière décennie, de nombreux outils et services ont été développés pour collecter, analyser et partager les données. Bien que le paysage évolue rapidement, au moment de la rédaction de cet observation, certains des outils des mesures alternatives dédiés et des services les plus largement utilisés sont les suivants :

Altmetrics et politique

L’Austrian Transition to Open Access 2 (AT2OA2), une initiative nationale visant à transformer les publications de recherche en libre accès, s’associe à Altmetric pour étudier l’effet du libre accès sur la visibilité des publications utilisant des mesures alternatives. Cela semble être la première instance des mesures alternatives utilisée dans un programme national d’évaluation de la recherche (Jour 2021).

En plus de leur pertinence pour les changements dans la politique d’évaluation de la recherche, les mesures alternatives rendent également visible l’impact de la recherche sur l’élaboration des politiques. Altmetric, par exemple, collecte des données à partir de documents politiques, et son fondateur, Euan Adie, a fondé la base de données politiques Overton en 2019 qui permet de retracer les références aux publications savantes dans divers types de documents politiques, à différents niveaux de granularité, y compris par discipline et domaine. Une analyse a révélé, par exemple, que le plus grand nombre de citations de recherche dans le corpus d’Overton concernait la recherche en sciences sociales et humaines (Szomszor et Adie 2022).

Des mesures alternatives pour l’évaluation de la recherche dans la presse

Dans un article publié dans Science, Jeffrey Brainard (2022) explore l’utilisation de Twitter par les chercheurs et les chercheuses pour partager des recherches sur le COVID-19 (voir « Science Ouverte et COVID-19 »). Il note que, bien que les preuves soient encore mitigées reliant les données des mesures alternatives aux pratiques de citation, cela démontre l’intérêt et l’engagement du public dans la recherche.

Un article dans Forbes par Alex Zhavoronkov (2022) se concentre sur l’attention plutôt que sur l’impact de la recherche, s’appuyant sur une discussion de scientifiques célèbres. Il comprend une déclaration de Kathy Christian d’Altmetric selon laquelle les chercheurs et les chercheuses devraient viser à atteindre les publics qui seraient les plus intéressés par leur travail plutôt que d’essayer d’augmenter leur score Altmetric pour son propre bien.

Les mesures alternatives et l’évaluation de la recherche ont également été couverts dans la presse universitaire, comme dans le Chronicle : un article de 2013 décrit les expériences d’un chercheur visant à inclure ces données dans son dossier de titularisation, et un entretien avec Jason Priem de 2016 explique comment le paysage des mesures alternatives a changé depuis leur introduction. Un article de 2017 dans Research Information exprime un optimisme prudent quant aux possibilités offertes par les métriques alternatives et souligne que, ayant appris comment les métriques peuvent être utilisées à mauvais escient, les fournisseurs de métriques alternatives, les bibliothécaires et d’autres membres de la communauté de la recherche reconnaissent l’importance de l’éducation et de la formation sur la signification des métriques et comment elles doivent être interprétées.

Réponses de la communauté INKE

Les mesures d’impact alternatives est depuis longtemps un sujet d’intérêt pour les membres de la communauté INKE. En 2013, l’Association des bibliothèques de recherche du Canada (ABRC) a publié Les mesures d’impact alternatives : mise en contexte, une introduction destinée aux chercheurs et chercheuses décrivant les principes de base de ces mesures et certains outils et services pertinents (King et Thuna).

En 2019, le Public Knowledge Project (PKP) a annoncé le lancement de Paperbuzz, un plugin ouvert pour Open Journal Systems (OJS) qui utilise les données de l’organisation à but non lucratif Crossref, construite en partenariat avec Impactstory. Impactstory est un outil des mesures d’impact alternatives source ouvert développé par OurResearch, l’organisation à but non lucratif qui a créé Unpaywall.

Une étude de Paul Arthur et Lydia Hearn (2021) met en évidence les relations entre des mesures alternatives et politique, notant que ces mesures permettent d’évaluer les types d’impacts mis en avant dans des politiques telles que le Research Evaluation Framework au Royaume-Uni et le Crowdsourcing and Citizen Science Act (2016) aux États-Unis. Arthur et Hearn notent que l’environnement politique se dirige vers développer des moyens plus ouverts et congruents pour les universités de remodeler leur évaluation de l’impact de la recherche, mais des obstacles subsistent. Certains de ces obstacles incluent le manque de données de qualité (données dynamiques agrégées à partir de sources complexes et hétérogènes) ainsi que la dépendance à l’égard d’outils commerciaux et de sources de données. L’incomplétude des ensembles de données disponibles est une autre préoccupation, car seuls les résultats de recherche qui ont des PID peuvent être suivis, et les données ne sont collectées qu’à partir de certaines plateformes en ligne. Arthur et Hearn soulignent également que les mesures alternatives ne mesurent que le flux d’informations dans la sphère en ligne ; ils ne saisissent pas le flux d’informations dans les deux sens qui constitue un véritable engagement communautaire.

Le Social Media Engine, dirigé par Luis Meneses avec CO.SHS, fournit un cas d’utilisation pour optimiser des données de mesures d’impact alternatives pour un plus grand impact de la recherche. Il génère une liste de sujets à partir du corpus de publications d’Érudit en sciences humaines et sociales, tweete des liens vers des publications en libre accès liées à des sujets abordés sur les médias sociaux et surveille les données d’Altmetric pour identifier les publications tendances (Meneses et al. 2019).

Réponses de la communauté universitaire élargie

En 2013, SPARC a publié une introduction sur les mesures au niveau de l’article qui clarifie en quoi elles se distinguent des mesures alternatives et discute de leurs possibilités et limites.

Les mesures d’impact alternatives et l’évaluation de la recherche sont également une question d’intérêt pour la Commission européenne, qui a créé un groupe d’experts sur l’Altmetrics en 2016. Son rapport Next Generation Metrics: Responsible Metrics and Evaluation for Open Science (2017) souligne que les métriques auront un rôle clé dans faire progresser l’érudition ouverte, mais que les mesures nouvelles et existantes doivent être utilisées de manière responsable et transparente. Il fait référence à des initiatives récentes visant à explorer les défis associés à l’utilisation de métriques, notamment DORA et le Leiden Manifesto. Il fait également référence au mouvement néerlandais Science in Transition, fondé en 2013, qui se concentre sur l’amélioration de la reproductibilité et de la qualité globale de la recherche scientifique, et à The Metric Tide, un rapport de 2015 sur le rôle des mesures dans l’évaluation de la recherche au Royaume-Uni.

Le ScholCommLab a un courant de recherche dédié au mesures alternatives et à l’impact sociétal, et ses nombreuses publications connexes traitent de questions telles que les mesures des médias sociaux, les mesures alternatives et les modèles de citations, ainsi que le rôle des mesures dans les politiques d’examen, de promotion et de titularisation.

Mesures pour l’évaluation de la recherche et la science ouvertes

Les mesures d’impact alternatives a un rôle clé à jouer dans l’avancement de la science ouverte dans le cadre de l’infrastructure numérique sur laquelle la science ouverte est construite. Par exemple, ces mesures peut améliorer la compréhension des avantages de la publication libre accès : Michael Taylor a trouvé que les articles, livres et chapitres de livres en libre accès ont tendance à recevoir davantage d’attention en ligne que les altmetrics captent (2020).

Dans son exposé sur les services de bibliothèque et les mesures alternatives pour la science ouverte, David Walters (2015) affirme qu’ils ont une relation réciproque : les liens sont plus susceptibles d’être partagés lorsqu’ils mènent à un contenu ouvert plutôt qu’à des murs payants, par exemple, et les recherches partagées sur les réseaux sociaux ont tendance à être citées plus souvent. Il note que les bibliothèques sont des moteurs clés du changement culturel nécessaire pour faire progresser la science ouverte, notamment grâce à leur adoption d’innovations telles que les mesures alternatives.

Les mesures alternatives offre des incitations à faire la science ouverte. Dans un contexte institutionnel, leur inclusion dans les politiques et processus d’examen, de promotion et de titularisation permettrait de mieux reconnaître les diverses formes de résultats de recherche produits par les chercheurs et les chercheuses, et leur impact au-delà de la communauté universitaire (voir « Le Projet « Review, Promotion, and Tenure » à ScholCommLab »). Cela contribuerait également à susciter un changement culturel vers la valorisation de ces formes de résultats et d’impacts (voir Miedema et al. 2018).

L’un des points soulevés dans le Mutual Learning Exercise (MLE) on Open Science – Altmetrics and Rewards européen était que l’élan conduisant à l’adoption des mesures alternatives indique le changement en cours dans la façon dont l’impact de la recherche est évalué, s’éloignant d’une compréhension plus insulaire de l’impact au sein du communauté de recherche à une qui met en avant l’impact sociétal dans un contexte politique international (Miedema et al. 2018).

En plus du danger que les mesures alternatives soient mal utilisés comme mesures de citations, la dépendance de la communauté universitaire à l’égard des éditeurs commerciaux pour les données et l’analyse ces données a été citée comme un obstacle à la science ouverte (Haustein; Konkiel et al. 2014). Les mesures ouvertes et transparentes sont une composante essentielle de l’écosystème de la science ouverte, comme le souligne le rapport Metric Tide (Wilsdon et al. 2015).

Le rapport MLE de Frank Miedema et al. souligne aussi qu’il est trés difficile pour les chercheurs et les chercheuses d’adopter les pratiques de la science ouverte sans une changement institutionnel profonde des structures qui régissent leurs travaux, s’inclus des structures d’évaluation. Alors que le paysage des mesures de recherche continue de se développer, les discussions sur les mesures alternatives et leur rôle dans l’évaluation de la recherche et d’autres politiques connexes ouvrent des questions plus larges sur la façon de définir et de mesurer l’impact de la recherche, quels types d’impact sont plus valorisés, et même le rôle de la recherche dans société.

Ouvrages citées

Arthur, Paul Longley, et Lydia Hearn. 2021. « Reshaping How Universities Can Evaluate the Research Impact of Open Humanities for Societal Benefit. » The Journal of Electronic Publishing 24 (1). https://doi.org/10.3998/jep.788.

Brainard, Jeffrey. 2022. « Riding the Twitter Wave. » Science, 24 mars 2022. https://www.science.org/content/article/twitter-transformed-science-communication-pandemic-will-last.

Direction générale de la recherche et de l’innovation (Commission européenne), James Wilsdon, Judit Bar-Ilan, Robert Frodeman, Elisabeth Lex, Isabella Peters, et Pauls Wouters. 2017. Next-Generation Metrics: Responsible Metrics and Evaluation for Open Science. L’Office des publications de l’Union européenne. https://data.europa.eu/doi/10.2777/337729.

Day, Laura. 2021. « Altmetric Partners with Austria’s National Open Access Transformation Initiative. » Altmetric News (blog). 22 novembre 2021. https://www.altmetric.com/news/altmetric-partners-with-austrias-national-open-access-transformation-initiative/.

DORA (San Francisco Declaration on Research Assessment). s.d. « Read the Declaration. » https://sfdora.org/read/.

Haustein, Stefanie. 2016. « Grand Challenges in Altmetrics: Heterogeneity, Data Quality and Dependencies. » Scientometrics 108 (1): 413–23. https://doi.org/10.1007/s11192-016-1910-9.

Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah de Rijcke, et Ismael Rafols. 2015. « Bibliometrics: The Leiden Manifesto for Research Metrics. » Nature 520 (7548): 429–31. https://doi.org/www.doi.org/10.1038/520429a.

King, Pam, et Mindy Thuna. 2013. Les mesure d’impact alternatives : mise en contexte. Association des bibliothèques de recherche du Canada. https://www.carl-abrc.ca/doc/CARL2013-altmetrics-EN-FA.pdf.

Konkiel, Stacy, Cassidy Sugimoto, et Sierra Williams. 2016. « The Use of Altmetrics in Promotion and Tenure. » Educause Review. https://er.educause.edu/articles/2016/3/the-use-of-altmetrics-in-promotion-and-tenure.

Meneses, Luis, Alyssa Arbuckle, Hector Lopez, Belaid Moa, Ray Siemens, et Richard Furuta. 2019. « Social Media Engine: Extending Our Methodology into Other Objects of Scholarship. » Pop! Public. Open. Participatory, no. 1 (octobre). https://popjournal.ca/issue01/meneses.

Miedema, Frank, Katja Mayer, Kim Holmberg, et Sabina Leonelli. 2018. « Mutual Learning Exercise: Open Science: Altmetrics and Rewards. » Commision européenne. https://ec.europa.eu/research-and-innovation/sites/default/files/rio/report/MLE%2520OS_Final%2520Report_0.pdf.

Priem, Jason, Dario Taraborelli, Paul Groth, et Cameron Neylon. 2010. Altmetrics: A Manifesto. 2010. http://altmetrics.org/manifesto/.

Szomszor, Martin, et Euan Adie. 2022. « Overton — A Bibliometric Database of Policy Document Citations. » arXiv. https://doi.org/10.48550/arXiv.2201.07643.

Tananbaum, Greg. 2013. Article-Level Metrics: A SPARC Primer. SPARC. https://sparcopen.org/wp-content/uploads/2016/01/SPARC-ALM-Primer.pdf.

Taylor, M. (2020). « An altmetric attention advantage for open access books in the humanities and social sciences ». Scientometrics, 125(3), 2523–2543. https://doi.org/10.1007/s11192-020-03735-8.

Walters, David. 2015. « Institutional Services and Altmetrics as Drivers for a Cultural Transition to Open Scholarship. » Altmetric 2:am Conference. https://www.youtube.com/watch?v=BNkGlWUCUiU.

Wilsdon, James, Liz Allen, Eleonora Belfiore, Philip Campbell, Stephen Curry, Steven Hill, Richard Jones, et al. 2015. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Higher Education Funding Council for England. http://www.hefce.ac.uk/pubs/rereports/Year/2015/metrictide/.

Zhavoronkov, Alex. 2022. « Measuring Attention In Science And Technology. » Forbes, 17 mars 2022. https://www.forbes.com/sites/alexzhavoronkov/2022/03/17/measuring-attention-in-science-and-technology/.