“Des résultats qui pourraient être prometteurs…” : entre incertitude et exagération dans les résumés de preprints portant sur la COVID-19

L’une des caractéristiques de l’impact de la pandémie de COVID-19 sur la communication scientifique a été la rapide montée en puissance des preprints. Cela a eu des répercussions importantes sur la façon dont les résultats scientifiques ont été communiqués, ainsi que sur le rôle joué par les résumés (abstracts) pour mettre en avant la portée et la valeur des nouveaux travaux. Sur la base d’une étude du lexique utilisé dans les abstracts de preprints portant sur la COVID-19, Liana Ermakova, Marianne Noël et moi avons montré que ces résumés étaient empreints à la fois d’exagération et d’incertitude.

Ce post a pour objectif de présenter cette étude publiée dans Learned Publishing et présentée sur le LSE impact blog.

L’épidémie de coronavirus a “cassé le moule” de l’édition traditionnelle et a changé la façon dont les scientifiques communiquent. Depuis le début de la pandémie de COVID-19, le nombre de dépôts de preprints a explosé, mettant ainsi à l’épreuve les petites équipes chargées de la modération pour les serveurs de preprints.

Tweet

Nous étudions les abstracts depuis plusieurs années et nous avons décidé d’examiner si cette crise et la compétition scientifique et économique qui en découle ont changé la façon dont les chercheurs écrivent et présentent leurs recherches dans les résumés.

Nous savons que, même dans des circonstances normales, les chercheurs ont tendance à exagérer les bénéfices de leurs recherches et à utiliser un discours promotionnel afin de publier, de faire progresser leur carrière ou d’obtenir des financements. Le résumé est connu pour être un genre promotionnel avec l’utilisation excessive de termes positifs et de tournures optimistes destinés à convaincre le lecteur (par exemple : it could be effective…, our findings suggest promising effects on…, this present study could provide a novel insight into…). L’exagération dans les résumés vise à attirer l’attention du lecteur et à l’inviter à poursuivre sa lecture.

Dans l’étude que nous avons menée, nous avons constaté qu’avec la nécessité d’établir une priorité et de se démarquer des autres dans ce volume inédit de preprints, les auteurs ont eu recours plus souvent à des adjectifs positifs. Mais, conscients de l’incertitude entourant leurs résultats, ils ont également atténué leur discours, invitant les lecteurs à la prudence.

Nous sommes parvenus à ces conclusions à première vue contradictoires après une analyse lexicale de résumés de preprints produits en urgence en réponse à la crise (grâce au corpus construit par Nicholas Fraser en 2020 et qu’il met toujours régulièrement mis à jour avec Bianca Kramer), en comparant avec un corpus témoin de résumés produits avant la pandémie.

Notre étude a été initialement inspirée par celle de Vinkers et al. sur l’utilisation de mots positifs et négatifs dans les abstracts de PubMed publiés entre 1974 et 2014. Ces auteurs ont montré que la tendance à la “sur-promotion” des résultats était de plus en plus fréquente au fil du temps, ce qui les a amenés à dire que les chercheurs “supposent que les résultats et leurs implications doivent nécessairement être exagérés et gonflés pour être publiés”. Sur la base de cette étude, nous avons à notre tour analysé un corpus de 23 957 résumés de preprints déposés sur 7 serveurs différents (SSRN, arXiv, medRxiv, bioRxiv, Research Square, Preprints.org, et ChemRxiv) et avons constaté que, depuis le début de la pandémie, les auteurs ont utilisé plus fréquemment des mots qui montrent la validité de leur approche (effective, efficient, robust) et leur impact potentiel dans la lutte contre le virus (promising) et ils ont également tenté de montrer le caractère innovant de leur travail en mettant en avant la nouveauté (novel, unique) dans ce contexte compétitif.

Dès le début des années 1990, Goodman avait déjà suggéré que novel risquait de ne plus être que le synonyme de new. Notre étude pourrait mettre en lumière le signal faible selon lequel effective va bientôt supplanter novel pour qualifier les dernières avancées médicales. L’utilisation de ce mot reflète un intérêt plus marqué pour la preuve de concept (dont le but est de vérifier qu’un concept ou une théorie a le potentiel d’être utilisé), plutôt que pour la priorité des résultats annoncés. Mais heureusement, même si les auteurs ont cherché à avoir plus d’impact que pendant la période pré-pandémique, ils n’ont pas eu massivement recours aux mots groundbreaking, miraculously ou stunning, qui impliquent plus encore plus clairement l’exagération et la surévaluation de leurs résultats.

A l’opposé de la promotion excessive, les hedge words (ou modalisateurs épistémiques) sont un procédé d’argumentation qui permet aux auteurs d’atténuer leurs déclarations, et ainsi de remporter l’adhésion de la communauté tout en éloignant les critiques. Nous avons compilé une liste de mots de ce type (par exemple possible, quite, might, perhaps, will, may, suggest) et les avons identifiés dans le corpus (avec CorText). Nous avons montré qu’il y a une forte augmentation dans l’usage de ces mots (dont les plus fréquents sont les verbes modaux can et may). Ils contrebalancent l’utilisation excessive de mots positifs et invitent ainsi les lecteurs, qui vont sans doute au-delà du public “habituel”, à être prudents avec les résultats obtenus, illustrant l’équilibre que les auteurs doivent atteindre entre la promotion de leurs résultats et l’appel à la prudence.

Notre corpus de “littérature de crise” regorge d’exemples de ce type : “This imaging modality could be effective for the diagnosis of enterocolitis associated with COVID-19.” (“Cette modalité d’imagerie pourrait être efficace pour le diagnostic de l’entérocolite associée à la COVID-19“).

Synthèse des résultats par serveur de preprints : pourcentage de résumés de documents avec des adjectifs positifs/négatifs et des modalisateurs épistémiques, nombre moyen d’adjectifs positifs/négatifs et de modalisateurs épistémiques par résumé. Comparaison avant et pendant la crise COVID-19

Les éditeurs ont tenté de mettre un frein à l’exagération et au spin (représentation infidèle des résultats ou méthodes dans les abstracts), considérées comme une forme de méconduite, dans la mesure où elles déforment la présentation des résultats scientifiques sans pour autant mentir. Les éditeurs tentent d’établir des recommandations pour le formatage de la présentation des résultats (par exemple, la déclaration CONSORT pour les essais randomisés, la déclaration PRISMA pour les résumés de revues systématiques) ou même d’interdire l’utilisation inappropriée de mots exagérés (comme l’a fait la revue ACS Catalysis).

Mais les chercheurs eux-mêmes doivent être conscients que l’utilisation excessive de mots positifs dont ils essaient de contrebalancer l’utilisation avec de nombreux hedge words n’est qu’une solution de fortune et ne joue pas en faveur d’un résumé informatif. L’exagération (ou hyping) dans les résumés de preprint peut avoir des conséquences néfastes, surtout en temps de crise. Les résumés sont souvent la seule partie de la publication qui sera lue et, par conséquent, l’exagération suscitera de faux espoirs qui ne seront pas corrigés par la lecture du texte intégral. Et la combinaison de promesses et d’incertitudes véhiculées par un grand nombre de preprints mis à la disposition de tous a peut-être contribué à l'”infodémie” dénoncée par l’OMS en juin 2020.

 

Lire l’intégralité de l’étude :

Bordignon, F., Ermakova, L., & Noel, M. (2021). Over‐promotion and caution in abstracts of preprints during the COVID ‐19 crisis. Learned Publishing, leap.1411. https://doi.org/10.1002/leap.1411.

Citer ce billet : Bordignon F., "“Des résultats qui pourraient être prometteurs…” : entre incertitude et exagération dans les résumés de preprints portant sur la COVID-19," in Carnet'IST, 02/12/2021, https://carnetist.hypotheses.org/1922. Consulté en ligne le 17/05/2022.

 

Image en une : H.Y.P.E. Verena Yunita Yapi


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search