Utiliser les Objectifs de Développement Durable comme indicateurs bibliométriques
Les Objectifs de Développement Durable (ODDs) constituent le plan d’action de l’ONU défini en 2015 pour un avenir meilleur et plus durable à l’Horizon 2030. Sans pour autant chercher à les faire figurer partout, on ne doit pas non plus circonscrire ces 17 objectifs aux seuls sujets environnementaux. Agathe Euzen, directrice adjointe scientifique “développement durable” à l’INEE (CNRS), explique qu’ils visent à mettre fin à toutes les formes de pauvreté, à lutter contre les inégalités et à préserver les écosystèmes, tout en garantissant la prospérité de tous dans un contexte de changement global.
L’ONU a défini 17 ODDs reposant sur la description de 169 cibles. Ils sont depuis sujets à de nombreuses interprétations qui varient selon la manière dont on souhaite s’en emparer, les différences culturelles ou encore les traductions.
Le rôle des chercheurs est d’éclairer les enjeux liés à chacun de ces objectifs, de montrer comment ils s’imbriquent les uns avec les autres et quels sujets sont transverses. En effet, on voit souvent cité l’exemple du transport qui ne constitue pas un objectif à lui seul mais qui peut être facilement associé à tous les autres objectifs.
De plus en plus, les institutions publiques tout comme le secteur privé cherchent à savoir (et souvent à montrer) comment ils contribuent ou peuvent contribuer à atteindre les objectifs de l’ONU. Dans le domaine de la recherche, il y a eu plusieurs initiatives pour tenter de faire correspondre la production scientifique à ces ODDs. Pour une institution, il s’agit de qualifier sa production scientifique à l’aune des ODDs, et donc de mieux se connaître, de se positionner par rapport aux enjeux et d’ajuster éventuellement son pilotage. C’est en fait le rôle que doit jouer la bibliométrie…
C’est pour cette raison que des outils comme Dimensions (ou encore SciVal, mais nous n’avons pas pu tester) ont intégré des fonctionnalités qui permettent de projeter un corpus sur l’ensemble des ODDs. Cependant, en faisant quelques requêtes dans Dimensions, on se rend très vite compte que de nombreuses publications ne sont pas repérées comme étant liées à un ODD alors qu’elles le sont de façon évidente. La méthodologie repose apparemment sur du machine learning et n’est pas décrite précisément. A l’inverse, Elsevier a mis à disposition les requêtes mises au point pour SciVal mais là aussi, en testant, on constate qu’elles sont soit trop restrictives et passent à côté de certaines publications, soit au contraire trop permissives et ramènent trop de bruit.
Il faut dire, comme évoqué plus haut, que les 169 cibles que l’ONU a présentées pour décrire les ODDs sont sujettes à interprétation et que le périmètre de chaque ODD est très difficile à délimiter puisque chaque ODD est imbriqué dans d’autres. Un récent article a montré que ces différences d’interprétations et de traductions en requêtes pouvaient aboutir à des corpus de publications très différents.
Elsevier (Relx, plus précisément) continue manifestement d’améliorer son process et en appelle aux chercheurs pour se constituer sans doute un corpus de référence fiable : sur ce site, un chercheur volontaire peut faire matcher des publications à des cibles au travers d’un questionnaire en ligne.
Une nouvelle méthodologie (TL;DR;)
En attendant ces améliorations, ou plutôt sans les attendre, nous avons élaboré une nouvelle stratégie et proposé des requêtes qui ne reposent pas uniquement sur des termes spécifiques mais aussi sur les domaines disciplinaires des revues et conférences. Cela permet à la fois de lutter contre la polysémie de certains mots inclus dans une requête (par exemple energy réfère à des concepts complètement différents selon qu’il s’agisse de médecine ou de physique) et aussi de repérer des publications pertinentes mais qui ne mentionnent aucun des termes typiques d’un ODD. Pour une description détaillée de la méthodologie, le lecteur courageux pourra se référer au data paper disponible ici ou là, le lecteur curieux pourra en avoir les grandes lignes plus bas.
Toutes les requêtes sont déposées comme données de recherche ici.
A ce stade, une précision importante doit être apportée et présentée comme un disclaimer : les publications identifiées par ce processus ne peuvent être considérées comme des preuves de l’engagement des auteurs et de leurs institutions à agir en vue d’atteindre les objectifs fixés par l’ONU. Cependant, elles peuvent être un indicateur précis de la recherche qui est pertinente pour les questions traitées par les ODDs, qu’il s’agisse ou non d’une contribution directe.
Comment exploiter les requêtes
Le dataset que nous partageons comprend des requêtes booléennes insérées dans une fonction conditionnelle (IF, THEN, ELSE). Ces requêtes combinent des mots-clés et expressions et aussi les codes ASJC représentant les champs disciplinaires pertinents pour chacun des ODDs.
Nous avons développé ces requêtes dans le but d’annoter des corpus structurés de publications scientifiques. Elles sont donc destinées à être utilisées directement dans un outil tel que Tableau Software. Mais comme elles sont partagées au format txt, elles peuvent être simplement adaptées (avec une succession de rechercher-remplacer) pour un tableur ou pour une utilisation directe dans des bases de données bibliographiques telles que le Web of Science, Scopus, Dimensions, ou Lens. Elles sont manifestement trop longues pour être utilisées directement dans HAL.
Dans tous les cas, il faut adapter les requêtes en utilisant les opérateurs propres à chaque base. Et comme elles reposent aussi sur des champs disciplinaires, il faut reconstituer le corpus de revues et conférences associées à chaque code ASJC. La liste peut être téléchargée librement depuis le site de Scopus même par les non-abonnés.
Enfin, nous n’avons pas élaboré de requête particulière pour le SDG 17 “Partnerships for the goals” dans la mesure où on peut considérer qu’il peut être évalué avec une analyse bibliométrique classique de co-publications (cooccurrences de pays).
Dès lors, on peut imaginer de nombreuses analyses projetant les publications d’un corpus sur les ODDs, et croiser avec d’autres indicateurs bibliométriques traditionnels ou propres à son organisme.
Version détaillée de la méthodologie d’élaboration des requêtes
Voici les grandes lignes de la méthodologie que nous proposons pour élaborer ces nouvelles requêtes :
- Tout d’abord, nous avons exploité les requêtes partagées par Elsevier après les avoir testées et simplement corrigées. Par exemple, le mot aids (pour sida) est une chaîne de caractères trop courte et il est risqué de l’utiliser telle quelle. Elle remonte en effet des résultats pour lesquels aids est utilisé en tant que verbe conjugué ou comme le pluriel de aid. Après ces légères modifications, nous avons utilisé ces requêtes qui sont plutôt strictes pour constituer des corpus de 20 000 publications par ODD, remontées par Scopus sur la base d’une interrogation sur le titre, l’abstract et les mots-clés.
- CorTexT, un outil de text-mining, nous a permis ensuite d’extraire les termes les plus fréquents et les plus typiques pour chaque ODD et de les intégrer prudemment à une requête booléenne. Prudemment signifie ici manuellement, un à un…
- Ces mêmes corpus, plus précisément les métadonnées de chaque publication, nous ont permis d’identifier les domaines disciplinaires les plus pertinents par ODD en exploitant la nomenclature ASJC (qui affecte un ou plusieurs sous-domaines à plus de 40 000 revues et 100 000 conférences).
- Nous avons ensuite élaboré des requêtes booléennes qui combinent termes et codes ASJC.
- Enfin nous avons testé nos résultats en menant une enquête auprès de 81 chercheurs qui ont bien voulu vérifier si les ODDs que nous avions attribués à certaines publications étaient pertinents ou pas.
- Grâce à ce feedback, nous avons affiné encore nos requêtes.
Inutile de préciser que ces requêtes peuvent être encore améliorées…
Logos des ODDs : ONU (guidelines)
Image en une : COLIN00b, Pixabay License
OpenEdition vous propose de citer ce billet de la manière suivante :
Frédérique Bordignon (13 janvier 2021). Utiliser les Objectifs de Développement Durable comme indicateurs bibliométriques. Carnet'IST. Consulté le 14 novembre 2024 à l’adresse https://doi.org/10.58079/m8nm