Une plongée dans les données de SHERPA/RoMEO et du DOAJ

Pour assister les chercheurs dans leur stratégie de publication et les aider à trouver ce qu’autorisent les éditeurs en matière de dépôt en archive ouverte, nous leur conseillons souvent de consulter ces 2 sites :

  • SHERPA/RoMEO, le projet RoMEO du site SHERPA qui recense la politique des éditeurs en matière d’Open Access et les catégorisent selon un code couleur (voir ici pour les détails) ;
  • le DOAJ, Directory of Open Access Journals, le répertoire incontournable des revues (à comité de lecture) en libre accès et dont l’infrastructure technique permet aussi la recherche et l’accès direct aux full-texts concernés.

Afin de renseigner correctement les chercheurs lorsqu’on promeut ces sites auprès d’eux, et aussi pour satisfaire notre curiosité, nous avons sondé ces 2 bases pour essayer d’avoir une idée plus claire des données qu’elles mettent à disposition et sous quelle forme. SHERPA/RoMEO propose déjà des statistiques sur la base des éditeurs et non des revues. Une page du site y est consacrée et indique d’ailleurs que 79% des éditeurs autorisent l’auto-archivage, sous une forme ou une autre. Nous allons ici nous intéresser à la revue elle-même et non plus à son éditeur, pour avoir avec certitude sa politique en matière d’auto-archivage et ne pas la déduire de celle déclarée globalement pour son éditeur (sans pouvoir tenir compte d’éventuelles exceptions). Cela nous permet aussi d’avoir une idée plus juste des volumes en présence.

 

Constitution du corpus

La constitution du corpus pour cette étude est en elle-même instructive. En 2014, nous avions déjà eu besoin des données de Sherpa pour qualifier la politique des éditeurs d’une série de publications et nous avions procédé à une « extraction » du site, en réalité un nombre déraisonnable de copier-coller… Par chance, nous avons gardé le fichier. Cette exploration sera aussi l’occasion de voir comment les politiques des éditeurs ont évolué en 2 ans.

Cette fois-ci, en 2016, pour récupérer les données en ligne, nous avons procédé en plusieurs temps au fur et à mesure de notre compréhension de la base SHERPA/RoMEO. Tout d’abord, nous avons extrait/scrapé le site en mai 2016, avec moins d’efforts qu’en 2014, en utilisant Import.io (desktop App). Avec cet outil, en parcourant page à page l’ensemble du répertoire, c’est-à-dire toutes les lettres de toutes les pages à partir de celle-ci, nous parvenons facilement à collecter les revues qui ont une couleur. Nous découvrons en effet à ce stade que nous ne collectons pas celles qui sont dans la base sans couleur ; celles-ci sont marquées « ungraded » dans l’interface du site lorsqu’on les cherche avec le moteur, ou classées « Gray » lorsqu’on recourt à l’API. Elles sont nombreuses puisque le projet RoMEO est alimenté par 3 sources externes (voir le détail ici). C’est sans doute le sens du message affiché en haut de ces pages de résultats : « Note: This list only shows title in the RoMEO Journals database. It does not include additional titles from the other databases that RoMEO uses – Zetoc, DOAJ, and Entrez. »

Plus ennuyeux, nous comprenons aussi lors de cette étape que la couleur affichée dans ce tableau de résultats lorsqu’on le parcourt page à page n’est pas toujours la même que celle affichée dans la notice de la revue ou via l’API. Nous avons pris un échantillon de 500 revues au hasard pour lesquelles nous avons vérifié la couleur en recourant à l’API et nous relevons une différence sur 6% des revues. Cette marge d’erreur n’est pas neutre. Peut-être que ce tableau n’affiche que la politique de l’éditeur sans les exceptions qui peuvent concerner certaines revues. Nous pouvons faire l’hypothèse que la notice de la revue est plus juste que le tableau général, mais rien ne l’indique vraiment.

http://www.sherpa.ac.uk

http://www.sherpa.ac.uk

Enfin, nous constatons au cours de cette vérification qu’il existe, dans SHERPA/RoMEO, des revues avec une couleur qui ne sont pas listées dans le tableau (exemple : ISRN AIDS, qu’on ne retrouve pas à la lettre I mais qui possède bien une notice et une couleur), alors que nous pensions que la note citée ci-dessus impliquait qu’une revue faisant partie de la base était une revue avec une couleur.

Par conséquent, pour que notre petite étude repose malgré tout sur des données fiables, il a fallu recourir à l’API. Mais le test de vérification portant sur les 500 revues nous a montré que cela prenait beaucoup de temps, sans doute parce que nos compétences en matière de scraping sont limitées. Pour cette récupération, nous utilisons des URLs construites de la manière suivante : http://www.sherpa.ac.uk/romeo/api29.php?issn=2090-939X&ak=xxxxxxx, dans laquelle nous glissons facilement un ISSN et où xxxxxxx correspond à notre clé obtenue auprès de SHERPA. L’opération doit être possible avec RapidMiner mais nous n’avons pas réussi ; elle est faisable avec la fonction SERVICEWEB d’Excel ou encore IMPORTXML de GoogleSheets. Nous utilisons GoogleSheets et nous obtenons environ 5 réponses (des couleurs en l’occurrence) à la minute… Il se trouve que, pour les études bibliométriques que nous menons par ailleurs, nous disposons d’une base de plus de 33000 revues. Comme il n’est pas raisonnable de récupérer à cette vitesse les couleurs RoMEO de toute cette base, nous décidons de conserver les couleurs scrapées avec Import.io et de chercher les autres à partir de notre base, plus précisément les ISSN.

Sur l’ensemble de ce corpus, nous parvenons à extraire une couleur pour 80% des revues, les autres sont soit absentes de SHERPA/RoMEO, soit marquées Gray.

Enfin, une dernière précision avant de plonger véritablement au cœur des données : pour tous nos repérages nous utilisons l’ISSN, l’ESSN puis, en dernier recours, le titre de la revue.

 

SHERPA/RoMEO : données comparées entre 2014 et 2016

En comparant le corpus 2014 avec le corpus 2016, nous sommes en mesure de générer le diagramme de Sankey suivant (réalisé avec l’outil en ligne SankeyMatic).

Diagramme de Sankey montrant le flux des revues dans les différentes catégories de couleur entre 2014 et 2016

Diagramme de Sankey montrant le flux des revues dans les différentes catégories/couleurs de SHERPA/RoMEO entre 2014 et 2016


On voit, tout d’abord, une augmentation du nombre de revues pour lesquelles une politique est déclarée dans SHERPA/RoMEO (+18%). Le groupe des Blue augmente le plus, surtout avec de nouvelles déclarations de politique. Le groupe des revues Green augmente aussi, alimenté notamment par des revues classées Yellow en 2014 et de nouveaux référencements.  Le tableau suivant montre les variations en nombre de revues et pourcentage pour chaque catégorie.

  2014 2016 Variation
Blue 2 264 3 424 +51%
Green 12 418 16 602 +34%
White 2 341 1 944 -17%
Yellow 5 262 4 778 -9%
Total 24 299 28 764 +18%

Nous détections aussi une poignée de « sorties », 158 revues qui perdent leur couleur ou sortent de la base.

Ce serait donc les catégories Blue et Green, les plus favorables en termes de possibilités d’auto-archivage, qui augmenteraient le plus dans l’absolu et en nombre de nouvelles entrées.

 

Profil des revues Green

Nous avons essayé d’en savoir plus sur ce qui est réellement autorisé par les revues Green, la définition pour cette catégorie étant « Can archive pre-print and post-print or publisher’s version/PDF ». Pour répondre à cette question, on ne peut pas se contenter des données scrapées depuis le site puisqu’on ne dispose pas des informations précises sur les versions qu’il est autorisé de déposer dans une archive ouverte ou encore des périodes d’embargo. Nous avons donc eu recours à l’API de SHERPA/RoMEO pour récupérer la fiche XML entière de chaque revue avec toutes ses métadonnées (exemple). Nous avons laborieusement réussi à récupérer les métadonnées de 74% du corpus des revues Green. L’analyse montre que 78% autorisent le dépôt du postprint, sans restriction ni embargo.

Avec conditions diverses 18,48%
Avec embargo – 12 mois 2,59%
Avec embargo – 2 mois 0,52%
Avec embargo – 3 mois 0,02%
Avec embargo – 6 mois 0,03%
Impossible 0,66%
Sans condition 77,69%

Quant au dépôt du PDF éditeur, il n’est autorisé sans conditions que pour 19% des revues.

Ces résultats sont à prendre avec prudence, parce qu’il est très compliqué pour nous d’extraire automatiquement les données relatives à la possibilité ou l’interdiction de dépôt couplée à d’éventuelles conditions. Par exemple, pour cette revue, l’interprétation des conditions est difficile puisqu’on ne sait pas avec certitude à quelle(s) version(s) elles s’appliquent et la première d’entre elles n’est pas « encourageante » bien que les 3 voyants soient au vert : « Deposit of author’s pre-print and author’s post-print is discouraged ».

 

Comparaison des données de SHERPA/RoMEO avec celles du DOAJ

En plus de la possibilité d’exploiter son API, le DOAJ met aussi à disposition ses données via un fichier CSV téléchargeable depuis le site. Par ailleurs, il a récemment annoncé (en mai 2016) qu’environ 3300 revues venaient d’être retirées parce qu’elles ne répondaient pas ou plus aux critères requis ; la liste des revues retirées est aussi disponible, nous en avons tenu compte pour obtenir le corpus des revues véritablement incluses dans le DOAJ, en juin 2016.

https://doaj.org

https://doaj.org

Dans un premier temps, nous avons voulu voir dans quelle proportion les revues recensées dans le DOAJ « nettoyé » étaient aujourd’hui recensées avec une couleur dans RoMEO.

Environ 55% des revues du DOAJ n’ont pas de couleur dans SHERPA/RoMEO, ce qui, encore une fois, ne veut pas dire qu’elles soient toutes absentes de cette base, mais simplement que certaines n’ont pas reçu de couleur parce que l’éditeur n’a pas (encore) déclaré de politique. Cela confirme aussi, que, de la récupération du DOAJ, il n’est déduit aucune couleur de façon automatique. Enfin, cela montre clairement (pour ceux qui en doutaient) que tout ce qui est dans le DOAJ n’est pas Green dans SHERPA/RoMEO.

Absentes de Sherpa/Romeo
ou Gray
55,3%
Green 33,1%
Blue 10,2%
White 1,1%
Yellow 0,3%

D’ailleurs, nous avons repéré que des revues (≈1%) du DOAJ étaient classées White. Pour certaines d’entre elles, il peut s’agir d’une erreur, pour d’autres les données sont trop incomplètes ou inconnues, mais il n’est pas impossible qu’une revue Open Access interdise tout dépôt en Archive Ouverte, même si cela peut paraître surprenant si on s’en tient à la logique de partage de la science (voir par exemple celle-ci, sa fiche SHERPA/RoMEO, son entrée dans le DOAJ). L’objectif est peut-être d’amener du trafic sur le site de l’éditeur. Quoi qu’il en soit, si tous les critères de diffusion en libre accès sont remplis, le dépôt en archive ouverte est superflu.

 

En conclusion, l’enquête confirme nos intuitions : les 2 outils sont très riches et complémentaires, et leur maintenance collaborative est admirable au vu de la complexité de la situation que montre notre modeste sondage. Nous continuerons évidemment d’en conseiller l’usage pour ce que nous avons exploité ici mais aussi pour leurs autres services comme SHERPA/Fact, SHERPA/Juliet ou encore la navigation par discipline dans le DOAJ.

 

Citer ce billet : Bordignon F., "Une plongée dans les données de SHERPA/RoMEO et du DOAJ," in Carnet'IST, 19/06/2016, https://carnetist.hypotheses.org/687. Consulté en ligne le 17/08/2017.

Vous aimerez aussi...

1 réponse

  1. 26/06/2016

    […] Source : Une plongée dans les données de SHERPA/RoMEO et du DOAJ – Carnet’IST […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *