oaDOI à la loupe : un service et un outil de mesure

A l’occasion de l’édition 2016 de l’Open Access Week, les co-fondateurs d’ImpactStory ont annoncé le lancement d’un nouvel outil : oaDOI.org.

Cet outil, grâce à un simple copier-coller du DOI d’un document, va à la recherche d’une éventuelle version en accès libre. Un lien oaDOI.org est en quelque sorte une alternative au résolveur doi.org afin d’éviter à l’utilisateur de se retrouver devant une version payante du document qu’il cherche alors qu’il en existe une version en Open Access. Le fonctionnement d’oaDOI pour sa recherche repose principalement sur le DOAJ, BASE et les informations retournées par CrossRef (voir toutes les sources présentées ici).

Marque-pages OAWeek 2016 - CC-BY Carnet'IST

Marque-pages OAWeek 2016 – CC-BY Carnet’IST

Il rappelle d’autres outils du même type : tout d’abord, DOAI, l’initiative française du CAPSH qui a inspiré oaDOI (et qui est aussi à l’origine du projet Dissem.in, qui cette fois-ci rappelle ImpactStory…), l’Open Access Button qui permet d’envoyer un mail à l’auteur lorsqu’on échoue à accéder à son article via ce bouton, ou le Google Scholar Button pour lancer en un clic une requête dans Google Scholar grâce à une extension Chrome ou Firefox.

Vu la simplicité d’utilisation d’oaDOI, nous en avons immédiatement fait la promotion auprès des chercheurs pendant l’Open Access Week. Mais cet outil a ceci d’intéressant qu’il propose une API. Au bout de quelques heures seulement après son lancement, elle avait déjà été exploitée pour un moteur de recherche dans Zotero, dans un package R et pour un widget LibGuides. Nous avons donc pensé à l’exploiter comme « une deuxième chance » dans notre environnement pour les cas où notre résolveur échoue à conduire nos usagers vers une ressource à laquelle on a accès via nos abonnements ou les bases Open Access déjà indexées. C’est un peu ce que propose la Max Planck Digital Library via SFX (voir un exemple ici).

L’API d’oaOI permet donc de tester « facilement » la puissance de l’outil et plus intéressant encore, c’est une opportunité pour évaluer la proportion de documents qu’il est possible de trouver en Open Access. Des études existent déjà sur le sujet, sans s’accorder véritablement sur un chiffre : 24% environ selon ce calcul de Gargouri, Y et al ou encore 50% selon ce rapport d’Archambault et al pour la Commission Européenne, les taux variant, entre autres, en fonction du périmètre d’analyse ou des disciplines.

 

Tester les DOIs recherchés dans Sci-Hub pour mesurer le taux d’accessibilité

Corpus et méthodologie

La publication en avril 2016 des logs du serveur de Sci-Hub nous offre une base de DOIs pour nos tests, et surtout elle nous paraît être représentative des besoins des usagers puisqu’il s’agit de véritables recherches effectuées dans Sci-Hub. Le dataset comprend plus de 28 millions de requêtes réalisées de septembre 2015 à mars 2016. Pour réduire le périmètre, nous avons extrait les requêtes en provenance de France (à l’aide de RapidMiner, avec une interrogation sur le champ fournissant le pays d’origine de la requête). Nous avions dans l’idée de tester les +226 000 DOIs repérés ainsi, mais une rapide évaluation du temps d’extraction totale des données (plusieurs jours) et le fait que les premiers résultats analysés soient déjà suffisamment représentatifs nous ont conduit à réduire notre ambition aux 50 000 DOIs les plus demandés, correspondant ainsi à 85 465 requêtes dans Sci-Hub (42% des DOIs ont été demandés plus d’une fois). Techniquement, nous avons utilisé l’opérateur Enrich data by Webservice de RapidMiner (voir ce billet pour une utilisation similaire) avec l’API d’oaDOI pour récupérer le résultat au format JSON de chaque DOI testé ; par exemple https://api.oadoi.org/v1/publication/doi/10.1016/j.desal.2014.12.035 nous indique qu’il existe bien une version en libre accès de cet article d’une revue Elsevier, elle est sur HAL et a été repérée grâce à BASE.

Résultats globaux

Le test de nos 50 000 DOIs nous mène au résultat suivant : 20% des documents qu’ils désignent sont en accès libre.

Si on imagine que toutes les requêtes dans Sci-Hub avaient plutôt été faites dans oaDOI, on n’aurait plus qu’un taux de succès à 6%… même si chaque usager a toujours 1 chance sur 5 de voir sa requête satisfaite.

Evolution au fil du temps

On trouve d’autres informations intéressantes et plus positives si on regarde l’évolution au fil des ans ; on atteint effectivement 24% de disponibilité en Open Access sur les documents publiés à partir de 2000.

Année de publication
<1900 1900-1949 1950-1999 >2000 Total
Non-Open Access 94% 89% 91% 76% 80%
Open Access 6% 11% 9% 24% 20%
Nombre de DOIs testés 36 185 13 104 35 747 50 000

Et un focus sur les années 2000 montre une tendance à la hausse du taux de disponibilité en OA, hausse lente, mais plus marquée entre 2015 et 2016.

Evolution du taux de documents en Open Access (2000-2016)

Evolution du taux de documents en Open Access (2000-2016)

En fonction du nombre de demandes

Si on examine les résultats en fonction du nombre de demandes par DOI effectuées dans Sci-Hub (de 1 à 44), on voit que les documents les plus demandés (au moins 2 fois) sont plus souvent déjà en accès libre que ceux qui ne sont demandés qu’une fois. De toute façon, il est évident que certains usagers de Sci-Hub doivent l’utiliser en première intention, et non pas après avoir échoué avec une simple requête dans Google Scholar, par exemple.

   Nombre de demandes
1  >1
Non-OA 23835 82% 16273 78%
OA 5244 18% 4648 22%
Gold ou Green

L’API d’oaDOI nous renvoie une information qui nous renseigne sur le type de mise à disposition (Gold ou Green) du full-text : 52% des documents disponibles de ce corpus sont mis à disposition via une archive ouverte et repérés par BASE. Les documents en Open Access Gold sont repérés par la résolution du DOI dans Crossref ou une interrogation du DOAJ. A noter que ce taux de 48% de mise à disposition par la voie Gold est bien éloigné du taux calculé par Gargouri, Y et al cités plus haut et qui aboutissent à une proportion de 2,4% sur la période 2005-2010 (sur cette même période nous avons une proportion de 43% de Gold). Mais les méthodologies sont différentes et la date de vérification de la disponibilité des full-texts aussi.

Par éditeur

Le préfixe des DOIs permet de générer facilement un aperçu de la part de documents en OA pour les éditeurs les plus demandés. A noter que les valeurs sont très différentes selon les périodes, comme le montre la colonne Détails.

Nombre de DOIs testés % de documents en OA Détails
Nature 1194 38% Maximum à 55% et 56% en 2013 et 2014
Springer 16872 24% Maximum à 70% en 2016
Taylor & Francis 663 18% Maximum à 33% en 2014 et 2015
IEEE 905 18% Rien de représentatif par année
Wiley 10148 17% Au-dessus de 20% à partir de 2002
RSC 641 15% Maximum à 29% en 2013
ACS 1466 12% Maximum à 25% en 2009, 2014 et 2016
Elsevier 12871 11% Maximum à 21% en 2012 et 20% en 2014 et 2015

 

Tester les DOIs de HAL pour évaluer la pertinence d’oaDOI

Le premier test sur le corpus Sci-Hub ne renseigne pas sur la pertinence des réponses faites par oaDOI. Pour évaluer cela, nous avons extrait de HAL des références de documents dont le texte intégral est dans HAL et qui en plus ont un DOI renseigné dans la notice. Nous avons constitué un petit corpus en faisant 3 exports basiques de HAL (limités à 2000 références) sur des collections prises au hasard. Nous avons fait un dédoublonnage et un maximum de nettoyage sur les DOIs qui étaient manifestement erronés (par exemple avec des caractères spéciaux : 10.1128/AEM.67.4.1775–1782.2001) et devant l’ampleur des erreurs nous avons finalement vérifié si l’API de Crossref retournait un résultat. Nous avons éliminé du corpus tous les DOIs qui n’étaient pas résolus par Crossref, même si cela ne signifie pas qu’ils soient tous faux, ils peuvent avoir été attribués par un autre organisme. Nous testons finalement 4491 DOIs valides extraits de HAL. Résultat : 16% d’entre eux ne sont pas détectés par oaDOI (733 documents dont 88% d’articles). Le taux est le même qu’il s’agisse d’articles ou de communications, il monte à 25% pour les chapitres d’ouvrages. L’outil oaDOI est en pleine expansion, le temps de rédiger ce billet et une nouvelle version de l’API était déjà annoncée. Il y a donc une belle marge de progrès, ce qui est prometteur.

Par ailleurs, on a vu dans notre premier corpus Sci-Hub que plus de la moitié des full-texts identifiés l’étaient grâce à une archive ouverte ; sur ce second corpus constitué à partir d’une archive ouverte, il monte à 81%, preuve de l’importance de la voie Green pour le partage de la production scientifique.

 

Un bel avenir ?

Selon nous, oaDOI est un outil prometteur dans la mesure où il est certain qu’il va être amélioré puisqu’il est développé par une équipe réputée solide et active dans la communauté Open Access. Les 15% de DOIs HAL non trouvés pourraient sans doute l’être rapidement, une fois l’explication trouvée. Nous les avons transmis à l’équipe oaDOI.

Logo oaDOI

Logo oaDOI

Nous avons aussi découvert que l’outil retournait dans une infime proportion (9 exemples en tout sur les 2 corpus) des full-texts disponibles sur ResearchGate, ce qui ne peut être considéré comme de l’Open Access au sens strict de la définition. Ceci nous semble dû au fait qu’oaDOI doit parfois rechercher dans BASE à partir du titre du document, sans doute après avoir échoué à le trouver via son DOI (l’API indique alors scraping of oa repository pour le champ evidence). Mais le fait de ne pas trouver le DOI dans BASE ne signifie pas qu’il n’y en a pas. Il se peut en effet qu’il en existe un autre, notamment un DOI attribué par ResearchGate, ceci expliquant la redirection vers ce site. Exemple : la requête dans oaDOI https://oadoi.org/10.1002/wnan.1337, le document sur le site de l’éditeur, la référence trouvée dans BASE avec le titre et mentionnant un DOI de ResearchGate. D’ailleurs, sans même parler d’une redirection vers ResearchGate, il doit y avoir des situations où la recherche sur le titre renvoie bien un résultat mais il ne s’agit pas du même document que celui correspondant au DOI recherché. Nous n’avons pas cherché d’exemple…

 

Nous allons continuer notre évaluation de l’outil en proposant un recours à oaDOI depuis la page d’échec de notre résolveur de liens, 360Link (Proquest). C’est Romain Boistel qui a paramétré ce « custom link » ; on peut voir un exemple en cliquant ici. Nous attendons ici davantage des réactions des usagers pour évaluer l’efficacité du dispositif. Et surtout nous pensons qu’il est utile de « parler de Libre Accès » précisément à ce moment où l’usager échoue à accéder au full-text malgré les abonnements financés par l’établissement et que la présence de ce lien et de la phrase qui l’introduit sont un moyen de sensibilisation. Ce dispositif est proposé comme un ultime recours, c’est-à-dire après s’être donné l’opportunité de trouver le full-text via nos abonnements et nos ressources déjà indexées. Cela minimise dès le départ les situations dans lesquelles il peut être actionné. Enfin, il n’est proposé que si on dispose d’un DOI…

Pour conclure, on peut malgré tout extrapoler et imaginer un contexte dans lequel il deviendrait impossible de financer les abonnements aux revues et autres bases de contenus et qu’un outil comme oaDOI pourrait être le seul moyen d’accéder aux full-texts… C’est, nous semble-t-il, un peu dans cet esprit que sont proposés le discovery tool d’articles OAFindr (payant) de 1science, ou encore un portail full Open Access comme Paperity, l’idée étant de plonger l’usager dans un environnement sans frustration puisque tout ce qui est référencé est disponible.

 

[Photo en une : clement127 – CC BY-NC-ND]

 

Citer ce billet : Bordignon F., "oaDOI à la loupe : un service et un outil de mesure," in Carnet'IST, 03/11/2016, https://carnetist.hypotheses.org/835. Consulté en ligne le 17/08/2017.


Vous aimerez aussi...

3 réponses

  1. 09/11/2016

    […] publié sur le Carnet’ISt le 3 novembre […]

  2. 24/11/2016

    […] en savoir plus : Carnet’IST a publié un billet présentant ce nouvel […]

  3. 20/03/2017

    […] billet de Carnet’IST présente le oaDOI. Bordignon F., « oaDOI à la loupe : un service et un outil de […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *