Le text-mining comme service aux chercheurs

Pile de rapports

Credit : Gadl / CC BY-SA

Lorsque les doctorants débutent leur thèse, ils sont souvent confrontés à un volume important de documents qu’ils collectent au cours de leurs recherches bibliographiques ou dont ils héritent de leurs pairs qui leur confient leur « bibliothèque ». Cela peut représenter des centaines de documents. C’est avec cette problématique qu’une doctorante nous a sollicitée : elle devait « lire » plus de 650 documents. Il s’agissait des rapports d’activités d’un groupement de recherche, associés à de nombreux rapports intermédiaires, notes techniques et versions préliminaires d’articles. La tâche peut paraître insurmontable surtout lorsqu’on a l’intuition que ce que l’on cherche n’est présent que dans une faible proportion du corpus.

Nous partageons dans ce billet la solution que nous avons mise en œuvre pour elle pour la faire avancer plus vite dans ses recherches. Cette solution repose sur la fouille automatisée de textes, ou text-mining.

L’exploration de corpus de publications scientifiques est passionnante et prometteuse. Les chantiers d’usage d’ISTEX en seront une illustration ; nous sommes partie prenante de l’un d’entre eux et ferons évidemment part des avancées de notre équipe dans ce carnet. Cependant, le text-mining et le data-mining se heurtent à des difficultés juridiques lorsqu’il s’agit de données que se sont appropriées certains éditeurs qui en restreignent désormais l’exploitation. Pour un rapide tour d’horizon, on peut lire à ce sujet cette note de l’EPRIST, les 2 récents billets sur le data-mining du carnet Sciences Communes ou encore explorer le site de ContentMine qui reprend le slogan explicite « The right to read is the right to mine!« .

 

Repérer les documents les plus pertinents d’un corpus

Revenons-en à notre corpus de documents, somme toute modeste, au vu des projets envisageables dans ce domaine. Nous avons donc passé en revue des dizaines d’outils (notamment grâce à ce site ou celui-ci) et force est de constater que leurs performances sont impressionnantes mais qu’il en existe très peu qui soient à la portée d’un usager « non-spécialiste ». Ou lorsqu’ils le sont, ils fonctionnent par copier-coller dans un formulaire ou upload d’un seul fichier, et cette fois-ci notre corpus est trop important pour être traité de cette manière. Enfin, un nombre importants de ces outils développés dans le cadre de projets de recherche semblent abandonnés. [Lire à ce sujet : HyperMachiavel ou la tour de Babel des logiciels d’analyse textuelle]. De plus, comme la demande de cette doctorante n’était pas la première de ce type, nous avions dans l’idée de mettre en place une solution qui puisse être proposée de façon pérenne comme un service aux chercheurs.

C’est finalement RapidMiner Studio qui répondait de façon idéale à notre besoin : gratuit, process reproductible à l’infini, livrable dans un tableau Excel facile à exploiter par le chercheur. Avant de poursuivre avec notre expérience de RapidMiner, notons qu’il existe sûrement des solutions similaires avec Knime ou Weka et bien sûr R, mais nous n’avons pas réussi à progresser sur ces outils pointus.

rapidminer_studio_v1RapidMiner Studio est un logiciel libre qui se définit comme une plate-forme d’analyse prédictive, mais ce ne sont pas ses fonctionnalités d’informatique décisionnelle qui nous intéressent ici mais celles qu’on peut ajouter en installant des extensions dédiées à l’analyse de texte, extensions disponibles via le marketplace de l’outil. Nous avons donc surtout exploité celle qui s’appelle simplement « Text processing ».

Même si on comprend vite le principe de l’outil, cela reste un environnement complexe. Il existe de nombreux tutoriels en ligne, mais les possibilités de l’outil sont infinies et il est quasiment impossible de trouver un tutoriel qui corresponde exactement à ce que l’on veut faire.

Le principe est simple donc :

  • charger des données (les sources potentielles sont très variées : Excel, flux RSS, fichiers PDF, pages web et bien sûr de nombreux autres formats que nous ne maîtrisons pas ; il semble même possible d’intégrer des données en BibTex, mais nous n’avons pas (encore) réussi…) ;
  • leur faire subir des traitements en chaîne en choisissant les « opérateurs » à disposition, notamment ceux ajoutés après l’installation des extensions ;
  • récupérer de « nouvelles » données ou des données enrichies (là aussi, les formats de sortie sont nombreux).

Afin de cerner les centres d’intérêt de notre chercheuse, nous lui avons demandé une liste de mots-clés et elle nous a alors fourni des noms d’organismes, de modèles ou de projets.

Nous indiquons à RapidMiner où se trouvent les fichiers PDF à traiter (nous les avions tous téléchargés sur notre machine et stockés par année dans des dossiers différents) puis tout le processus de text-mining en connectant les différents opérateurs.

Vue d'un process dans RapidMiner

Vue d’un process dans RapidMiner

Cette partie doit être paramétrée avec précision pour que le résultat final ne génère pas de bruit et remonte bien tous les documents concernés. L’opérateur Filter tokens peut recevoir une expression régulière dans laquelle on indiquera par exemple ^LEMA$ pour identifier le LEMA (acronyme d’un labo) sans remonter les documents concernant le lac Leman. De même, pour identifier sans ambiguïté les éléments de la liste de la chercheuse qui sont composés de plusieurs mots, comme par exemple la région Ile-de-France, nous recourons plusieurs fois à l’opérateur Generate n-Grams pour obtenir des éléments de 1 à 6 mots. Nous connectons alors l’opérateur Filter tokens (by content) à chaque fois en y insérant la liste correspondante de mots ou groupes de mots recherchés sous forme d’expression régulière.

Nous indiquons enfin sous quelles formes nous souhaitons obtenir les résultats, ici même, dans RapidMiner, pour voir rapidement les résultats, mais aussi dans 2 fichiers Excel différents, l’un avec les noms de fichiers en colonne et les mots-clés en ligne, l’autre dans l’autre sens. Le traitement de ces 650 documents et 42 expressions recherchées prend 12 à 15 minutes, avec un ordinateur équipé de 8 Go de RAM.

Nous avons livré ce résultat final à notre doctorante qui nous a aussitôt fourni une seconde liste… Notre travail de filtre lui évite à coup sûr la lecture de 180 documents qui ne contiennent aucun des mots-clés recherchés. Il lui reste ensuite à identifier les documents les plus pertinents en repérant ceux qui ont le plus grand nombre d’occurrences des mots-clés qui l’intéressent et qui apparaissent aussi en présence d’autres mots-clés importants.

La doctorante a voulu voir comment cela fonctionnait pour pouvoir être autonome, mais elle a trouvé le dispositif trop complexe. Nous réfléchissons malgré tout à partager le process (c’est possible de l’exporter de RapidMiner) et surtout à l’accompagner d’un tutoriel qui indiquerait où sont les variables à modifier.

 

Repérer des références bibliographiques et les enrichir

Nous travaillons aussi avec une autre équipe de chercheurs qui souhaitent identifier les références bibliographiques les plus pertinentes de leur sujet de recherche en les restreignant au champ disciplinaire de l’urbain. Plutôt que de travailler à partir d’une liste subjective de mots-clés, nous leur avons proposé d’utiliser EuroVoc, thésaurus multilingue de l’Union européenne et notamment le domaine Construction and town planning. C’est cette liste que nous avons retravaillée et insérée dans RapidMiner ; cette fois-ci nous avons en entrée des exports de Scopus issus de requêtes élaborées conjointement avec les chercheurs. On repère donc facilement les références qui traitent bien de l’urbain et on peut même les enrichir. En effet, les chercheurs souhaitent déterminer quel pays est étudié pour chaque référence. Pour cela nous avons eu recours à une autre extension dans RapidMiner, Aylien (qui s’utilise aussi très facilement dans un GoogleSheet). Grâce à l’opérateur Extract entities, nous obtenons tous les mots qui sont repérés par Aylien comme relevant d’une zone géographique. Ce résultat n’est donc pas forcément un pays, mais peut être le nom d’une rivière, d’un lac ou d’une ville. Pour extraire le pays, nous avons utilisé l’API de la base de données Geonames. Avec l’opérateur Enrich Data by Webservice, nous interrogeons Geonames sur le résultat obtenu par Aylien, et en indiquant le Xpath qui nous conduit au pays retourné par Geonames, RapidMiner ajoute cette nouvelle information pour chaque référence bibliographique.

URL pour interroger Geonames :
http://api.geonames.org/search?q=erhai%20lake&maxRows=10&username=demo
(il faut s’inscrire pour avoir un compte et bénéficier des 30 000 crédits quotidiens)

XPath pour atteindre le pays :
//geoname/countryName/text()

 

Un service difficile à mettre en œuvre, mais un véritable service aux chercheurs

Photo credit: Ian Muttoo via Visualhunt / CC BY-SA

Credit : Ian Muttoo / CC BY-SA

En combinant des outils comme RapidMiner, des algorithmes de text-mining et les API de bases de données, les possibilités de collecte et d’enrichissement de données semblent infinies. Cette compétence en ingénierie des connaissances (au croisement de la documentation, de la linguistique et du traitement des données) appliquée à la documentation scientifique constitue sans nul doute un véritable service pour les chercheurs. C’est un service qu’on pourrait aussi adosser à ceux déjà en place de numérisation et d’océrisation de documents plus ou moins anciens. Enfin, sur le plan technique, on pourrait aussi revoir une bonne partie du dispositif de veille que nous avions décrit dans ce billet.

Nous ne semblons pas être les seuls à proposer ce type de services, nous pensons en effet déceler une activité proche à la BU de l’Université Nice Sophia Antipolis sur cette page dédiée à la manipulation et la gestion de données. Par ailleurs, l’INIST travaille sur l’ingénierie des connaissances avec un service formalisé dans le Copist dans l’offre de services n° 4 : « Analyser la production scientifique ». Notre expérience est au stade du balbutiement, nous espérons avec ce billet repérer d’autres aventuriers qui souhaiteraient partager leur expérience et mettre en commun leurs outils.

 

textmining
[Photo en une : Maurits Verbiest / CC BY]

 

 

Citer ce billet : Bordignon F., "Le text-mining comme service aux chercheurs," in Carnet'IST, 05/03/2016, http://carnetist.hypotheses.org/572. Consulté en ligne le 31/05/2016.

Vous aimerez peut être aussi...

6 Réponses

  1. Lully dit :

    Bonjour
    Merci beaucoup pour ce retour d’expérience très intéressant et la présentation de
    effectivement, le SCD de Nice développe une offre de services similaire, décrite de manière relativement large pour laisser venir toutes sortes de demandes autour de la manipulation automatisée ou semi-automatisée des données. En espérant que ça s’élargisse à un grand nombre de SCD, et qu’on arrive à construire une articulation cohérente avec les initiatives et acteurs nationaux

  2. Pascale BOUTON dit :

    Merci, j’ai lu avec intérêt vos recommandations outils & méthodologiques !
    Sauf erreur, il me semble que l’INRA propose ce service personnalisé dans son offre aux chercheurs.
    Et pour info, la Bibliothèque de l’EPFL (Lausanne, Suisse) a proposé en novembre 2015 un atelier sur le sujet afin de sensibiliser les chercheurs, à travers le retour d’expérience d’un doctorant: http://library.epfl.ch/cms/site/library3/lang/fr/open-science-workshops

  3. Sophie Aubin dit :

    L’appropriation des technologies text mining par des non spécialistes du domaine reste effectivement toujours problématique. Le second frein est, comme vous le soulignez, l’aspect juridique auquel on se retrouve très vite confronté, dès lors qu’on cherche à analyser de façon massive la littérature scientifique.
    OpenMinTeD, projet d’infrastructure européen qui a démarré en juin dernier, vise justement à faciliter l’utilisation des technologies text mining, via des outils ou des services, par les scientifiques de tous domaines et ceci dans un cadre légal.
    L’INRA est un des 16 partenaires du projet, comme fournisseur de technologies et pourvoyeur de cas d’usage dans les domaines de l’Agriculture et de la Biodiversité.
    Je vous invite à découvrir le site du projet OpenMinTeD : http://openminted.eu/ et suivre ses actualités sur les réseaux Twitter : @openminted_eu et LinkedIn : https://www.linkedin.com/groups/8402199

    • Frédérique dit :

      Effectivement, projet prometteur. J’attends avec impatience les premières réalisations pour pouvoir les tester.

  1. 15/03/2016

    […] avec un intérêt tout particulier que j’ai pu lire cet article de Frédérique BORDIGNON daté du 5 mars 2016. Il met en lumière les possibilités de collecte et […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *