SudocToolkit, une application pour faciliter l’utilisation des web services de l’Abes

Cet article est proposé par Géraldine Geoffroy (SCD Université Nice Sophia Antipolis) en tant que porteuse de l’application SudocToolkit,  première contribution partagée via la toute récente communauté Github « abes-esr« . Qu’elle en soit ici vivement remerciée !

Lors d’une session parallèle des dernières Journées Abes (2019), l’équipe informatique de l’Abes a présenté son projet de co-construction d’applications, basé sur l’ouverture des codes sources et le respect des méthodes de l’open source pour le développement et la diffusion des applications, web services, prototypes etc… C’est un changement de braquet notable sur le chemin de la collaboration intra-réseau… et maintenant que l’Abes a fait le premier pas, c’est à nous, membres des réseaux – “bibliothécaires-systèmes” des BU (pour reprendre la terminologie de l’Abes) – d’emprunter le même chemin en partageant, autant que faire se peut, dans un espace commun les codes des applications que nous développons autour des données du Sudoc (et d’Idref, et de theses.fr…), dans et pour nos établissements respectifs.

C’est chose faite pour le SCD de Nice avec la création d’une team azur-scd dans l’espace Github abes-esr, et le transfert d’une première application répondant au nom de SudocToolkit.

L’esprit de cette application…

… est de fournir, via l‘installation d’un utilitaire sur son PC, une interface utilisateur pour faciliter l’accès et l’usage des web services du Sudoc, notamment pour ceux qui ne sont pas  « bibliothécaire-système » mais ont tout de même besoin d’obtenir de manière automatisée certaines données au-delà du niveau local, par exemple dans le cadre d’opérations de gestion de collection (ex : nombre de bibliothèques localisées dans le catalogue Sudoc, correspondance entre ISBN et ppn(s) …). 

Techniquement (enfin, plutôt non techniquement justement !), le recours à une API de type REST, est relativement simple : il suffit de construire l’URL de sa requête en associant l’URL racine de l’API et les paramètres souhaités (en clair : il faut lire la documentation de l’API), puis d’envoyer sa requête par le protocole HTTP au serveur (en clair : taper l’URL dans la barre d’adresse de son navigateur). 

Là où les choses se corsent, c’est au moment d’exploiter les données structurées – en général sérialisées en XML et/ou JSON – renvoyées par le serveur : on peut interroger manuellement une API avec quelques requêtes et examiner de visu les flux de résultats (voir par exemple cette requête issue de la documentation dans l’espace pro de l’Abes). Cependant, ces standards sont avant tout dédiés à l’échange de données entre machines, l’intervention humaine consistant éventuellement à écrire le programme intermédiaire qui explore, reformate, transforme ou enrichit les données. 

L’accès (automatisé et en autonomie s’entend) à des données, pourtant ouvertes et distribuées par ce type de services, ne va donc pas forcément de soi pour la plupart des bibliothécaires. Pourtant, comme c’est le cas pour les données du Sudoc, celles-ci peuvent s’avérer indispensables aux opérations de gestion courante des collections – hélas non disponibles facilement, car non gérées par les SIGB (c’est le cas des localisations Sudoc par exemple).

Parmi les configurations concrètes possibles…

… citons par exemple le cas où la bibliothèque a besoin de connaître le taux de recouvrement de sa collection avec le Sudoc sur la base d’un listing d’ISBN (traitement de dons, rétro-conversion) ; de vérifier les ppn de sa base locale qui auraient été fusionnés depuis leur intégration (quand le SIGB ne gère pas les mises à jour de fusion) ; de disposer des RCR localisés dans le Sudoc lors d’opérations de désherbage…

SudocToolkit constitue une réponse possible (et modeste) à ce type de problématiques, même s’il en existe d’autres, plus complètes, qui répondent à la même logique d’intermédiation entre flux de données structurées et utilisateur “lambda” (voir par exemple la plateforme EzLibrAPI réalisée, et présentée lors de cette même session parallèle, décidément très instructive, par les collègues lillois de la BU Vauban de l’université Catholique de Lille).

Installation et utilisation

SudocToolkit se présente comme une application de bureau, développée en Javascript avec le framework Electron, installable sous Windows avec un exécutable accessible en téléchargement ici : https://github.com/abes-esr/SudocToolkit/releases (choisir la version la plus récente).

Après avoir téléchargé et dézippé l’archive n’importe où sur votre poste, il suffit de double-cliquer sur SudocToolkit.exe pour lancer l’application. Vous pouvez également créer un raccourci depuis votre bureau par un clic droit sur SudocToolkit.exe puis « Envoyer vers -> Bureau » (et renommer le dossier dézippé).

L’utilisation de l’application est censée être simple (sinon ça signifie que c’est raté !) et logique : on part de l’import d’un fichier au format .csv comportant a minima une colonne d’identifiants sources (ppn, ISBN ou ISSN) et on aboutit à la fourniture en sortie d’un fichier de résultats (au format csv) comportant une colonne supplémentaire générée avec les données récupérées grâce à l’API utilisée.

A noter quelques fonctionnalités additionnelles :

  • après avoir importé un fichier de départ, l’application analyse les différentes colonnes : il est alors possible de sélectionner la colonne des identifiants sur lesquels on souhaite faire tourner le web service choisi, puis les colonnes qu’on souhaite conserver dans le fichier produit en sortie.

                                      

  • permet de suivre en temps réel la progression des appels successifs au web service

                                        

  • propose une visualisation synthétique consolidée de la répartition des résultats

                                   

Pour l’instant (mais ce n’est qu’un début !), 4 API sont interrogeables via le SudocToolkit. Elles permettent de réaliser les opérations suivantes :

  • « isbn2ppn : compter le nombre de ppn renvoyés par isbn » : permet, sur la base d’ISBN (10 ou 13, tirets acceptés), de compter le nombre de ppn renvoyés par le web service isbn2ppn
  • « isbn2ppn : obtenir les ppn uniques par isbn » : utilisé dans le cas où, via l’opération précédente, on sait déjà qu’un ppn unique correspond à chaque ISBN, ce web service permet, sur la base d’ISBN, d’obtenir la valeur de chaque ppn
  • « issn2ppn : obtenir les ppn uniques par issn »: idem, sur la base d’ISSN (avec ou sans tirets) ;
  • « merged : obtenir les ppn préférés en cas de fusion »: sur la base de ppn, obtenir le ppn actif si fusion par le web service merged ;
  • « multiwhere : compter les localisations par ppn » : sur la base de ppn, compter le nombre de RCR localisés et renvoyés par le web service multiwhere.

C’est une première version, cette application est possiblement amenée à s’enrichir avec d’autres web services ou des fonctionnalités supplémentaires, notamment en fonction des besoins exprimés. Et justement, pour vous exprimer,  vous pouvez :

Géraldine Geoffroy, SCD-BU Université Nice Sophia Antipolis, Département Sidoc, chargée d’ingénierie documentaire


 

 

 

Continuer la lecture

L’Abes soutient la recherche en humanités numériques (2) : retours sur une coopération fructueuse avec le LARHRA

NB – Ce billet prolonge et détaille le billet FilAbes publié à la même date.

Le 1er juillet 2019, le conseil d’administration de l’Abes a validé la convention de coopération entre l’Abes et le LARHRA – Laboratoire de Recherche Historique Rhône-Alpes (UMR CNRS 5190) situé à Lyon et à Grenoble.

Cette convention formalise une coopération déjà ancienne qui, depuis 2014, vise à promouvoir la réflexion et les actions en faveur de l’interopérabilité des données. Ainsi du projet  Siprojuris – Système d’information des professeurs de Droit (1804-1950), dans lequel les éléments descriptifs des professeurs de droit référencés ont été nativement enrichis par un identifiant IdRef, ce qui permet d’accéder, par rebond, aux références bibliographiques associées dans le Sudoc, comme l’illustre la page ci-dessous

 

Continuer la lecture

Comment favoriser la co-construction d’applications au sein des réseaux de l’Abes ?

Crédits Pixabay

Lors des Journées Abes 2019, la session parallèle  intitulée “Comment faciliter la co-construction d’applications au sein des réseaux de l’Abes ?” a donné l’occasion de riches échanges avec la centaine de participants présents.

 

Retours d’expérience

ezPAARSE

Dans un premier temps, l’équipe ezPAARSE a montré comment les principes de contribution au logiciel libre ont été exploités – au sein de la communauté de l’ESR et au-delà – lors de la co-construction d’ezPAARSE,  logiciel destiné à l’analyse des logs d’accès aux ressources électroniques des bibliothèques. – voir la présentation

 

Continuer la lecture

Une politique informatique ouverte pour l’Abes

En ce mois de juin 2019, le schéma directeur informatique est en cours de définition à l’Abes. Venant en soutien au projet d’établissement 2018-2022, ce schéma, entre autre thèmes abordés, promeut l’ouverture des codes sources des applications développées pour les réseaux de l’Abes. Voici les principaux gains attendus  :

  • faciliter les échanges et les partages
  • faciliter les innovations collaboratives qui peuvent se traduire par la co-construction d’applications au sein des réseaux de l’Abes
  • améliorer la qualité et la sécurité logicielle par la transparence
  • valoriser les réalisations techniques

Un Git Hub pour l’Abes et les établissements

L’Abes décide d’ouvrir les codes sources de toutes les applications qu’elle développera à partir de maintenant pour les réseaux de l’Abes. Ces codes sont et seront versés sur la très populaire plateforme GitHub pour en maximiser la visibilité et faciliter la collaboration. L’organisation Github se nomme « abes-esr », elle est accessible ici :

https://github.com/abes-esr/

Continuer la lecture

CERCLES : bilan du chantier AMS

Le chantier CERCLE « AMS – American Mathematical Society »

Description du corpus

Crédit image : David Stewart

Plusieurs bibliothèques membres du RNBM acquérant des collections d’ebooks publiées par l’American Mathematical Society (AMS), trois d’entre elles ont choisi de participer à un chantier commun CERCLES AMS. Ce travail de correction et d’enrichissement de notices concernait un total de 2760 notices d’ebooks, et presque autant de monographies imprimées.

Le chantier a été circonscrit aux 13 collections disponibles en ebooks au moment de l’ouverture du chantier (l’éditeur a publié depuis de nouvelles collections)

  1. Mathematical Surveys and Monographs (1943 – 2015) : ​SURV​ 215 notices
  2. Graduate Studies in Mathematics (1993-2013) : ​GSM​ 127 notices
  3. Student Mathematical Library (1999-2015) : ​STML​ 73 notices
  4. University Lecture Series (1989-2015) : ​ULECT​ 63 notices
  5. Memoirs of the AMS (1950-2015) : ​MEMO​ 1141 notices
  6. Proceedings of Symposia in pure Mathematics (1959-2015) : ​PSPUM ​117 notices
  7. Proceedings of Symposia in Applied Mathematics (1949-2014) : ​PSAPM​ 73 notices
  8. Contemporary Mathematics (1980-2015) : ​CONM​ 665 notices
  9. CBMS Regional Conference Series in Mathematics (1970-2015) : ​CBMS​ 129 notices
  10. Colloquium Publications (vol.1(1905)-vol.62(2016)) : COLL 63 notices
  11. AMS non-series monographs (2007-2015) :​ MBK​ 53 notices
  12. CBMS Issues in Mathematics Education (1990-2012) : ​CBMATH ​18 notices
  13. Mathematical World (1991-2013) : ​MAWRLD​ 23 notices

Il a également été nécessaire de définir un état de collection précis, notamment pour les collections vivantes ayant un accroissement annuel. L’année 2015 a dans la plupart des cas été choisie comme année de clôture : il s’agissait en effet de la dernière année complète au moment du démarrage du chantier et de l’import des notices de l’éditeur.

Description du chantier

Les 3 établissements ayant participé au projet

Continuer la lecture

Nouveau workflow d’import automatisé dans le Sudoc : première évaluation


Licence : Paternité. Pas de modification. Certains droits réservés par mbtphoto (away a lot). Source Flickr

Ce billet s’inscrit dans la continuité de l’article Vers un nouveau workflow d’imports de données dans le Sudoc : les notices des ouvrages publiés par Oxford University Press.

Suite aux retours des d’établissements ayant répondu à l’appel lancé le 4 février dernier via la liste Corcat  “Votre avis sur la qualité des notices Oxford University Press – import courant”, l’Abes a pu dresser un premier bilan et adapter ce workflow.

Continuer la lecture

Un nouveau web service pour les Plans de Conservation Partagée des périodiques


Un nouveau webservice PCP2RCR développé par les équipes de l’Abes est à la disposition des utilisateurs pour obtenir la liste – et la géolocalisation – des bibliothèques (RCR) participant à un Plan de Conservation Partagée (PCP) de Périodiques.

Pour fonctionner, ce webservice utilise la présence, dans les données d’exemplaires, de la sous-zone 930$z [code PCP], ce qui permet de faire remonter les bibliothèques concernées par un PCP ainsi que les informations les concernant : n° ILN, n° RCR, identifiant IdRef de la notice RCR, Nom de l’établissement, Intitulé court de l’établissement, Adresse, Téléphone, Email, Site web, Type de bibliothèque, Latitude, Longitude.

De plus, ce webservice facilite la détection d’erreurs manifestes, comme par exemple les données de latitude/longitude ou la présence d’un code PCP erroné dans un exemplaire.

Continuer la lecture

CERCLES : le premier chantier dédié aux autorités


En 2015, naissait le dispositif CERCLES (voir le billet) mis en place par l’Abes pour accompagner, aider et valoriser un établissement souhaitant s’investir sur l’enrichissement des données d’un corpus de documents spécifique. Initiée avec 4 établissements, l’expérimentation fut concluante : très vite, d’autres établissements ont rejoint le dispositif puisque 3 ans après, on dénombre 17 chantiers CERCLES d’enrichissements de données bibliographiques.

Dès sa mise en place, l’Abes annonçait son intention d’étendre le dispositif d’accompagnement à d’autres types de données afin de créer un cercle vertueux. Le dispositif a en effet été pensé afin de s’adapter à tous les corpus, puisqu’il s’agit :

    • pour l’établissement : d’enrichir des données
  • pour l’Abes : de conseiller, de faciliter par des traitements automatiques et de rendre compte

Continuer la lecture

Vers un nouveau workflow d’imports de données dans le Sudoc : les notices des ouvrages publiés par Oxford University Press


[English abstract at the bottom of this blog’s post]D’un point de vue technique, charger des corpus de livres dans le Sudoc n’est pas très difficile. Depuis plusieurs années, les équipes de l’Abes importent régulièrement des ensembles de notices MARC en provenance de différents éditeurs (Springer, CAIRN …) et, globalement, ces notices sont bien utilisées par les bibliothèques du réseau.

Pourquoi un nouveau workflow d’imports de données dans le Sudoc ?

Pour autant, on a pu constater que ce système comporte des limites : en amont, il n’est pas toujours évident de récupérer auprès des éditeurs des notices MARC – si possible de bonne qualité, cette démarche exigeant généralement de nombreux aller-retours. En aval, ce type d’opérations de chargement dans le Sudoc requiert des interventions et compétences spécifiques, relativement rares à l’Abes. Autant d’éléments qui rendent les processus actuels difficilement scalables et difficile aussi l’atteinte de l’objectif de signalement total. Aussi, il s’est avéré indispensable de réfléchir  à la conception de nouveaux  workflows,  afin de réaliser automatiquement les opérations d’ingestion,  transformation, enrichissements et chargement dans le Sudoc.

Continuer la lecture

Utiliser un webservice de l’Abes sans être développeur : vers l’infini et au-delà


punktokomo_these_5logo_-abes1.pngSuite aux Journées Abes 2018 et  au tutoriel de Sylvain Machefert (Bibliothèques de l’Université Bordeaux Montaigne) sur l’utilisation des WebServices de l’Abes (NNT2PPN, PPN.xml, etc.) via OpenRefine, le service des Thèses de l’Abes s’est dit que, oui, vraiment, mettre en regard le nombre de thèses de doctorat publiées en version commerciale et le périmètre de diffusion en ligne choisi par les docteurs était une bonne idée !

Nous avons donc reproduit le projet de Sylvain Machefert en l’élargissant à l’ensemble des thèses de doctorat soutenues, déposées au format électronique et traitées dans STAR.

Continuer la lecture