Les API de l’Abes disponibles au format OpenAPI sur api.gouv.fr

Depuis sa création, l’Abes développe une gamme d’applications destinées à la production, au traitement et à l’administration des données par les réseaux documentaires de l’ESR. Dès 2010, dans le cadre d’une politique volontariste en faveur de l’ouverture et de l’interopérabilité des données, une nouvelle catégorie de services s’est déployée pour une plus large réutilisation des données par les systèmes d’information :  une gamme de web services a ainsi  été mise progressivement à la libre disposition des professionnels de la documentation et des développeurs afin de faciliter l’extraction et la réutilisation des données en provenance des différentes bases gérées par l’Abes : Sudoc, Calames, IdRef, BACON, Theses.fr, STAR, STEP…

Jusqu’à présent, les web services de l’Abes étaient accompagnés de documentation sous forme de pages HTML, comme par exemple : http://documentation.abes.fr/sudoc/manuels/administration/aidewebservices/index.html.

Cependant, avec une quarantaine de web services disponibles aujourd’hui,  il devenait important d’harmoniser leur présentation, d’optimiser leur exposition et d’affiner leur documentation. Pour ce faire, en conformité avec sa politique de développement,  l’Abes a décidé de décrire ses API avec le standard OpenAPI : https://github.com/abes-esr/abes-politique-developpement/blob/main/08-Documentation.md

A noter : Le vocabulaire et les socles informatiques ayant considérablement évolué depuis 2010, on regroupe désormais ces ensembles de web services sous l’appellation générique d’API – Interface de Programmation Applicative, solution informatique permettant à des applications de communiquer entre elles et de s’échanger mutuellement des données.

Les API de l’Abes en OpenAPI

En 2010, la startup Swagger initiait un projet, devenu populaire au fil des années, qui permettait aux développeurs de définir et documenter des API en y incluant le code source. En 2016, des géants du secteur (Google, Microsoft, etc.) rejoignent l’initiative pour la faire évoluer. La spécification Swagger, alors renommée Spécification  OpenAPI définit, pour les API les plus courantes (de type REST / HTTP), un standard utilisé par les humains comme par les machines.

Lors du développement d’une nouvelle application, il est assez simple de produire la documentation de son API en OpenAPI, à l’aide de librairies logicielles, telles que SpringDoc. En effet, il suffit d’inclure ce type de librairie dans les dépendances de la nouvelle application, et d’utiliser les annotations adéquates, pour que la documentation soit automatiquement générée. Ainsi, les nouveaux web services développés par l’Abes – et bientôt utilisés par l’outil de curation paprika.idref.fr, intègrent une documentation OpenAPI :

En revanche,  cette transformation s’avère plus compliquée pour les API plus anciennes : celles-ci n’utilisant pas forcément de framework  (de type Spring), il n’y a pas de moyen automatique et simple pour produire la documentation OpenAPI. L’effort de rédaction étant plus conséquent, il a été décidé de documenter en priorité les web services les plus utilisés.  Cette démarche s’appuie sur l’éditeur d’OpenAPI, Stoplight, outil gratuit pour la conception de documentation OpenAPI « à la main », via des formulaires qui aident et contrôlent la saisie. Ces documentations sont ensuite versionnées sur un espace Github dédié : https://github.com/abes-esr/openapi

Publication des OpenAPI de l’Abes sur api.gouv.fr

Pour publier les OpenAPI, le choix du site api.gouv.fr  s’est naturellement imposé, le site référençant les API du service public (collectivités, ministères, entreprises…) pour construire des services informatiques pour tous. De plus, les fonctionnalités disponibles facilitent largement l’usage et l’accès aux web services concernés.

Lors du chargement des OpenAPI sur api.gouv.fr,  un formulaire interactif est généré. Celui-ci liste les web services composant l’API et fournit, lorsque c’est pertinent, les liens vers la documentation HTML. Il est facile de saisir rapidement la structure et le fonctionnement de chacune des API, chaque paramètre possédant également sa description et une valeur exemple. Lorsque c’est nécessaire, une expression régulière donne le format attendu. A l’aide de ce formulaire, il est même possible de tester directement un appel au web service.

Retrouver les API mises à disposition sur api.gouv.fr :

 

Continuer la lectureLes API de l’Abes disponibles au format OpenAPI sur api.gouv.fr

Apache Kafka : une nouvelle brique logicielle pour le Système d’Information de l’Abes

Afin de faire face au volume croissant d’informations qu’engendre l’évolution constante des métiers et des technologies, l’Abes relève de nombreux défis. L’un d’entre eux consiste dans le besoin de gérer les flux de grandes quantités de données entre diverses applications, de manière fiable et en temps réel.

Pour y répondre, le Service Urbanisation et Pilotage Informatique (SUPI) a mis en place un démonstrateur basé sur la solution Apache Kafka, solution informatique également utilisée par des collègues de la communauté de la documentation et en particulier par Swissbib et par l’INA avec qui l’Abes a échangé à plusieurs reprises.

Kafka : définition

Bien connu dans le monde de l’informatique, Kafka fait partie de la famille des bus de messages. A noter que dans cette famille, nous retrouvons les outils suivants, chacun ayant quelques nuances : RabbitMQ, ApacheMQ, ZeroMQ, Redis.

Continuer la lectureApache Kafka : une nouvelle brique logicielle pour le Système d’Information de l’Abes

IdRef : chantier qualité autour des notices d’autorité Personnes physiques de statut 1

Logo Chantier Qualité IdRefL’Abes sollicite la participation des Correspondants Autorités pour enrichir des notices d’autorités beaucoup trop succintes,

Le problème et la finalité du chantier

Le chantier concerne des notices de personnes physiques Tp1, issues de chargements de notices élémentaires d’origine BnF faits il y a quelques années. Le plus souvent, elles sont réduites à un point d’accès, sans données codées, sans mention de source, liées à peu de notices bibliographiques (voire mal liées).

Notice exemple
Notice PPN 057140057 en format professionnel, sans données codées, ni 340, ni 810.

 

L’existence de ces notices d’autorité pauvres est un problème pour la qualité globale du catalogue :
– elles génèrent du bruit pour le catalogueur qui souvent, faute d’élément discriminant, ne les traite pas ;
– elles perturbent le fonctionnement des programmes automatisés, notamment d’alignement, que l’Abes a développé depuis quelques années.
L’Abes souhaite aboutir à la disparition de ces notices au profit de notices enrichies et fiabilisées, basculées en statut 5 pour acter ces améliorations.
La finalité du chantier est de faire disparaitre le statut 1 dans les notices d’autorité Personnes physiques.

Continuer la lectureIdRef : chantier qualité autour des notices d’autorité Personnes physiques de statut 1

« Épatant : ça nous bouge ! » : les ressources continues, en direct de la BnF et d’ISSN France

Épatant : ça nous bouge !

Tel est le titre de la première notice en provenance d’ISSN France importée directement dans le Sudoc (PPN 260627062 ; ISSN 2804-715X). En l’occurrence, il s’agit d’un site web, occasion de rappeler que les ressources continues ne se limitent pas aux publications en série et aux collections, mais incluent aussi les « ressources intégratrices », c’est-à-dire des ressources dont le contenu peut être augmenté ou modifié par des mises à jour.

Cette intégration directe constitue une évolution fondamentale, la première de cette importance depuis la mise en place du Catalogue collectif national des publications en série (CCN-PS), ancêtre du Sudoc en matière de signalement et de localisation des ressources continues dans les bibliothèques françaises.

copie de la notice dans winibwi
Copie de la notice dans WinIBW : on remarque le lien vers le site, mais aussi vers sa version archivée via Internet Archive. A noter : la notice ne sera disponible dans le Sudoc public qu’une fois « localisée ».

Continuer la lecture« Épatant : ça nous bouge ! » : les ressources continues, en direct de la BnF et d’ISSN France

L’association KohaLa et l’Abes : une coopération sous le signe de la qualité des données

KohaLa est une association professionnelle francophone qui a pour objet le développement, la documentation, la protection, la promotion, et la diffusion du logiciel libre de gestion de bibliothèque Koha. Elle regroupe des utilisateurs et des développeurs et organise plusieurs événements afin de favoriser les partages d’expérience et de participer à l’évolution de Koha.

Lors de l’assemblée générale 2020 de l’association, nos adhérents membres du réseau Sudoc ont émis le souhait de voir KohaLa collaborer avec l’Abes pour réfléchir aux évolutions possibles dans les échanges entre Koha et les outils de l’Abes. Nous avons donc contacté l’Abes pour faire part de notre souhait de travailler ensemble selon des modalités à définir.

Les webservices de l’Abes à la rescousse

Au printemps 2021, KohaLa s’est lancé dans l’organisation d’un hackaton dont l’une des thématiques était l’amélioration des échanges entre Koha et l’Abes. Des bibliothécaires (dont des correspondants Sudoc) et prestataires Koha ont participé ainsi que des collègues de l’Abes. Les discussions se sont orientées vers l’exploitation possible des webservices mis à disposition par l’Abes et sur la question de l’usage qui pourrait en être fait dans Koha. Un besoin partagé est apparu : avoir un contrôle qualité de son catalogue et par là même du catalogue Sudoc.

Continuer la lectureL’association KohaLa et l’Abes : une coopération sous le signe de la qualité des données

IdRef : chantier qualité autour des notices d’autorité Collectivités pour les besoins de Mir@bel

Logo Chantier Qualité IdRef

 

L’Abes et le réseau Mir@bel s’associent pour améliorer, avec l’aide des professionnels des réseaux Sudoc et Sudoc-PS, le signalement et les métadonnées descriptives des ressources continues publiées par l’édition scientifique française.

Le contexte du chantier

L’Abes est partenaire du réseau Mir@bel dans le projet MIRABEL2022 : « Favoriser la circulation ouverte des données d’identification et de référencement des revues et éditeurs scientifiques français et leur donner une visibilité internationale (DOAJ, Sherpa/Romeo) grâce à la coopération des acteurs impliqués dans l’écosystème de l’édition », financé par le Fonds national pour la science ouverte (FNSO) pour la publication et l’édition scientifiques ouvertes.

Pour l’Abes, l’objectif du projet est d’améliorer le taux de liage entre IdRef et les données éditeurs de Mir@bel, taux qui s’élève actuellement à environ 70% pour les éditeurs français, de façon à obtenir une couverture complète pour le corpus considéré.

Continuer la lectureIdRef : chantier qualité autour des notices d’autorité Collectivités pour les besoins de Mir@bel

Un bilan enthousiasmant du premier chantier CERCLES consacré aux autorités

Ce billet fait suite à un 1er billet, paru en 2018, consacré à ce chantier lors de son lancement.

La Bibliothèque Henri-Piéron, référence pour la psychologie universitaire

Bibliothèque Henri-Piéron
BU Henri-Piéron (Bibliothèques Université de Paris)

Aujourd’hui rattachée à la Direction Générale des Bibliothèques et Musées d’Université de Paris (qui résulte de la fusion des Universités Paris Descartes et Paris Diderot), la Bibliothèque Henri-Piéron a été fondée en 1889, en Sorbonne, au sein du premier laboratoire français de psychologie. Elle est ensuite devenue celle de l’Institut de psychologie de Paris lorsqu’il fut créé par Henri Piéron en 1921.

Ainsi la bibliothèque a mis ses collections au service de la psychologie scientifique depuis la naissance même de cette discipline universitaire. En 2017,  elle est nommée “délégataire” CollEx- Persée pour les domaines de la psychologie, de la psychanalyse, des sciences cognitives et des neurosciences, sur un programme qui comprend, entre autres, la création d’un plan national de conservation partagée des périodiques (“PCPsy”) et son prolongement numérique dans Persée, ainsi qu’une campagne d’enrichissement systématique des notices d’autorité des psychologues et de leurs institutions.Savante alliance de deux dispositifs

Soucieuse de “faciliter l’accès et de favoriser l’usage des collections de bibliothèques par les chercheurs”, ce qui est l’objectif premier de CollEx-Persée, la bibliothèque Henri-Piéron souhaite avant tout travailler sur les notices d’autorité afin de renforcer la visibilité dans l’écosystème IdRef de la production scientifique en psychologie et dans les disciplines connexes. Il s’agit de corriger, d’enrichir ou de créer, le cas échéant, les notices décrivant des personnes (les chercheurs en psychologie) et des collectivités (les universités, les congrès, les laboratoires), de relier à ces autorités les notices décrivant les ressources documentaires et enfin d’enrichir d’une indexation matière de qualité les titres de périodiques en psychologie.
Pour mener ce travail dans les meilleures conditions, la bibliothèque bénéficie, dès 2018, de deux dispositifs qui vont se compléter :

Continuer la lectureUn bilan enthousiasmant du premier chantier CERCLES consacré aux autorités

Retour sur un an de partenariat entre Mir@bel et l’Abes

Logo de Mir@belEn septembre 2020 et entre deux confinements, l’Abes devenait partenaire-veilleur au sein du réseau Mir@bel. Si la situation sanitaire n’a pas encore permis de donner la réciproque à la semaine d’immersion réalisée à l’Abes par l’un des membres pilotes de Mir@bel en mars 2020, le partenariat entre les deux structures n’a cessé depuis de prendre de l’essor. Ce billet est l’occasion de faire un bilan de cette année, riche de coopération mutuelle. Il fait suite aux deux précédents, qui en retracent la genèse :

Un partenariat orienté vers la curation des données

En devenant partenaire-veilleur du réseau Mir@bel, l’Abes s’est engagée à suivre trois ressources – la revue Arabesques, le blog technique Punktokomo et Didak’TIC, magazine réalisé par les étudiants de l’université Paul Valéry de Montpellier – pour lesquelles elle vérifie périodiquement la complétude et l’exactitude des données, informations et accès en ligne renseignés. Un suivi somme toute peu contraignant en comparaison de certains partenaires veilleurs, qui suivent plus d’une centaine de revues, mais qui s’explique par le fait que l’Abes s’implique activement dans ce partenariat sous l’angle de la curation et de la valorisation des données et des contenus.

Mir@bel met à disposition de ses membres partenaires une interface de vérification des données, où des requêtes habillées permettent de repérer un certain nombre d’éléments à vérifier et à corriger, parmi lesquels des liens erronés, des titres pour lesquels la mention d’édition est manquante ou des titres indexés dans ROAD  (Répertoire des ressources scientifiques et universitaires en accès libre, développé par le Registre de l’ISSN en collaboration avec la division Information et Communication de l’UNESCO) ou dans le DOAJ  (Directory of Open Access Journals) sans qu’un accès en ligne soit signalé.

Mir@bel propose également des points de vérification développés spécifiquement à l’attention des membres du service des Ressources Continues (SRCO), en charge à l’Abes de la gestion et du développement des données descriptives des ressources continues et de leurs accès. Ainsi, en un an, le SRCO a effectué plus de 700 interventions (modifications ou ajouts) directement sur des données du portail Mir@bel, dont une partie seulement est issue de la consultation de l’interface de vérification des données de Mir@bel : en effet, la mise en place de nombreux alignements et flux d’échanges de données a permis de développer en parallèle un circuit automatisé de vérification et d’amélioration réciproque de ces données.

Continuer la lectureRetour sur un an de partenariat entre Mir@bel et l’Abes

KaliDoS, un outil de vérification des règles de catalogage bibliographique – partie 2

Ce billet est le second d’une série de deux :
1. la partie 1 détaille la modélisation des règles de vérification
2. la partie 2 détaille l’architecture de l’application et ses interfaces

Afin d’améliorer la qualité de son catalogue et de rendre le contrôle qualité des notices bibliographiques plus efficace, le SCD de l’UCBL a souhaité se doter d’un outil de diagnostic, KaliDoS (Qualité des Données du Sudoc). Après une présentation sur la modélisation des règles, nous décrivons dans ce second billet l’architecture de KaliDoS ainsi que les fonctionnalités et les interfaces de l’application.

Architecture de KaliDoS

L’application suit une architecture client-serveur : sur la figure suivante, le serveur stocke les jeux de règles et les résultats dans des fichiers JSON. En plus de la présentation des interfaces, le côté client est en charge d’exécuter le contrôle qualité, après avoir récupéré les notices auprès de deux fournisseurs (IdRef et Sudoc) ainsi que le jeu de règles depuis le serveur. La dockerisation facilite le déploiement de l’application ainsi que son redémarrage en cas d’arrêt critique.

Architecture de KaliDoS

Continuer la lectureKaliDoS, un outil de vérification des règles de catalogage bibliographique – partie 2

KaliDoS, un outil de vérification des règles de catalogage bibliographique – partie 1

Ce billet est le premier d’une série de deux articles :
1. la partie 1 détaille la modélisation des règles de vérification
2. la partie 2 détaille l’architecture de l’application et ses interfaces

Chaque année, l’Université Claude Bernard Lyon 1 (UCBL) signale, en moyenne, 23 000 nouveaux titres dans le Sudoc, dont environ 5 000 qui nécessitent la création d’une notice bibliographique et sont, pour la plupart, des ‘unicas’ (documents possédés uniquement par le SCD de l’UCBL, par exemple des thèses, des mémoires, des fonds anciens numérisés).
La qualité de ces notices bibliographiques est primordiale pour garantir l’accès aux ressources. Pourtant, peu d’applications existent pour faciliter le contrôle qualité. De plus, elles sont non exhaustives voire obsolètes du fait de l’évolution des règles de catalogage.
En collaboration avec le SCD, un groupe de six étudiant.e.s du Master 2 « Technologies de l’information et du web » de l’UCBL a donc été chargé de développer une application, nommée KaliDoS (Qualité des Données du Sudoc), permettant de détecter, parmi un lot de notices, celles qui ne respectent pas un ensemble de règles.
La modélisation des règles à appliquer pour valider (ou non) les notices constituait un des enjeux majeurs de ce projet.

Modèles de règles

L’un des défis pour l’implémentation de KaliDoS réside dans la gestion des règles, que ce soit pour leur représentation ou leur utilisation. Différents types de règles ont été identifiés. Cette catégorisation permet de rendre générique la définition de ces règles, et donc d’en ajouter plus facilement.

Continuer la lectureKaliDoS, un outil de vérification des règles de catalogage bibliographique – partie 1
Aller au contenu principal