Quand la base de données d’ITEM a disparu : retour sur l’incident de fin janvier 2024
Date de début de l’incident: 26/01/2024 à 12h20Date de fin de l’incident : 05/02/2024 à 11h04Type d’incident : Critique
Non classé
Date de début de l’incident: 26/01/2024 à 12h20Date de fin de l’incident : 05/02/2024 à 11h04Type d’incident : Critique
Ce billet propose un point technique sur la façon d’articuler Calames et Wikimedia Commons. Consulter le billet Fil Abes à ce sujet
Récupérer les données produites dans le cadre du signalement dans Calames afin de les importer sur Wikimedia Commons, plateforme comportant des dizaines de milliers d’utilisateurs dans le monde, semble d’emblée une bonne idée. Pour ce faire, l’Abes se devait de répondre d’un point de vue technique à la question suivante : comment faciliter le liage entre les métadonnées associées aux ressources Calames et Wikimedia Commons ?
Le plugin Pattypan s’est vite imposé comme un choix sûr. Développé par la communauté des wikimédiens, régulièrement mis à jour et librement accessible sur GitHub, ce plugin permet de charger des fichiers en masse, ce dans un large choix de formats (jpg, png, pdf, wav, TIFF,…). De plus, il a l’avantage non négligeable de réunir métadonnées et fichiers numériques en un seul import dans Wikimedia Commons, les données étant prises en charge dans un simple tableau Excel.
Seul inconvénient identifié, le plugin Pattypan nécessite des compétences en Java pour être exécuté sous Windows. Pour remédier à ce problème, l’Abes a donc décidé de financer une prestation de développement. Celle-ci, réalisée par Wikimédia Suède, a abouti à une version du plugin exécutable directement sous Windows, par un simple double-clic sur une icône dédiée présente sur le bureau. Cette version du plugin est librement téléchargeable sur le GitHub dédié.
Au cours de l’année 2023, l’Abes a préparé son projet d’établissement pour la période 2024-2028. Une équipe Scrum, composée de 10 agents issus des 3 départements de l’Abes, a été mise en place pour travailler de manière itérative sur l’analyse des produits et services de l’Abes, le recueil des besoins utilisateurs, des propositions de services et enfin la rédaction du document de projet.
Pour cette dernière étape, un site web public, doté d’un système permettant aux utilisateurs de déposer des commentaires, a été mis en place : https://projet2024.abes.fr
Cet article a pour objectif de détailler les technologies utilisées pour la conception de ce site web :
Docusaurus Le socle du site est le logiciel libre Docusaurus (dans sa version 2) dont la devise est : « Construisez rapidement des sites web optimisés, concentrez-vous sur votre contenu.”
Il s’agit d’un logiciel très populaire – https://docusaurus.io/showcase – dans le monde de l’IT maintenu par les développeurs de Facebook. Son principal cas d’usage est de simplifier la création et la maintenance de documentation en ligne. Il permet de générer des sites web statiques, fluides au niveau de la navigation et optimisés pour le référencement web.
Début 2022, en s’appuyant sur les données de la base Mir@bel et sur la Base de Connaissance BACON, un corpus d’environ 700 titres étrangers en libre accès ne possédant pas de n°ISSN électronique était identifié. Afin de remédier à ce constat, l’Abes a lancé, à l’aide de l’application CIDEMIS (Circuit dématérialisé des Demandes ISSN), un important chantier de demandes d’attribution de n°ISSN auprès du Centre International de l’ISSN et de son réseau, qui gère, au niveau international, l’identification et la description des ressources continues.
Ce chantier, qui vise à améliorer l’identification des ressources en libre accès, et éventuellement de leur généalogie, en demandant leur numérotation ISSN, concerne un large périmètre, soit 88 pays et 75 Centres Nationaux différents. Rappelons par ailleurs que l’inclusion de publications en libre accès dans les principaux répertoires mondiaux – tels que le DOAJ (« Directory of Open Access Journals« ) ou ROAD (répertoire des ressources scientifiques et universitaires en accès libre) – implique l’attribution d’un identifiant ISSN.
Pour répondre aux demandes des utilisateurs de la base de connaissances BACON - qui souhaitaient, en particulier pour les fichiers relatifs à la presse, une évolution de l'affichage du format des dates présentes dans les fichiers KBart des revues, les dates signalées dans les champs "date_first_issue_online" et "date_last_issue_online", jusqu'alors restreintes à l'année, seront désormais exposées au format AAAA-MM-JJ. Précisons cependant que la présence des dates au format "jour, mois et année" dépendent des données renseignées par les fournisseurs. De fait, si seules les années sont spécifiées, l’équipe en charge de BACON ne complètera pas ces dates. Par défaut, si le jour et le mois ne sont pas indiqués, l’affichage des dates sera construit sur le modèle : [AAAA]-01-01. Cette modification sera effective pour les fichiers chargés dans la base à partir du 12 juin 2023. Pour les versions antérieures, les données exactes des jours et des mois ne sont pas récupérables. Cette évolution est conforme à la recommandation KBart. Consulter : https://groups.niso.org/higherlogic/ws/public/download/16900/RP-9-2014_KBART.pdf Pour toute question, le guichet ABESstp BACON est à disposition : https://stp.abes.fr/node/3?origine=Bacon
Depuis octobre 2020, l’Abes était partenaire du projet ArchéoRef Alignement – ArchéoAl relatif aux notices d’autorité de sites archéologiques, projet financé par CollEx-Persée et porté par l’Institut français d’archéologie orientale du Caire (Ifao). Formellement terminé depuis fin 2022, le projet a fait l’objet d’un rapport scientifique publié courant mars 2023. Au printemps 2023, l’Abes a procédé au chargement des alignements PACTOLS dans IdRef.
Entre 2014 et 2016, le réseau des Écoles Françaises à l’Étranger (EFE), l’Institut français d’archéologie orientale du Caire (Ifao), l’École française d’Athènes (EFA), l’École française de Rome (EFR), l’École française d’Extrême-Orient (EFEO) et la Casa de Velázquez (CVZ) ont mené un premier projet ayant abouti à l’enrichissement de 475 notices d’autorité IdRef décrivant des sites archéologiques. Il s’agissait principalement d’ajouter des coordonnées géographiques dans les notices afin de permettre la géolocalisation des sites.
Consulter les deux billets publiés à ce sujet sur le blog Punktokomo : ici et ici
En 2019-2020, l’Abes a été sollicitée par la Bibliothèque interuniversitaire de la Sorbonne et FRANTIQ, Fédération et Ressources sur l’Antiquité (GDS 3378), dans le cadre d’un autre projet CollEx-Persée : RefDivinités. Il s’agissait de travailler sur des divinités et héros du monde méditerranéen antique, décrits à la fois dans IdRef et dans PACTOLS, thésaurus de référence pour les Sciences de l’Antiquité et l’Archéologie. Ce travail d’enrichissement et d’alignement IdRef <-> PACTOLS a porté sur 663 notices de personnes physiques.
Consulter le billet Punktokomo qui retrace les étapes de ce projet
En 2020, sous la houlette de l’Ifao, les mêmes acteurs sont lauréats d’un nouvel appel à projet Collex-Persée : ArchéoAl commence. Le projet a été mené en deux phases :
En 2015, naissait le dispositif CERCLES (voir le billet) mis en place par l’Abes pour accompagner, aider et valoriser un établissement souhaitant s’investir sur l’enrichissement des données d’un corpus de documents spécifique.
En 2023, un nouveau corpus de ressources électroniques va bénéficier de ce dispositif : Strada lex.
Bien connue des établissements d’enseignement supérieur et universités à composante juridique, cette base de données donne accès à toute l’information juridique européenne.
Elle constitue un bon outil de veille (des actualités sont disponibles, ainsi que la jurisprudence) et une plateforme d’accès à des revues en texte intégral, aux codes et textes réglementaires ainsi qu’à un très grand nombre de monographies électroniques.
Déjà, en 2019, quatre établissements membres du réseau Sudoc, conscients de la nécessité de signaler finement ce corpus, s’étaient associés, de façon informelle, pour cataloguer un grand nombre d’ebooks. Ainsi, grâce à la volonté des SCD des universités de Rennes I (sa dénomination à l’époque), Lille, Paris II Panthéon Assas et Paris Dauphine, 400 notices d’ebooks avaient été créées dans le Sudoc.
En novembre 2022, un incident technique sérieux sur l’infrastructure du SI de l’Abes pénalisait les bibliothèques, les obligeant à reporter toute activité de signalement et à réorganiser les emplois du temps des équipes.
L’Abes se devait de rendre compte de l’évènement aux établissements membres de ses réseaux. Voici donc le déroulé précis de l’incident, ainsi qu’une explication des mesures de correction prises pour l’avenir.
Le week-end du 19 et 20 novembre 2022 était consacré à la maintenance informatique annuelle assurée par l’Abes. Cette intervention importante, planifiée plusieurs semaines à l’avance, est généralement réalisée le week-end afin d’éviter de perturber les services aux établissements, du fait qu’elle nécessite une extinction complète des systèmes de l’Abes.
Pendant ce week-end, l’équipe Infrastructure et Réseau de la DSI de l’Abes a réalisé plusieurs opérations techniques qui se sont déroulées avec succès (mises à jour diverses sur les serveurs, ajouts de nouveaux serveurs, redémarrages d’applications, etc.).
C’est au début de la semaine suivante que des dysfonctionnements sont apparus, deux problèmes indépendants ayant très fortement dégradé les performances des applications :
Depuis sa création, l'Abes développe une gamme d'applications destinées à la production, au traitement et à l'administration des données par les réseaux documentaires de l'ESR. Dès 2010, dans le cadre d'une politique volontariste en faveur de l'ouverture et de l'interopérabilité des données, une nouvelle catégorie de services s’est déployée pour une plus large réutilisation des données par les systèmes d'information : une gamme de web services a ainsi été mise progressivement à la libre disposition des professionnels de la documentation et des développeurs afin de faciliter l'extraction et la réutilisation des données en provenance des différentes bases gérées par l'Abes : Sudoc, Calames, IdRef, BACON, Theses.fr, STAR, STEP... Jusqu'à présent, les web services de l'Abes étaient accompagnés de documentation sous forme de pages HTML, comme par exemple : http://documentation.abes.fr/sudoc/manuels/administration/aidewebservices/index.html. Cependant, avec une quarantaine de web services disponibles aujourd'hui, il devenait important d'harmoniser leur présentation, d'optimiser leur exposition et d'affiner leur documentation. Pour ce faire, en conformité avec sa politique de développement, l'Abes a décidé de décrire ses API avec le standard OpenAPI : https://github.com/abes-esr/abes-politique-developpement/blob/main/08-Documentation.md A noter : Le vocabulaire et les socles informatiques ayant considérablement évolué depuis 2010, on regroupe désormais ces ensembles de web services sous l’appellation générique d’API - Interface de Programmation Applicative, solution informatique permettant à des applications de communiquer entre elles et de s'échanger mutuellement des données. Les API de l'Abes en OpenAPI En 2010, la startup Swagger initiait un projet, devenu populaire au fil des années, qui permettait aux développeurs de définir et documenter des API en y incluant le code source. En 2016, des géants du secteur (Google, Microsoft, etc.) rejoignent l'initiative pour la faire évoluer. La spécification Swagger, alors renommée Spécification OpenAPI définit, pour les API les plus courantes (de type REST / HTTP), un standard utilisé par les humains comme par les machines. Lors du développement d'une nouvelle application, il est assez simple de produire la documentation de son API en OpenAPI, à l'aide de librairies logicielles, telles que SpringDoc. En effet, il suffit d'inclure ce type de librairie dans les dépendances de la nouvelle application, et d'utiliser les annotations adéquates, pour que la documentation soit automatiquement générée. Ainsi, les nouveaux web services développés par l'Abes - et bientôt utilisés par l'outil de curation paprika.idref.fr, intègrent une documentation OpenAPI : https://github.com/abes-esr/qualinka-microservices https://qualinka.idref.fr/swagger-ui.html En revanche, cette transformation s'avère plus compliquée pour les API plus anciennes : celles-ci n'utilisant pas forcément de framework (de type Spring), il n'y a pas de moyen automatique et simple pour produire la documentation OpenAPI. L’effort de rédaction étant plus conséquent, il a été décidé de documenter en priorité les web services les plus utilisés. Cette démarche s'appuie sur l'éditeur d’OpenAPI, Stoplight, outil gratuit pour la conception de documentation OpenAPI "à la main", via des formulaires qui aident et contrôlent la saisie. Ces documentations sont ensuite versionnées sur un espace Github dédié : https://github.com/abes-esr/openapi Publication des OpenAPI de l'Abes sur api.gouv.fr Pour publier les OpenAPI, le choix du site api.gouv.fr s’est naturellement imposé, le site référençant les API du service…
Épatant : ça nous bouge !
Tel est le titre de la première notice en provenance d’ISSN France importée directement dans le Sudoc (PPN 260627062 ; ISSN 2804-715X). En l’occurrence, il s’agit d’un site web, occasion de rappeler que les ressources continues ne se limitent pas aux publications en série et aux collections, mais incluent aussi les « ressources intégratrices », c’est-à-dire des ressources dont le contenu peut être augmenté ou modifié par des mises à jour.
Cette intégration directe constitue une évolution fondamentale, la première de cette importance depuis la mise en place du Catalogue collectif national des publications en série (CCN-PS), ancêtre du Sudoc en matière de signalement et de localisation des ressources continues dans les bibliothèques françaises.
