BACON : évolution des fichiers KBart dédiés aux revues

Pour répondre Logo Bacon carréaux demandes des utilisateurs de la base de connaissances BACON – qui souhaitaient, en particulier pour les fichiers relatifs à la presse,  une évolution de l’affichage du format des dates présentes dans les fichiers KBart des revues, les dates signalées dans les champs « date_first_issue_online » et « date_last_issue_online », jusqu’alors restreintes à l’année, seront désormais exposées au format AAAA-MM-JJ.

Précisons cependant que la présence des dates au format « jour, mois et année » dépendent des données renseignées par les fournisseurs. De fait, si seules les années sont spécifiées, l’équipe en charge de BACON ne complètera pas ces dates. Par défaut, si le jour et le mois ne sont pas indiqués, l’affichage des dates  sera construit sur le modèle : [AAAA]-01-01.

Cette modification sera effective pour les fichiers chargés dans la base à partir du 12 juin 2023. Pour les versions antérieures, les données exactes des jours et des mois ne sont pas récupérables.

Cette évolution est conforme à la recommandation KBart. Consulter :  https://groups.niso.org/higherlogic/ws/public/download/16900/RP-9-2014_KBART.pdf

Pour toute question, le guichet ABESstp BACON est à disposition : https://stp.abes.fr/node/3?origine=Bacon

Continuer la lectureBACON : évolution des fichiers KBart dédiés aux revues

IdRef : le projet ArchéoRef Alignements (ArchéoAl) est terminé

Depuis octobre 2020, l’Abes était partenaire du projet ArchéoRef Alignement – ArchéoAl  relatif aux notices d’autorité de sites archéologiques, projet financé par CollEx-Persée et porté par l’Institut français d’archéologie orientale du Caire (Ifao). Formellement terminé depuis fin 2022, le projet a fait l’objet d’un rapport scientifique publié courant mars 2023. Au printemps 2023, l’Abes a procédé au chargement des alignements PACTOLS dans IdRef.

Dans la continuité du projet ArchéoRef …

Entre 2014 et 2016, le réseau des Écoles Françaises à l’Étranger (EFE), l’Institut français d’archéologie orientale du Caire (Ifao), l’École française d’Athènes (EFA), l’École française de Rome (EFR), l’École française d’Extrême-Orient (EFEO) et la Casa de Velázquez (CVZ) ont mené un premier projet ayant abouti à l’enrichissement de 475 notices d’autorité IdRef décrivant des sites archéologiques. Il s’agissait principalement d’ajouter des coordonnées géographiques dans les notices afin de permettre la géolocalisation des sites.

Consulter les deux billets  publiés à ce sujet sur le blog Punktokomo : ici et ici

…en exploitant la méthodologie du projet RefDivinités

En 2019-2020, l’Abes a été sollicitée par la Bibliothèque interuniversitaire de la Sorbonne et FRANTIQ, Fédération et Ressources sur l’Antiquité (GDS 3378), dans le cadre d’un autre projet CollEx-Persée : RefDivinités. Il s’agissait de travailler sur des divinités et héros du monde méditerranéen antique, décrits à la fois dans IdRef et dans PACTOLS, thésaurus de référence pour les Sciences de l’Antiquité et l’Archéologie.  Ce travail d’enrichissement et d’alignement IdRef <-> PACTOLS a porté sur 663 notices de personnes physiques.

Consulter le billet Punktokomo qui retrace les étapes de ce projet

ArchéoAl : partenaires et finalités du projet

En 2020, sous la houlette de l’Ifao, les mêmes acteurs sont lauréats d’un nouvel appel à projet Collex-Persée : ArchéoAl commence. Le projet a été mené en deux phases :

  •  au sein de chaque école, collaboration entre chercheurs et professionnels de l’IST dans l’objectif d’améliorer les notices IdRef
  • recours à un personnel recruté sur financement Collex-Persée et hébergé par Bibracte afin d’aligner IdRef au thésaurus PACTOLS porté par FRANTIQ et, ainsi, l’ouvrir à d’autres référentiels.
Continuer la lectureIdRef : le projet ArchéoRef Alignements (ArchéoAl) est terminé

CERCLES : lancement d’un nouveau chantier sur le corpus Strada lex

image CERCLES
source : DIYCandy

En 2015, naissait le dispositif CERCLES (voir le billet) mis en place par l’Abes pour accompagner, aider et valoriser un établissement souhaitant s’investir sur l’enrichissement des données d’un corpus de documents spécifique. 

En 2023, un nouveau corpus de ressources électroniques va bénéficier de ce dispositif : Strada lex. 

 

Le corpus Strada lex

Bien connue des établissements d’enseignement supérieur et universités à composante juridique, cette base de données donne accès à toute l’information juridique européenne.
Elle constitue un bon outil de veille (des actualités sont disponibles, ainsi que la jurisprudence) et une plateforme d’accès à des revues en texte intégral, aux codes et textes réglementaires ainsi qu’à un très grand nombre de monographies électroniques.
Déjà, en 2019, quatre établissements membres du réseau Sudoc, conscients de la nécessité de signaler finement ce corpus, s’étaient associés, de façon informelle, pour cataloguer un grand nombre d’ebooks. Ainsi, grâce à la volonté des SCD des universités de Rennes I (sa dénomination à l’époque), Lille, Paris II Panthéon Assas et Paris Dauphine, 400 notices d’ebooks avaient été créées dans le Sudoc. 

Continuer la lectureCERCLES : lancement d’un nouveau chantier sur le corpus Strada lex

Quand Oracle ne répond plus – retour sur l’incident de novembre 2022 

  • Auteur/autrice de la publication :
  • Post category:Non classé

En novembre 2022, un incident technique sérieux sur l’infrastructure du SI de l’Abes pénalisait les bibliothèques, les obligeant à reporter toute activité de signalement et à réorganiser les emplois du temps des équipes.
L’Abes se devait de rendre compte de l’évènement aux établissements membres de ses réseaux. Voici donc le déroulé précis de l’incident, ainsi qu’une explication des mesures de correction prises pour l’avenir.

Les faits marquants 

En résumé 

Le week-end du 19 et 20 novembre 2022 était consacré à la maintenance informatique annuelle assurée par l’Abes. Cette intervention importante, planifiée plusieurs semaines à l’avance, est généralement réalisée le week-end afin d’éviter de perturber les services aux établissements, du fait qu’elle nécessite une extinction complète des systèmes de l’Abes.

Pendant ce week-end, l’équipe Infrastructure et Réseau de la DSI de l’Abes a réalisé plusieurs opérations techniques qui se sont déroulées avec succès (mises à jour diverses sur les serveurs, ajouts de nouveaux serveurs, redémarrages d’applications, etc.).

C’est au début de la semaine suivante que des dysfonctionnements sont apparus, deux problèmes indépendants  ayant très fortement dégradé les performances des applications :  

  • Un problème sur un port d’un composant physique de l’architecture réseau, faisant le lien entre les serveur applicatifs (le Sudoc en particulier) et les disques durs contenant les données 
  • Un problème logiciel sur l’architecture Oracle en cluster, suite à la mise à jour des serveurs, qui a nécessité de changer l’architecture pour basculer vers un serveur unique mais mieux dimensionné. 
Continuer la lectureQuand Oracle ne répond plus – retour sur l’incident de novembre 2022 

QualiMarc : comment se déroulent les tests de l’application par le groupe des testeurs ?

  • Auteur/autrice de la publication :
  • Post category:QualiMarc

logo QualiMarcLe développement de l’application QualiMarc, outil en ligne pour évaluer la qualité des notices bibliographiques créées pour le Sudoc dans WinIBW, se déroule en méthode agile “Scrum”, sur le mode de la co-construction avec des établissements.

Cela signifie que les fonctionnalités sont testées, au fur et à mesure de leur développement, sans attendre la livraison d’une version beta de l’application terminée : dès qu’une fonctionnalité est créée, elle est déployée sur le serveur de test et les membres de l’équipe projet peuvent la tester immédiatement. En fonction de leurs retours, la fonctionnalité est acceptée ou retravaillée, jusqu’à sa validation finale. 

L’application se construit ainsi progressivement, dans un esprit de réactivité, avec la pleine implication des établissements co-concepteurs.
Leur rôle a été prépondérant pendant la phase de recueil des besoins, puis de spécifications des fonctionnalités (voir le billet précédent).
Il l’est encore davantage pendant toute la période de développements informatiques, qui a été découpée en 5 parties (5 “sprints”, selon le vocabulaire de la méthode Agile “Scrum”). 

À l’heure où le cinquième “sprint” vient de s’achever, et par conséquent à la veille de la mise en production de QualiMarc, en mars 2023, voici comment se sont déroulés ces tests, pour les établissements testeurs.

Continuer la lectureQualiMarc : comment se déroulent les tests de l’application par le groupe des testeurs ?

Signalement dans Calames du corpus sous licence nationale « Archives du Parlement britannique » : Pas à pas vers l’EAD (2/2)

Du point de vue des processus de traitement de métadonnées de l’Abes, le cas des Archives du Parlement britannique constitue un cas inédit. La bonne manière de l’aborder n’allait pas de soi : pourrait-on réutiliser les méthodes et outils habituels ? Devrait-on imaginer une autre manière de faire ? Paradoxalement, comment traiter ce cas d’espèce tout en tirant des enseignements génériques pour dompter d’autres « ovnis documentaires » ?

Quelle méthode ? Passer par RDF ou rester en XML ?

L’Abes a une longue expérience d’intégration des métadonnées fournies par des éditeurs ou diffuseurs, en MARC ou en XML. Pour traiter les métadonnées obtenues dans le cadre des programmes d’acquisition ISTEX, CollEx-Persée et du Plan de soutien à l’édition scientifique française, l’Abes a conçu et développé un workflow, dont la pièce maîtresse est une base RDF. Habituellement, les métadonnées sont récupérées en XML, converties en RDF, chargées dans une base RDF, enrichies puis redistribuées vers le Sudoc, Bacon ou scienceplus.abes.fr.

Dans le cas de l’achat de ces archives numérisées, il a été décidé de ne pas suivre la voie RDF, mais plutôt d’emprunter un nouveau chemin, où les manipulations sont entièrement en XML, pour les raisons suivantes :

  • le traitement n’a qu’une sortie : il s’agit d’un format XML, en l’occurrence EAD. Le RDF serait un modèle/format pivot adéquat s’il fallait générer différentes sorties.
  • le format EAD de sortie possède une structure foncièrement hiérarchique, qui se prête mieux à une représentation en XML qu’en RDF (dont la vocation est d’exprimer des graphes).
  • le format EAD peut contenir du « contenu mixte », ie un élément XML ayant pour enfants à la fois un autre élément XML et directement du texte : <a>blabla <b>hum</b> blabla</a>. Essayer de modéliser du contenu mixte en RDF serait peu, voire absolument pas, efficient. Notons cependant que, dans ce projet,  l’EAD produit ne contient finalement pas de contenu mixte.
Continuer la lectureSignalement dans Calames du corpus sous licence nationale « Archives du Parlement britannique » : Pas à pas vers l’EAD (2/2)

Signalement dans Calames du corpus sous licence nationale « Archives du Parlement britannique » : Conception et sources pour la description du corpus (1/2)

Dans le cadre du programme d’acquisitions de ressources numériques sous licence nationale porté par le GIS CollEx-Persée, l’Abes a acquis le corpus des archives du Parlement britannique au XIXe siècle numérisées par ProQuest et choisi d’en assurer le signalement dans Calames

Des choix nécessaires pour une première

Le signalement dans Calames d’un corpus d’archives numérisées a posé des questions inédites, aussi bien d’un point de vue intellectuel que technique.

Il était en effet nécessaire de réfléchir au signalement en EAD d’archives numérisées, pour ce corpus mais également pour les suivants qui ne manqueront pas de se profiler, qu’il s’agisse de corpus acquis dans le même cadre ou de besoins spécifiques de la part d’établissements du réseau Calames, notamment dans le cadre de la collecte d’archives de projets de recherche, désormais objets de signalement.

Il a été décidé de décrire les archives dans leur version numérique, le fonds physique originel n’étant décrit qu’à un niveau élevé et général. Les données descriptives des archives originales se trouvent ainsi dans le fichier maître, plus haut niveau d’une arborescence EAD dans Calames, à titre d’informations générales pour contextualiser le corpus. Pour leur part, les niveaux inférieurs décrivent les archives numérisées.

Continuer la lectureSignalement dans Calames du corpus sous licence nationale « Archives du Parlement britannique » : Conception et sources pour la description du corpus (1/2)

QualiMarc : un outil en ligne pour évaluer la qualité des notices bibliographiques du Sudoc

  • Auteur/autrice de la publication :
  • Post category:QualiMarc

La production de notices bibliographiques de qualité est une préoccupation constante de tous les contributeurs du catalogue collectif Sudoc ainsi que de l’Abes (Agence Bibliographique de l’Enseignement Supérieur), qui en administre les données.

Qu’entend-on par « qualité » ? Pourquoi la rechercher ?
Comme il s’agit d’une valeur subjective, il est difficile de définir la « bonne qualité » d’une notice bibliographique. Disons qu’il s’agit de l’addition de critères de cohérence (dans l’utilisation des zones du format Unimarc), de pertinence (dans le choix des éléments retenus pour déc rire une ressource) et d’exactitude (dans leur transcription).
Si cette qualité est souhaitée, c’est pour :
– satisfaire les besoins de recherche des utilisateurs des catalogues ;
– valoriser les ressources acquises par les bibliothèques ;
– améliorer le travail des catalogueurs  : suppression des doublons, désambiguïsation des données, meilleure identification des ressources ;
– mettre les notices en conformité avec le nouveau code de catalogage RDA-FR et préparer la Transition bibliographique ;
– faciliter l’exposition et la réutilisation des données dans d’autres environnements.

L’Agence, comme tête de réseau, s’efforce de placer chaque catalogueur en capacité de produire de telles notices, en édictant des consignes et en délivrant assistance et formations.
Chaque établissement, grâce à l’investissement de ses Correspondants Catalogage et Autorités, ainsi que de son Coordinateur Sudoc, accompagne et prolonge cet effort par de riches et multiples initiatives (“café catalogage”, formations spécifiques, chantiers-qualité, etc.).
Chaque catalogueur, avec sérieux et rigueur, essaie de respecter cet objectif de qualité qui fait la renommée du catalogue collectif des bibliothèques françaises de l’enseignement supérieur et de la recherche.

Pourtant, avec un code de catalogage en pleine transition et un format qui évolue, il devient impossible de connaître toutes les règles, même pour le plus passionné des catalogueurs. Et le manque de moyens alloué à l’activité de catalogage dans beaucoup d’établissements ne permet pas toujours de maintenir l’échelon d’expertise requis et le niveau de qualité souhaité. 

Pour continuer à se sentir reconnus, utiles, et donner du sens à leur travail, les catalogueurs rêvent alors d’un outil qui vérifierait, en un clic, la notice bibliographique créée et leur expliquerait ce qui peut être amélioré et pourquoi. Chacun continuerait ainsi à travailler à la qualité globale du catalogue, pour le bien commun et gagnerait en compétences professionnelles, pour son intérêt personnel.

Image Bienveillance

Un nouvel outil comme un tuteur bienveillant, un ami (catalogueur) qui nous veut du bien.

 

 

Continuer la lectureQualiMarc : un outil en ligne pour évaluer la qualité des notices bibliographiques du Sudoc

Les API de l’Abes disponibles au format OpenAPI sur api.gouv.fr

  • Auteur/autrice de la publication :
  • Post category:Non classé

Depuis sa création, l’Abes développe une gamme d’applications destinées à la production, au traitement et à l’administration des données par les réseaux documentaires de l’ESR. Dès 2010, dans le cadre d’une politique volontariste en faveur de l’ouverture et de l’interopérabilité des données, une nouvelle catégorie de services s’est déployée pour une plus large réutilisation des données par les systèmes d’information :  une gamme de web services a ainsi  été mise progressivement à la libre disposition des professionnels de la documentation et des développeurs afin de faciliter l’extraction et la réutilisation des données en provenance des différentes bases gérées par l’Abes : Sudoc, Calames, IdRef, BACON, Theses.fr, STAR, STEP…

Jusqu’à présent, les web services de l’Abes étaient accompagnés de documentation sous forme de pages HTML, comme par exemple : http://documentation.abes.fr/sudoc/manuels/administration/aidewebservices/index.html.

Cependant, avec une quarantaine de web services disponibles aujourd’hui,  il devenait important d’harmoniser leur présentation, d’optimiser leur exposition et d’affiner leur documentation. Pour ce faire, en conformité avec sa politique de développement,  l’Abes a décidé de décrire ses API avec le standard OpenAPI : https://github.com/abes-esr/abes-politique-developpement/blob/main/08-Documentation.md

A noter : Le vocabulaire et les socles informatiques ayant considérablement évolué depuis 2010, on regroupe désormais ces ensembles de web services sous l’appellation générique d’API – Interface de Programmation Applicative, solution informatique permettant à des applications de communiquer entre elles et de s’échanger mutuellement des données.

Les API de l’Abes en OpenAPI

En 2010, la startup Swagger initiait un projet, devenu populaire au fil des années, qui permettait aux développeurs de définir et documenter des API en y incluant le code source. En 2016, des géants du secteur (Google, Microsoft, etc.) rejoignent l’initiative pour la faire évoluer. La spécification Swagger, alors renommée Spécification  OpenAPI définit, pour les API les plus courantes (de type REST / HTTP), un standard utilisé par les humains comme par les machines.

Lors du développement d’une nouvelle application, il est assez simple de produire la documentation de son API en OpenAPI, à l’aide de librairies logicielles, telles que SpringDoc. En effet, il suffit d’inclure ce type de librairie dans les dépendances de la nouvelle application, et d’utiliser les annotations adéquates, pour que la documentation soit automatiquement générée. Ainsi, les nouveaux web services développés par l’Abes – et bientôt utilisés par l’outil de curation paprika.idref.fr, intègrent une documentation OpenAPI :

En revanche,  cette transformation s’avère plus compliquée pour les API plus anciennes : celles-ci n’utilisant pas forcément de framework  (de type Spring), il n’y a pas de moyen automatique et simple pour produire la documentation OpenAPI. L’effort de rédaction étant plus conséquent, il a été décidé de documenter en priorité les web services les plus utilisés.  Cette démarche s’appuie sur l’éditeur d’OpenAPI, Stoplight, outil gratuit pour la conception de documentation OpenAPI « à la main », via des formulaires qui aident et contrôlent la saisie. Ces documentations sont ensuite versionnées sur un espace Github dédié : https://github.com/abes-esr/openapi

Publication des OpenAPI de l’Abes sur api.gouv.fr

Pour publier les OpenAPI, le choix du site api.gouv.fr  s’est naturellement imposé, le site référençant les API du service public (collectivités, ministères, entreprises…) pour construire des services informatiques pour tous. De plus, les fonctionnalités disponibles facilitent largement l’usage et l’accès aux web services concernés.

Lors du chargement des OpenAPI sur api.gouv.fr,  un formulaire interactif est généré. Celui-ci liste les web services composant l’API et fournit, lorsque c’est pertinent, les liens vers la documentation HTML. Il est facile de saisir rapidement la structure et le fonctionnement de chacune des API, chaque paramètre possédant également sa description et une valeur exemple. Lorsque c’est nécessaire, une expression régulière donne le format attendu. A l’aide de ce formulaire, il est même possible de tester directement un appel au web service.

Retrouver les API mises à disposition sur api.gouv.fr :

 

Continuer la lectureLes API de l’Abes disponibles au format OpenAPI sur api.gouv.fr

Apache Kafka : une nouvelle brique logicielle pour le Système d’Information de l’Abes

  • Auteur/autrice de la publication :
  • Post category:webservice

Afin de faire face au volume croissant d’informations qu’engendre l’évolution constante des métiers et des technologies, l’Abes relève de nombreux défis. L’un d’entre eux consiste dans le besoin de gérer les flux de grandes quantités de données entre diverses applications, de manière fiable et en temps réel.

Pour y répondre, le Service Urbanisation et Pilotage Informatique (SUPI) a mis en place un démonstrateur basé sur la solution Apache Kafka, solution informatique également utilisée par des collègues de la communauté de la documentation et en particulier par Swissbib et par l’INA avec qui l’Abes a échangé à plusieurs reprises.

Kafka : définition

Bien connu dans le monde de l’informatique, Kafka fait partie de la famille des bus de messages. A noter que dans cette famille, nous retrouvons les outils suivants, chacun ayant quelques nuances : RabbitMQ, ApacheMQ, ZeroMQ, Redis.

Continuer la lectureApache Kafka : une nouvelle brique logicielle pour le Système d’Information de l’Abes
Aller au contenu principal