Mettre nos données en réseau – un démonstrateur. [2] Inventaire des données.

[ Lire le billet qui introduit cette série « Mettre nos données en réseau – un démonstrateur » ]

Pour les besoins de la démonstration, nous avons agrégé des données diverses et variées, mais finalement cette auberge espagnole n’est pas si anarchique : tout mène à tout, et on peut regrouper les jeux de données de différentes manières :

  • Données descriptives vs Référentiels
  • Données produites par les réseaux ABES vs Données de tiers
  • Données du monde des bibliothèques vs Données d’autres mondes (science, administration, etc.)
  • Données récupérées en RDF vs Données produites en RDF

Mais dans ABES, il y a B : notre réseau de données se déploie autour des données bibliographiques, qui décrivent des livres, des revues, mais également des chapitres et des articles.

Continuer la lecture Mettre nos données en réseau – un démonstrateur. [2] Inventaire des données.

Synthèse de l’enquête sur la fonction de coordinateur thèses

20160115_163200

L’enquête auprès des coordinateurs thèses : raison d’être et accueil

Le dispositif de valorisation des thèses de doctorat s’est consolidé en 2011 avec la mise en production du moteur de recherche theses.fr et de l’application Step, venues compléter les services déjà apportés par l’application Star et le Sudoc. La fonction de coordinateur thèses a été mise en place au même moment. L’objectif de cette fonction est qu’un établissement dispose d’une vue globale sur la gestion des thèses et d’un interlocuteur assurant la transmission de l’information entre les différents intervenants dans les applications liées aux thèses. L’ABES a donc ressenti le besoin, 4 ans après la mise en place de ce dispositif, de faire un bilan sur les retours d’expérience des établissements et de recenser les suggestions sur les moyens de faciliter l’action des coordinateurs thèses.
L’enquête à destination des coordinateurs thèses a été lancée par l’ABES du 15 septembre au 31 octobre 2015. L’enquête comportait 21 questions.
71 réponses exploitables ont été obtenues soit un taux de participation à l’enquête de 63%. 112 coordinateurs thèses sont en effet comptabilisés en janvier 2016. Les coordinateurs thèses ayant répondu à l’enquête ont majoritairement été nommés en 2011 (30%) et 2013 (22%). Voici une synthèse des réponses obtenues :

Continuer la lecture Synthèse de l’enquête sur la fonction de coordinateur thèses

OpenRefine ou comment passer des listes aux applications ABES : illustration avec IdRef et theses.fr ?

Problématique de départ : Comment passer une liste de paramètres à IdRef en entrée afin d’obtenir en sortie un type d’informations recherchées ? Par exemple, comment obtenir les identifiants IdRef d’une liste de personnes pour lesquelles on dispose du nom et du prénom ?

Condition : Il va de soi qu’il est exclu pour résoudre ce problème de passer ces noms-prénoms un à un dans l’interface de recherche IdRef.

Hypothèse : IdRef dispose d’un service d’interrogation sous forme de web services Solr à l’adresse suivante : http://www.idref.fr/Sru/Solr

Résolution

import   La première étape consiste à importer les données de base.

 

 

 

 

 

 

import2

 

Un premier traitement,  simple mais essentiel, consiste, pour chacune des colonnes de départ, à « ôter tous les espaces en début et fin de chaine de caractères ». Ensuite, on construit une colonne NomComplet dans laquelle le nom et le prénom sont séparés par une virgule et un espace. Si  ce n’est déjà fait, il convient également de passer le tout en minuscule.

 

 

 

import3A partir de cette mise en forme – opération indispensable du fait que l’index Solr est construit ainsi – il sera possible de requêter l’index « Personne » d’IdRef avec la fonctionnalité « by fetching URL » et une expression rédigée dans le langage GREL propre à OpenRefine dans le menu « Apply » :

 

Exemple de code GREL :

{

« op »: « core/column-addition-by-fetching-urls »,

« description »: « Create column jsonidref at index 3 by fetching URLs based on column NomComplet using expression grel:\ »http://www.idref.fr/Sru/Solr?q=persname_s:\ »+replace(value, ‘ ‘, ‘\\\\%20’)+\n\n\ »*&sort=score%20desc&version=2.2&start=0&rows=30&indent=on&fl=id,ppn_z,recordtype_z,affcourt_z&wt=json\ » »,

« engineConfig »: {

« facets »: [],

« mode »: « row-based »

},

« newColumnName »: « jsonidref »,

« columnInsertIndex »: 3,

« baseColumnName »: « NomComplet »,

« urlExpression »: « grel:\ »http://www.idref.fr/Sru/Solr?q=persname_s:\ »+replace(value, ‘ ‘, ‘\\\\%20’)+\n\n\ »*&sort=score%20desc&version=2.2&start=0&rows=30&indent=on&fl=id,ppn_z,recordtype_z,affcourt_z&wt=json\ » »,

« onError »: « store-error »,

« delay »: 50

},

La réponse obtenue en format json contient (ou pas) les paramètres recherchés. Ici, par exemple, seule la troisième ligne contient l’identifiant souhaité. Cette dernière colonne est obtenue en « parsant » le json.

La question essentielle est celle de la fiabilité de la réponse obtenue. Pour répondre à cette question, il faut revenir au point de départ : de qui est constitué mon corpus de personnes au départ ? S’il est composé de directeurs de thèses, comme c’est le cas pour les données ADUM pour lesquels l’opération d’alignement est en cours (Voir Fil’ABES), alors le requêtage de theses.fr peut donner des résultats dont le taux d’erreur est presque nul.

Et la suite ???

Pour disposer de toute une gamme d’idées et de codes OpenRefine dédiés au requêtage des données mises à disposition par l’ABES, vous pouvez vous reporter à http://www.bibliopedia.fr/wiki/OpenRefine . Si vous avez besoin d’obtenir des identifiants pour des « Personnes » ou d’autres types d’autorité, adressez votre demande à idref@abes.fr. Nous pourrons élaborer ensemble la meilleure façon d’y répondre.

Notons enfin que si OpenRefine s’avère pratique, l’outil connait des limites. Sur la base de l’expérimentation SudocAd, l’ABES développe un outil plus sophistiqué en parallèle du projet de recherche Qualinca qu’elle mène avec le LIRMM. Cet outil, en cours de développement, est bien plus ambitieux en termes de quantité et de qualité des paramètres pris en entrée pour un niveau de fiabilité réhaussé. Pour creuser cette question, nous recommandons la lecture de l’article passionnant d’Aline Le Provost dans le numéro 77 d’Arabesque : https://fil.abes.fr/2015/01/05/arabesques-n77-dialogues-avec-la-machine/

Continuer la lecture OpenRefine ou comment passer des listes aux applications ABES : illustration avec IdRef et theses.fr ?

Satisfaction et besoins autour de l’application Step et de ses services : résultats de l’enquête 2015

Depuis son ouverture en 2011, en parallèle de celle de theses.fr, l’application Step a évolué avec l’apport de nouveaux services (export de données vers Star, programme d’import de données commun aux deux applications thèses, interconnexion avec des outils de gestion en local …) et son réseau s’est agrandi pour atteindre aujourd’hui 103 établissements habilités à délivrer le doctorat.

En 2015, l’activité de signalement des thèses en préparation semble avoir atteint sa vitesse de croisière. C’était l’occasion pour l’ABES  de recueillir auprès des correspondants Step leurs avis sur l’application et ses services associés, de connaître leurs éventuelles difficultés ainsi que les évolutions souhaitées. C’est à cette fin qu’une enquête a été menée du 3 mars au 15 avril 2015. En voici les principaux résultats.

Continuer la lecture Satisfaction et besoins autour de l’application Step et de ses services : résultats de l’enquête 2015

Être un service libéré, tu sais c’est pas si FACILE…

Synthèse de l’enquête sur les pdf de thèses valides pour un archivage au CINES

velo_facile

Dans le cadre d’un échange entre l’ABES et le CINES, une enquête a été menée auprès des correspondants STAR du 17 au 31 mars 2015. Celle-ci avait pour but de mieux connaître comment les établissements procèdent pour fournir des pdf valides de thèses soutenues pour un archivage au CINES.Le service FACILE mis en place par le CINES a pour objet de valider le format d’archivage du CINES par analyse et expertise et comprend 2 niveaux.
Les demandes d’analyse de niveau 2 de FACILE [https://www.cines.fr/archivage/des-expertises/expertise-formats/facile/] ayant connu ces derniers mois une forte augmentation,  le CINES a souhaité pouvoir réfléchir à un accès possible sur authentification pour ses utilisateurs. Cette piste d’un accès sur authentification a finalement été abandonnée par le CINES qui reste sur le même principe qu’auparavant c’est-à-dire un accès … libre, libéré…

En effet, des améliorations ont été constatées dans l’usage de FACILE suite aux dernières modifications du service (ajouts de tutoriels notamment). Le CINES reste toutefois attentif au nombre de sollicitations via FACILE2.

Continuer la lecture Être un service libéré, tu sais c’est pas si FACILE…

IdRef : ORI-OAI, première application externe cliente

La plate-forme ORI-OAI, conçue pour gérer la production numérique institutionnelle d’établissements de l’Enseignement supérieur et de la recherche, propose une nouvelle version du module ORI-OAI-md-editor (version 1.8.3). L’une des nouvelles fonctionnalités de l’outil permet, tout en restant connecté à ORI-OAI, de rechercher, trouver ou créer dans IdRef les autorités Personnes, Collectivités, etc. nécessaires à la description catalographique des thèses.

Pour récupérer cette nouvelle version, il suffit de faire un checkout du module ORI-OAI-md-editor depuis la version 2.0 du projet ORI-OAI.

Continuer la lecture IdRef : ORI-OAI, première application externe cliente

iln2td3 : un nouveau web service pour le suivi des propositions Rameau

Lors de la Journée des correspondants Autorités du 2 octobre dernier,  le besoin d’un outil dédié pour faciliter le suivi souvent fastidieux des Propositions Rameau avait été exprimé. C’est chose faite grâce au dernier né des webservices proposés par l’ABES. Nom de code :  « iln2td3 ».
Si ce webservice a bien entendu pour objectif premier de faciliter le traitement et le suivi des Propositions Rameau par les correspondants Autorité, il entre également dans le cercle vertueux des Chantiers Qualité orchestrés par l’ABES.
Comment ça marche ?
Simple d’utilisation, le webservice s’enclenche en saisissant dans son navigateur l’URL :  http://www.idref.fr/services/iln2td3/X  –  dont on remplacera  le X situé à la fin par le numéro de son ILN, comme par exemple, pour l’ILN 15 (DDoc Bordeaux) : http://www.idref.fr/services/iln2td3/15
Continuer la lecture iln2td3 : un nouveau web service pour le suivi des propositions Rameau

Le SUDOC en RDF : du nouveau ! 2/2

RDA en RDF : pourquoi, comment ?

Fidèles au principe de réutiliser au maximum des vocabulaires déjà publiés, et si possible « métiers », c’est assez naturellement du côté de RDA, qu’on a cherché la sémantique adéquate. On utilisait déjà des propriétés et des classes telles que : ModeOfIssuance, WorkManifested/ManifestationOfWork, et la classe Work.

Pour les zones de liens, ce vocabulaire est celui qui, en général, « colle » le mieux avec les données issues de l’Unimarc.

Il y avait toutefois un problème avec RDA en RDF : il était publié depuis 2009 à l’état de « propositions » seulement (« new-proposed », sur Open Metadata Registry), donc de brouillon.  Or, le JSC (Joint Steering Commitee, en charge du développement et de la diffusion du code de catalogage  RDA), s’est penché récemment sur son sort et a décidé d’en publier une nouvelle version consolidée et validée, sur l’OMR. L’espace de nom a été changé : l’URL http://www.rdaregistry.info/ accueille désormais l’ensemble des classes et propriétés RDA, ainsi que l’ensemble de la documentation associée.

Continuer la lecture Le SUDOC en RDF : du nouveau ! 2/2

Retours et explications sur la panne du 14 au 20 juin 2014

Contexte

L’intervention technique prévue les 12 et 13 juin derniers avait plusieurs objectifs :

  •   installer de nouveaux matériels (serveurs, mémoires, commutateurs réseaux, serveurs de stockage, …) et migrer des services sur ces nouveaux matériels
  •  réorganiser et sécuriser le réseau
  •   réorganiser les serveurs dans les baies.
  •   sécuriser l’alimentation électrique des serveurs

Certaines de ces interventions, délicates à mener, nécessitant une assistance extérieure, l’ABES a été obligée de programmer cet arrêt en semaine. De plus, une partie de ces interventions était un préalable à d’autres actions, planifiées durant l’arrêt prévu du 18 au 23 juillet – un arrêt imposé par notre hébergeur, le Cines, qui procède à de lourds travaux de sécurisation de son infrastructure électrique.

Le fait que cette intervention se soit révélée aussi « catastrophique » n’est pas dû à un manque de préparation – une équipe du DSI ayant travaillé depuis plusieurs mois à son organisation – mais à un malheureux jeu de pannes matérielles successives et improbables qui ont entrainé une impossibilité pour l’ABES de reprendre le service dans les délais annoncés.

Continuer la lecture Retours et explications sur la panne du 14 au 20 juin 2014

« Métarevues » : un outil dédié au traitement des périodiques

« Métarevues », quésaco ?

Comme son nom l’indique, « Métarevues » est un outil dédié aux périodiques, qui permet de générer l’historique complet – papier et électronique – d’une même métarevue, à partir d’un PPN (identifiant des notices du SUDOC) ou d’un ISSN papier ou électronique. Plus précisément, on appelle ici métarevue, l’ensemble des titres qui constitue un périodique depuis sa naissance. Car, comme on le sait, une revue est véritablement vivante ! Contrairement aux monographies, aux vies bien rangées, il est en effet possible qu’au cours de son existence, une revue change de nom (et ce parfois plusieurs fois), fusionne avec un titre cousin ou soit l’objet d’une scission en deux voire trois, quatre titres distincts…

Continuer la lecture « Métarevues » : un outil dédié au traitement des périodiques
Aller au contenu principal