Mettre nos données en réseau – un démonstrateur. [2] Inventaire des données.

[ Lire le billet qui introduit cette série « Mettre nos données en réseau – un démonstrateur » ]

Pour les besoins de la démonstration, nous avons agrégé des données diverses et variées, mais finalement cette auberge espagnole n’est pas si anarchique : tout mène à tout, et on peut regrouper les jeux de données de différentes manières :

  • Données descriptives vs Référentiels
  • Données produites par les réseaux ABES vs Données de tiers
  • Données du monde des bibliothèques vs Données d’autres mondes (science, administration, etc.)
  • Données récupérées en RDF vs Données produites en RDF

Mais dans ABES, il y a B : notre réseau de données se déploie autour des données bibliographiques, qui décrivent des livres, des revues, mais également des chapitres et des articles.

Un jeu de données = un graphe nommé dans la base

Chaque jeu de données chargé dans la base RDF demeure un sous-ensemble bien identifié, un « graphe nommé« . Les données se croisent mais conservent leur pedigree.

Dans une requête SPARQL, on peut préciser ne vouloir interroger que les données de tel graphe – ou de plusieurs graphes. La requête suivante va chercher des titres de document dans le seul graphe des documents HAL :


PREFIX dcterms: <http://purl.org/dc/terms/>
select ?titre
from <http://hub.abes.fr/ccsd/docs/paris4>
where {
?document dcterms:title ?titre.
} LIMIT 10

Pourtant, il n’est pas conseillé d’utiliser le graphe comme un filtre de recherche documentaire : une même base peut être partitionnée en graphes de mille manières différentes ; on pourrait même tout mettre dans un seul graphe. L’organisation par graphes obéit moins à une logique documentaire qu’à des contraintes prosaïques de gestion de la base (regrouper les données ayant la même origine, par exemple) . Cette organisation fera davantage penser aux magasins du CTLES qu’aux salles de bibliothèque en libres accès.

Attention : le nom d’un graphe est une URI, comme http://hub.abes.fr/ccsd/docs/paris4 par exemple, mais inutile de cliquer dessus : elle ne mènera rien, elle sert d’identifiant unique, pas d’adresse web.

Les documents ISTEX

Dans le cadre du projet hub de métadonnées, cette approche « web sémantique » a d’abord été appliquée aux métadonnées livrées dans le cadre d’ISTEX, programme d’acquisition massive de documentation électronique. Ce cadre se prêtait parfaitement à cette approche : les éditeurs nous livrent des données riches et hétérogènes. Notre travail est de conserver toute cette richesse, de l’enrichir encore et de redistribuer librement ces données.

Dans le démonstrateur on trouvera ces données ISTEX :

Revue OUP

Contenu : Métadonnées de la revue Oxford Economic Papers : articles (2112), fascicules, volumes, périodique.

Graphe : http://hub.abes.fr/oup/journals/oxecon

Modélisation : ABES

Exemple :

<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://purl.org/dc/terms/subject>    <http://zbw.eu/beta/external_identifiers/jel#O33> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://purl.org/dc/terms/subject>    <http://zbw.eu/beta/external_identifiers/jel#F23> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://purl.org/dc/terms/subject>    <http://zbw.eu/beta/external_identifiers/jel#O34> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://rdaregistry.info/Elements/w/P10072>   <http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/m/web> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://purl.org/ontology/bibo/Article> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://vivoweb.org/ontology/core#relatedBy>  <http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/authorship/1-1> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://purl.org/dc/terms/isPartOf>   <http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/w> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://hub.abes.fr/namespace/articleType>    <http://hub.abes.fr/oup/articletype/researcharticle> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://purl.org/dc/terms/subject>    <http://zbw.eu/beta/external_identifiers/jel#F13> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdaregistry.info/Elements/c/C10001> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://rdaregistry.info/Elements/w/P10072>   <http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/m/print> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://vivoweb.org/ontology/core#relatedBy>  <http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/authorship/1-2> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://purl.org/dc/terms/subject>    <http://zbw.eu/beta/external_identifiers/jel#O14> .
<http://hub.abes.fr/oup/periodical/oep/2009/volume_61/issue_3/101093/oep/gpn036/w>    <http://purl.org/dc/terms/title>  "On welfare reducing technological change in a North-South framework"^^<http://www.w3.org/1999/02/22-rdf-syntax-ns#XMLLiteral> .

 

Revues Nature (NPG)

Contenu : Tous les articles de toutes les revues Nature (NPG), dont la fameuse Nature.

Ce jeu de données a ceci de particulier qu’au lieu de convertir en RDF les métadonnées XML livrées par l’éditeur, nous avons privilégié les données RDF générées par l’éditeur lui-même. Ce sont des données d’assez bonne qualité, plus riches que les livraisons XML par certains côtés, moins par d’autres.

Côté plus, l’éditeur a fait un gros travail d’indexation des articles selon un thesaurus maison et un très précieux travail d’alignement de ce thesaurus vers les versions RDF de Wikipedia et MeSH. Ces alignements nous ont tout particulièrement intéressés, vous vous en doutez…

Côté moins, la version RDF est très pauvre en informations sur les auteurs, tandis que la version XML possède des données d’affiliation et des emails, par exemple.

Il s’agit donc d’un cas singulier, mais prometteur et appelé à se généraliser : l’éditeur ouvre lui-même ses données en RDF, mais ces données ne sont pas exhaustives. Il demeure pertinent d’exiger de lui une livraison de données brutes, XML dans ce cas, pour en extraire de informations précieuses et complémentaires. Selon les cas, on pourra redistribuer ces informations ou bien se contenter de les exploiter en interne, par exemple pour générer des alignements.

Graphes (nombreux) :
http://ns.nature.com/graphs/articles
http://ns.nature.com/graphs/contributors
http://ns.nature.com/graphs/map-article-types-dbpedia
http://ns.nature.com/datasets/npg-core-ontology
http://ns.nature.com/graphs/map-journals-dbpedia
http://ns.nature.com/graphs/map-journals-wikidata
http://ns.nature.com/graphs/map-subjects-dbpedia
http://ns.nature.com/graphs/map-subjects-mesh
http://ns.nature.com/graphs/map-subjects-wikidata
http://ns.nature.com/article-types
http://ns.nature.com/blogs
http://ns.nature.com/terms
http://ns.nature.com/journals
http://ns.nature.com/publish-states
http://ns.nature.com/relations
http://ns.nature.com/review-states
http://ns.nature.com/subjects
http://ns.nature.com/graphs/articles-dbpedia
http://ns.nature.com/summary-types

Modélisation : NPG

Exemple :

<http://ns.nature.com/articles/ajg20001205>	<http://ns.nature.com/terms/hasJournal>	<http://ns.nature.com/journals/ajg> .
<http://ns.nature.com/articles/ajg20001205>	<http://purl.org/ontology/bibo/doi>	"10.1111/j.1572-0241.2000.02953.x" .
<http://ns.nature.com/articles/ajg20001205>	<http://ns.nature.com/terms/hasContributor>	<http://ns.nature.com/contributors/jamie-barkin-s-ajg20001205> .
<http://ns.nature.com/articles/ajg20001205>	<http://purl.org/dc/elements/1.1/title>	"Urinary retention: a systemic complication of botulinum toxin injection therapy for achalasia" .

 

Ebooks Springer

Contenu : plus de mille livres Springer, composés de plus de 300 000 chapitres.

Graphe : http://hub.abes.fr/springer/ebooksLN2011/SPR_EBOOK_ALL_25DEC

Modélisation : ABES

Exemple :

<http://hub.abes.fr/springerB/ebook/0-387-97089-4/w>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://purl.org/ontology/bibo/Book> .
<http://hub.abes.fr/springerB/ebook/0-387-97089-4/w>	<http://hub.abes.fr/namespace/subTitle>	"A Case Study in Pipelined Architecture and Vector Processing" .
<http://hub.abes.fr/springerB/ebook/0-387-97089-4/w>	<http://purl.org/dc/terms/subject>	<http://www.idref.fr/027756688/id> .

 

Les documents HAL

Contenu : environ 8 500 documents ayant pour affiliation Paris 4.

Graphe : http://hub.abes.fr/ccsd/docs/paris4

Modélisation : ABES

Exemple :

<https://hal.archives-ouvertes.fr/resource/document/hal-00201077/w>	<http://vivoweb.org/ontology/core#relatedBy>	<https://hal.archives-ouvertes.fr/resource/document/hal-00201077/authorship/1> .
<https://hal.archives-ouvertes.fr/resource/document/hal-00201077/w>	<http://purl.org/dc/terms/title>	"Diversité linguistique en Nouvelle-Calédonie"@fr .
<https://hal.archives-ouvertes.fr/resource/document/hal-00201077/w>	<http://purl.org/dc/terms/subject>	<https://hal.archives-ouvertes.fr/resource/domain/shs.anthro-se> .

 

Les documents Sudoc

Contenu :

  • Ebooks Dalloz (BND)
  • Livres papier et électroniques correspondant aux ebooks Springer
  • Documents liés aux auteurs IdRef mentionnés dans la base (description bibliographique succincte, non structurée)

Il faudra bien, plus tard, verser tout le Sudoc : toutes les notices ; tous les champs MARC de ces notices . Ce qui est une autre paire de manches. On y travaille…

Graphe :
http://www.sudoc.fr (Ebooks Dalloz)
http://hub.abes.fr/springer/ebooksLN2011/SPR_EBOOK_ALL_25DEC/SUDOC/ELEC (Springer)
http://hub.abes.fr/springer/ebooksLN2011/SPR_EBOOK_ALL_25DEC/SUDOC/PRINT (Springer)
http://www.idref.fr (entre autres, références des documents liés à une autorité chargée dans ce graphe)

Modélisation : ABES

Exemple :

<http://www.sudoc.fr/19116433X/id>	<http://id.loc.gov/vocabulary/relators/aut>	<http://www.idref.fr/060265310/id> .

 

Les référentiels de personnes

 

VIAF

Contenu : chaque mois, nous récupérons et traitons le dump VIAF des alignements entre fichiers d’autorité. Nous n’avons donc que les liens, et pas le contenu des autorités. (Et encore, nous ne gardons qu’une partie des liens, ceux qui relient des fichiers qui ont pignon sur rue. Mais cela fait tout de même près de 24 000 000 de liens.)

Graphe : http://hub.abes.fr/referentiel/linksviaf_03_2016

Modélisation : ABES

Exemple :

<http://viaf.org/viaf/10001226>	<http://www.w3.org/2002/07/owl#sameAs>	<http://www.idref.fr/05019321X/id> .
<http://viaf.org/viaf/10001226>	<http://www.w3.org/2002/07/owl#sameAs>	<http://hub.abes.fr/frbn/13490714> .
<http://viaf.org/viaf/10001226>	<http://www.w3.org/2002/07/owl#sameAs>	<http://id.loc.gov/authorities/names/n85098625> .
<http://viaf.org/viaf/10001226>	<http://www.w3.org/2002/07/owl#sameAs>	<http://www.wikidata.org/entity/Q18911870> .
<http://viaf.org/viaf/10001226>	<http://www.w3.org/2002/07/owl#sameAs>	<http://isni.org/isni/0000000121203999> .

 

ORCID

Contenu : chaque année, nous récupérons et traitons le dump ORCID (nou$ aimerion$ bien pa$$er à un dump men$uel). Il s’agit d’un dump XML que nous convertissons en 111 000 000 triplets RDF.

ORCID annonce 1 500 000 profils ORCID dans leur base :


PREFIX foaf: &lt;http://xmlns.com/foaf/0.1/&gt;
select (count(?s) as ?nb)
from &lt;http://hub.abes.fr/referentiel/ORCID2015&gt;
where { ?s a foaf:PersonalProfileDocument }

mais beaucoup n’ont qu’un nom et un prénom, aucune référence de document, ce qui rend ces profils moins fiables et moins utiles.

Graphe : http://hub.abes.fr/referentiel/ORCID2015

Modélisation : ABES

Exemple :

<http://orcid.org/0000-0002-0018-0588>	<http://www.w3.org/ns/org#hasMembership>	<http://orcid.org/0000-0002-0018-0588/affiliation/1> .
<http://orcid.org/0000-0002-0018-0588>	<http://xmlns.com/foaf/0.1/familyName>	"Cain" .
<http://orcid.org/0000-0002-0018-0588>	<http://xmlns.com/foaf/0.1/givenName>	"Jeff" .
<http://orcid.org/0000-0002-0018-0588>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://xmlns.com/foaf/0.1/Person> .
<http://orcid.org/0000-0002-0018-0588>	<http://www.w3.org/2002/07/owl#sameAs>	<http://hub.abes.fr/referentiel/scopusAuthorID/9247844700> .

 

IdRef

Contenu : Nous aurions pu charger toutes les personnes IdRef, mais ces 2 000 000 d’entités auraient pu noyer le reste des données du démonstrateur. Nous avons seulement chargé les triplets RDF correspondant à un identifiant IdRef mentionné quelque part dans la base (en général, dans les alignements).

Graphe : http://www.idref.fr

Modélisation : ABES

Exemple :

<http://www.idref.fr/02670000X/id>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://xmlns.com/foaf/0.1/Person> .
<http://www.idref.fr/02670000X/id>	<http://www.w3.org/2002/07/owl#sameAs>	<http://data.bnf.fr/ark:/12148/cb11889814d#foaf:Person> .
<http://www.idref.fr/02670000X/id>	<http://xmlns.com/foaf/0.1/name>	"Bacot, Jacques" .
<http://www.idref.fr/02670000X/id>	<http://www.w3.org/2002/07/owl#sameAs>	<http://isni.org/isni/0000000121400095> .

 

L’annuaire des chercheurs de trois laboratoires de Paris 4

Contenu : près de 800 chercheurs, rattachés à trois équipes de recherche de Paris 4. Dans ce graphe, on ne sait pas grand chose de chaque chercheur : son nom, son prénom, son laboratoire, trois informations glanées sur le site de l’université. Aucun LDAP n’a été maltraité pendant cette opération.

Graphe : http://hub.abes.fr/paris4/labos/auteurs

Modélisation : ABES

Exemple :

<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://xmlns.com/foaf/0.1/givenName>	"Mahamane" .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://xmlns.com/foaf/0.1/Person> .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://www.w3.org/2002/07/owl#sameAs>	<http://www.idref.fr/083406964/id> .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://schema.org/memberOf>	<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812914A> .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://xmlns.com/foaf/0.1/familyName>	"DJOUDOU" .

 

Les référentiels d’organismes

 

Référentiel National des Structures de Recherche (RNSR)

Contenu : Paris 4 et ses structures

Nous avons converti en RDF un export partiel de la base RNSR.

Graphe : <http://hub.abes.fr/rnsr/structures/paris4&gt;

Modélisation : ABES

Exemple :

<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812927P>	<http://schema.org/name>	"CENTRE D'ETUDE DE LA LANGUE ET DE LA LITTERATURE FRANCAISES DES XVIIEME ET XVIIIEME SIECLES" .
<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812927P>	<http://hub.abes.fr/namespace/sigle>	"UMR8599" .
<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812927P>	<http://schema.org/foundingDate>	"1998" .
<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812927P>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://data.enseignementsup-recherche.gouv.fr/rnsr/vocab/typStruct/UR> .
<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812927P>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://schema.org/Organization> .

 

Référentiel des structures de HAL

Contenu : Paris 4 et ses structures

Nous avons récupéré les données via l’API de HAL et les avons converti en RDF.

Graphe : http://hub.abes.fr/ccsd/structures/paris4

Modélisation : ABES

Exemple :

<https://hal.archives-ouvertes.fr/resource/structure/1349>	<http://hub.abes.fr/namespace/sigle>	"CELLFXXS" .
<https://hal.archives-ouvertes.fr/resource/structure/1349>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<https://hal.archives-ouvertes.fr/resource/typStruct/laboratory> .
<https://hal.archives-ouvertes.fr/resource/structure/1349>	<http://www.w3.org/2002/07/owl#sameAs>	<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812927P> .
<https://hal.archives-ouvertes.fr/resource/structure/1349>	<http://schema.org/name>	"Centre d'\u00E9tude de la langue et de la litt\u00E9rature fran\u00E7aises des\n                XVIIe et XVIIIe si\u00E8cles [CELLFXXS]" .
<https://hal.archives-ouvertes.fr/resource/structure/1349>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://schema.org/Organization> .
<https://hal.archives-ouvertes.fr/resource/structure/1349>	<http://hub.abes.fr/namespace/structCode>	"UMR8599" .

 

Les référentiels d’analyse du contenu

 

RAMEAU

Contenu : dump BnF (avril 2015)

Graphe : http://hub.abes.fr/rameau_avril2015

Modélisation : BnF

Exemple :

<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2004/02/skos/core#related>	<http://data.bnf.fr/ark:/12148/cb120000024> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2000/01/rdf-schema#seeAlso>	<http://catalogue.bnf.fr/ark:/12148/cb12041722r> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2002/07/owl#sameAs>	<http://www.idref.fr/028618106/id> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2002/07/owl#sameAs>	<http://stitch.cs.vu.nl/vocabularies/rameau/ark:/12148/cb12041722r> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://www.w3.org/2004/02/skos/core#Concept> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2004/02/skos/core#closeMatch>	<http://dewey.info/class/915/> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2004/02/skos/core#prefLabel>	"Portugal -- Colonies -- Afrique"@fr .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2004/02/skos/core#closeMatch>	<http://dewey.info/class/950/> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://data.bnf.fr/ontology/bnf-onto/FRBNF>	"12041722"^^<http://www.w3.org/2001/XMLSchema#integer> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2004/02/skos/core#broader>	<http://data.bnf.fr/ark:/12148/cb11979529k> .
<http://data.bnf.fr/ark:/12148/cb12041722r>	<http://www.w3.org/2004/02/skos/core#narrower>	<http://data.bnf.fr/ark:/12148/cb16661249d> .

 

LCSH

Contenu : dump LCSH (octobre 2014)

Graphe : http://hub.abes.fr/lcsh_27oct2014

Modélisation : LoC

Exemple :

<http://id.loc.gov/authorities/subjects/sh85147558>	<http://www.w3.org/2004/02/skos/core#broader>	<http://id.loc.gov/authorities/subjects/sh96010352> .
<http://id.loc.gov/authorities/subjects/sh85147558>	<http://www.w3.org/2004/02/skos/core#prefLabel>	"Businesswomen"@en .
<http://id.loc.gov/authorities/subjects/sh85147558>	<http://www.w3.org/2004/02/skos/core#narrower>	<http://id.loc.gov/authorities/subjects/sh86006258> .

 

MeSH

Contenu : dump NLM

Graphe : http://id.nlm.nih.gov/mesh

Modélisation : NLM

Exemple :

<http://id.nlm.nih.gov/mesh/D000035>	<http://id.nlm.nih.gov/mesh/vocab#nlmClassificationNumber>	"WM 420.5.A2" .
<http://id.nlm.nih.gov/mesh/D000035>	<http://id.nlm.nih.gov/mesh/vocab#broaderDescriptor>	<http://id.nlm.nih.gov/mesh/D013811> .
<http://id.nlm.nih.gov/mesh/D000035>	<http://www.w3.org/2000/01/rdf-schema#label>	"Abreaction"@en .

 

FMeSH (MeSH en français)

Contenu : Notices FMeSH chargées annuellement dans IdRef

Graphe : http://hub.abes.fr/referentiel/idref/mesh/14042016

Modélisation : ABES

Exemple :

<http://www.idref.fr/038961830/id>	<http://www.w3.org/2004/02/skos/core#inScheme>	<http://id.nlm.nih.gov/mesh> .
<http://www.idref.fr/038961830/id>	<http://www.w3.org/2004/02/skos/core#altLabel>	"tendances (qualificatif)" .
<http://www.idref.fr/038961830/id>	<http://www.w3.org/2004/02/skos/core#altLabel>	"trends" .
<http://www.idref.fr/038961830/id>	<http://www.w3.org/2004/02/skos/core#altLabel>	"TD" .
<http://www.idref.fr/038961830/id>	<http://www.w3.org/2004/02/skos/core#prefLabel>	"tendances"@fr .
<http://www.idref.fr/038961830/id>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://www.w3.org/2004/02/skos/core#Concept> .

 

Thesaurus Nature (NPG)

Contenu : dump NPG

Graphe : http://ns.nature.com/subjects

Modélisation : NPG

Exemple : <http://ns.nature.com/subjects/enteric-nervous-system&gt; (description)

<http://ns.nature.com/subjects/enteric-nervous-system>	<http://www.w3.org/2004/02/skos/core#closeMatch>	<http://id.nlm.nih.gov/mesh/D017615> .
<http://ns.nature.com/subjects/enteric-nervous-system>	<http://ns.nature.com/terms/hasRoot>	<http://ns.nature.com/subjects/biological-sciences> .
<http://ns.nature.com/subjects/enteric-nervous-system>	<http://www.w3.org/2004/02/skos/core#prefLabel>	"Enteric nervous system"@en .
<http://ns.nature.com/subjects/enteric-nervous-system>	<http://www.w3.org/2004/02/skos/core#closeMatch>	<http://dbpedia.org/resource/Enteric_nervous_system> .

 

Journal of economic literature (JEL) classification system

Contenu : dump RDF de cette classification spécialisée

Graphe : http://hub.abes.fr/graph/jel

Modélisation : ZBW

Exemple :

<http://zbw.eu/beta/external_identifiers/jel#C25>	<http://www.w3.org/2004/02/skos/core#prefLabel>	"C25 - Modèles de r"gression discrète et de choix qualitatif; Régresseurs discrets; Proportions; Probabilités"@fr .
<http://zbw.eu/beta/external_identifiers/jel#C25>	<http://www.w3.org/2004/02/skos/core#prefLabel>	"C25 - Discrete Regression and Qualitative Choice Models; Discrete Regressors; Proportions; Probabilities"@en .
<http://zbw.eu/beta/external_identifiers/jel#C25>	<http://www.w3.org/2004/02/skos/core#prefLabel>	"C25 - Diskrete Regressionsmodelle und qualitative Auswahlmodelle; Diskrete Regressoren; Gr\u00F6\u00DFenverh\u00E4ltnisse; Wahrscheinlichkeiten"@de .

 

Les référentiels de bouquet

 

Bouquet Dalloz

Contenu : modélisation en KBART très light de la collection des ebooks Dalloz

Graphe : http://hub.abes.fr/dalloz/bn/kbart/lite

Modélisation : GoKB (modélisation non finalisée)

Exemple :

<http://hub.abes.fr/bndalloz/ebook/9782247041091/m/web/tipp>	<http://www.loc.gov/standards/mods/modsrdf/v1/#locationUrl>	"http://dallozbndpro-pvgpsla5.dalloz-bibliotheque.fr/fr/pvpage2.asp?puc=4236&amp;amp;amp;nu=36&amp;amp;amp;selfsize=1" .
<http://hub.abes.fr/bndalloz/ebook/9782247041091/m/web/tipp>	<http://gokb.org/tipp/#hasTitle>	<http://www.sudoc.fr/191183768/id> .
<http://hub.abes.fr/bndalloz/ebook/9782247041091/m/web/tipp>	<http://gokb.org/tipp/#belongsToPkg>	<https://bacon.abes.fr/package2kbart/dalloz_global_bnd> .

 

Les localisations

 

Bibliothèques possédant le bouquet Dalloz

Contenu : Liste des bibliothèques « possédant » le bouquet dalloz (d’après ERE).

Graphe : http://hub.abes.fr/dalloz/bn/who

Modélisation : ABES

Exemple :

<http://data.enseignementsup-recherche.gouv.fr/uai/0134031L>	<http://schema.org/owns>	<https://bacon.abes.fr/package2kbart/dalloz_global_bnd> .
<http://data.enseignementsup-recherche.gouv.fr/uai/0134031L>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://schema.org/Organization> .

 

Les alignements

Nous considérons que les alignements sont des jeux de données comme les autres, à côté des autres. On a intérêt à les gérer à part et à les diffuser à part : il est important de garder la traçabilité des données, de pouvoir faire le tri entre les données d’origine et les enrichissements ajoutés.
 

Alignements entre des auteurs NPG et ORCID

Contenu : quelques milliers d’alignements entre les identifiants locaux des auteurs NPG et les identifiants ORCID

Graphe : http://ns.nature.com/graphs/contributors/align/orcid

Exemple :

<http://ns.nature.com/contributors/jamie-barkin-s-ajg20001205>	<http://xmlns.com/foaf/0.1/givenName>	"Jamie" .
<http://ns.nature.com/contributors/jamie-barkin-s-ajg20001205>	<http://xmlns.com/foaf/0.1/name>	"Jamie Barkin S" .
<http://ns.nature.com/contributors/jamie-barkin-s-ajg20001205>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://ns.nature.com/terms/Contributor> .
<http://ns.nature.com/contributors/jamie-barkin-s-ajg20001205>	<http://xmlns.com/foaf/0.1/familyName>	"Barkin S" .

 

Alignements entre des auteurs NPG et ISNI

Contenu : quelques milliers d’alignements entre les identifiants locaux des auteurs NPG et les identifiants ORCID, obtenus via Qualinca

Graphe : http://ns.nature.com/graphs/contributors/align/isni

Exemple :

<http://ns.nature.com/contributors/w-h-irwin-mclean-ng.276> owl:sameAs <http://isni.org/isni/0000000124496002> .

 

Alignements entre des auteurs HAL et IdRef

Contenu : quelques centaines d’alignements entre les auteurs HAL et les auteurs IdRef. Beaucoup d’autres sont prévus.

Graphe : http://hub.abes.fr/ccsd/docs/paris4/align/idref

Exemple :

<https://hal.archives-ouvertes.fr/resource/author/1087935>	<http://www.w3.org/2002/07/owl#sameAs>	<http://www.idref.fr/111217776/id> .

 

Alignements entre des chercheurs de Paris 4 et IdRef

Contenu : La grande majorité de nos chercheurs de Paris 4 alignés vers IdRef.

Graphe : http://hub.abes.fr/paris4/labos/auteurs/align/idref

Exemple :

<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://xmlns.com/foaf/0.1/givenName>	"Mahamane" .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>	<http://xmlns.com/foaf/0.1/Person> .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://www.w3.org/2002/07/owl#sameAs>	<http://www.idref.fr/083406964/id> .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://schema.org/memberOf>	<http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/199812914A> .
<http://hub.abes.fr/paris4/person/qe_paris4_1004>	<http://xmlns.com/foaf/0.1/familyName>	"DJOUDOU" .

 

Alignements entre des auteurs de Persée et IdRef

Contenu : Plus de 10 000 alignements entre Persée et IdRef. Des milliers d’autres seront bientôt générés, dans le cadre d’une fructueuse collaboration avec Persée. Les URIs qui identifient les auteurs Persée sont pour l’instant fictives, mais nos collègues Lyonnais travaillent à l’exposition de leur base sur le web de données.

Graphe : http://hub.abes.fr/persee/auteurs/align/idref

Exemple :

<http://data.persee.fr/person/10004#Person>	<http://www.w3.org/2002/07/owl#sameAs>	<http://www.idref.fr/068894449/id> .

 

Alignements entre auteurs Nature (NPG)

Contenu : Plus de 10 000 alignements entre auteurs Nature. Dans le dump RDF de Nature, les auteurs ne sont pas identifiés : si un même auteur a publié deux articles, il apparaîtra avec deux URIs différentes. Pour l’identifier, on peut soit l’aligner sur un référentiel extérieur (ce qu’on fait par ailleurs, dans le cadre de notre projet de recherche Qualinca), soit, à défaut, aligner entre elles les URIs sous lesquelles il est nommé au sein du jeu de données. C’est ce qui a été fait en exploitant l’email, absent du dump RDF mais présent dans les données XML ISTEX : si deux personnes ont le même email et des noms très proches, alors on considère que c’est la même personne. A terme, nous créerons des URIs pivot vers lesquelles pointeront toutes les URIs rapprochées. Pour l’instant, on ajoute des relations owl:sameAs entre chaque paire d’URIs, ce qui est plus bavard.

Graphe : http://ns.nature.com/graphs/contributors/align/email

Exemple :

<http://ns.nature.com/contributors/aaron-f-straight-ncb1899>    owl:sameAs <http://ns.nature.com/contributors/ns1:aaron-f-straight-nature10379> .

 

Alignements entre les auteurs Springer et IdRef

Contenu : Près de 20 000 alignements entre des auteurs d’ebooks (voire de chapitres) et des auteurs IdRef. D’autres alignements seront générés, soit par programme, soit par les catalogueurs du réseau Sudoc, notamment dans le cadre du dispositif CERCLES.

Graphe : http://hub.abes.fr/springer/ebooksLN2011/SPR_EBOOK_ALL_25DEC/personnes/idref

Exemple :

<http://hub.abes.fr/springerB/ebook/10904251/caofrederic>  owl#sameAs  <http://www.idref.fr/094231737/id> .

 

Alignements entre les documents Springer et RAMEAU

Contenu : Plus de 70 000 liens entre les documents Springer et les identifiants IdRef de RAMEAU, obtenus grâce à l’alignement entre le thesaurus d’indexation matière de Springer, LCSH et RAMEAU.

Graphe :
Liens les documents et le RAMEAU IdRef : http://hub.abes.fr/springer/ebooksLN2011/SPR_EBOOK_ALL_25DEC/rameauppn
Alignements entre le RAMEAU officiel (BnF) et le RAMEAU Idref : http://hub.abes.fr/rameau_avril2015/ppns
Alignements entre le thesaurus d’indexation matière de Springer, LCSH et RAMEAU : http://hub.abes.fr/theses/referentiel/concepts/springer/8janvier2016

Exemple :

<http://hub.abes.fr/springerB/ebook/0-387-97089-4/w>	dcterms:subject	<http://www.idref.fr/027239519/id> .

 

Alignement entre les domaines HAL et Dewey

Contenu : Alignement manuel entre les domaines HAL et la classification Dewey. Ces alignements de concepts sont toujours délicats. Ils mériteraient d’être revus et amendés de manière collaborative, d’autant qu’ils peuvent être utiles à beaucoup de collègues dans les bibliothèques et les laboratoires.
Depuis la fermeture du site dewey.info par OCLC, les URI Dewey sont en déshérence.

Graphe :
http://hub.abes.fr/ccsd/domaines/align/dewey

Exemple :

<https://hal.archives-ouvertes.fr/resource/domain/info.info-ai>	 skos:closeMatch  <http://dewey.info/class/006.3/> .

 

Alignement entre les structures de recherche de Paris 4 dans les référentiels RNSR, HAL et IdRef

Contenu : Alignement manuel.

Graphe :
http://hub.abes.fr/alignements/structures/rnsr/idref/ccsd

Exemple :

<https://hal.archives-ouvertes.fr/resource/structure/74682>  owl:sameAs  <http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/200615326M> .
<https://hal.archives-ouvertes.fr/resource/structure/107600>  owl:sameAs  <http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/200615326M> .
<http://www.idref.fr/031896596/id>  owl:sameAs  <http://data.enseignementsup-recherche.gouv.fr/rnsr/structure/200615326M> .

Une zone 309 pour coordonner le travail collectif sur la qualité des données Sudoc

Au moment du chargement de nouvelles notices ou à l’occasion d’un chantier de contrôle qualité, l’ABES peut être amenée à effectuer des modifications de masse pour améliorer ou corriger des notices. Hélas, tout n’est pas automatisable – surtout si on tient à conserver un certain niveau de qualité bibliographique. Une fois que les algorithmes ont parlé et atteint leurs limites, l’ABES passe le relais au réseau, qui possède la force de frappe et l’expertise humaine pour continuer le travail, ne serait-ce qu’en se concentrant sur l’essentiel ou le prioritaire.

Mais, précisément, qu’est-ce qui est essentiel ? Qu’est-ce qui est prioritaire ? Sur quelles notices faut-il que le réseau se mobilise ? Et sur quels points précis dans les notices ? Étant donné la taille de la base, le volume des entrées et la richesse des règles, chaque catalogueur, chaque service de catalogage peut se sentir perdu devant l’ampleur de la tâche. C’est pourquoi l’ABES souhaite structurer d’avantage l’organisation de cet immense travail collectif. Cette volonté se traduit aujourd’hui sous une forme très concrète : la zone 309…

309_en_chantier
Cette « note d’information interne au Sudoc » existait déjà, mais elle ne possédait qu’une sous-zone ($a) :

309 ##$aCORRIGER LE(S) CODE(S) DE FONCTION = 000 EN 7XX, L7XX et/ou E7XX. SUPPRIMER LA PRESENTE NOTE 309 UNE FOIS LA (LES) CORRECTION(S) EFFECTUEE(S)

Elle est désormais structurée, ce qui permet une meilleure exploitation.

309 et ToDoList

Ainsi, dans le cadre des travaux du hub de métadonnées sur les ebooks de droit international achetés dans le cadre d’ISTEX, certains traitements automatiques ont permis d’enrichir les données, notamment en ajoutant des liens aux autorités auteur. Quand le programme n’a pas su identifier la bonne autorité, une zone 309 a été injectée dans la notice bibliographique concernée, pour inciter les catalogueurs à poursuivre le travail et les guider.

309 ##$aLE(S) LIEN(S) AUTORITE AUTEUR RESTE(NT) A CREER. SUPPRIMER LA PRESENTE NOTE 309 UNE FOIS LA (LES) CORRECTION(S) EFFECTUEE(S)$bBRILL-RADI-LN$d2014-04-09 11:15:01.894

Dans la sous-zone $b, on trouvera l’identifiant du chantier ou du corpus auquel correspond cette zone de note. Grâce à cet identifiant précis, il est aisé d’effectuer des statistiques plus fines sur les chantiers qualité en cours, mais surtout de fournir aux catalogueurs la liste toujours à jour des notices à traiter. Pour accéder à cette liste, il suffit de se rendre à une adresse web ainsi construite :

http://www.sudoc.fr/services/chantier/ + {contenu de la $b}.

Ce qui donne, pour l’exemple précédent :

http://www.sudoc.fr/services/chantier/BRILL-RADI-LN.

A cette adresse, on récupère un fichier à ouvrir dans Excel : il s’agit d’un tableau qui liste toutes les notices à corriger, en précisant la correction à effectuer. En entête du tableau, quelques chiffres et pourcentages permettent de mesurer la progression du chantier, pour voir si on tient le bon bout… Pour des raisons de fond ou des raisons techniques, ces tableaux ne seront pas disponibles quand les 309 concerneront des chantiers qui touchent à des notices importées ou à un trop grand nombre de notices.

L’ABES propose. Le réseau dispose.

Enfin, dans certains cas, le programme a travaillé mais n’ose pas trancher. Pour reprendre l’exemple précédent, son cœur peut balancer entre deux autorités. Voire considérer que, même si une seule autorité est en lice, il serait imprudent de conclure aveuglément qu’il s’agit de la bonne. On trouvera alors en $c le(s) PPN que le programme suggère sans oser le(s) retenir. Cette liste de PPN se présente sous la forme d’une requête WinIBW :

309 ##$aLE(S) LIEN(S) AUTORITE AUTEUR RESTE(NT) A CREER. A TITRE INDICATIF, LE SYSTEME DE DETECTION AUTOMATIQUE SUGGERE PLUSIEURS PPN A DEPARTAGER. SUPPRIMER LA PRESENTE NOTE 309 UNE FOIS LA (LES) CORRECTION(S) EFFECTUEE(S)$bBRILL-RADI-LN$cche PPN1 ou PPN2$d2014-04-09 11:15:01.894

Il s’agit d’une aide à la décision pour le catalogueur, qui, s’il le souhaite, peut se contenter d’examiner les PPN proposés, sans s’attarder sur les autres PPN qu’une recherche sur le nom pourrait renvoyer.
Qu’il suive les suggestions du programme ou non, le catalogueur crée le lien manquant puis n’oublie pas de supprimer la 309 correspondante. La notice disparaît alors du tableau des notices à traiter pour tel chantier (sauf si cette notice contient une autre 309 pour ce même chantier).

Aller plus loin

Ce nouveau dispositif se veut très pragmatique. Il s’agit d’améliorer l’efficacité collective du réseau sans compliquer la vie des catalogueurs. On pourrait imaginer d’autres dispositifs et l’ABES n’exclut pas de proposer au réseau d’autres manières d’intervenir sur les données. D’avance, merci pour vos retours, vos suggestions et … votre chasse aux 309.

NB : les chantiers en cours sont listés dans la page du guide méthodologique qui documente la zone 309 : http://documentation.abes.fr/sudoc/formats/unmb/zones/309.htm.

Y. Nicolas

DoMyBiblio

Fonctionnalités

DoMyBiblio est un outil en ligne d’édition de bibliographie reposant sur les données du SUDOC. Développée en PHP, cette application permet, à partir d’une liste de numéros ISBN, d’obtenir l’affichage d’une bibliographie, contenant, pour chaque document :

  • 4 éléments de description (Titre / Auteur / Édition / Description)
  • une vignette représentant la couverture (lorsqu’elle est disponible) provenant du service Amazon.

Cette bibliographie peut être imprimée ou enregistrée au format PDF.

De plus, en mode simple, il est possible d’ajouter un commentaire pour chacun des ouvrages figurant dans la liste en respectant la syntaxe proposée : « 978-2-84678-116-9*lire le chapitre 2 »

Dans ce cas précis, un champ commentaire apparaîtra et contiendra « lire le chapitre 2 ». Ainsi, un professeur peut éditer une bibliographie en indiquant à ses étudiants quels chapitres lire en priorité.

En mode avancé, l’utilisateur peut ajouter plusieurs champs relatifs à chaque référence en suivant la syntaxe proposée par l’application : « 0-12-391861-8*Commentaire|lire le chapitre 2*Localisation|Magasin »

Ici, un champ dénommé Commentaire contiendra « lire le chapitre 2 » et un champ Localisation contiendra « Magasin». L’astérisque annonce l’ajout d’un champ et le caractère | sépare l’intitulé du champ de son contenu.

domybiblio_advancedmode

Cette application peut être également utilisée afin d’éditer des listes de nouveautés si votre SIGB ne vous propose pas un outil pour le faire.

De l’utilisation des webservices

DoMyBiblio utilise deux services web proposés par l’ABES : isbn2ppn et Sudoc en RDF. Le premier permet d’obtenir le PPN d’une notice bibliographique à partir d’un ISBN, le second permet  d’afficher les données d’une notice bibliographique donnée. Si le premier est facile à manipuler dans la mesure où il présente une structure xml simple, le second l’est beaucoup moins. En effet, il comprend plusieurs espaces de nommage (namespaces) utilisés pour les différents éléments de la notice :

<rdf:RDF xmlns:rdf= »http://www.w3.org/1999/02/22-rdf-syntax-ns# &raquo; xmlns:bibo= »http://purl.org/ontology/bibo/ &raquo; xmlns:dc= »http://purl.org/dc/elements/1.1/ &raquo; xmlns:dcterms= »http://purl.org/dc/terms/ &raquo; xmlns:rdafrbr1= »http://rdvocab.info/RDARelationshipsWEMI/ &raquo; xmlns:marcrel= »http://www.loc.gov/loc.terms/relators/ &raquo; xmlns:foaf= »http://xmlns.com/foaf/0.1/ &raquo; xmlns:gr= »http://purl.org/goodrelations/v1# &raquo; xmlns:owl= »http://www.w3.org/2002/07/owl# &raquo; xmlns:frbr= »http://purl.org/vocab/frbr/core# &raquo; xmlns:isbd= »http://iflastandards.info/ns/isbd/elements/ &raquo; xmlns:skos= »http://www.w3.org/2004/02/skos/core# &raquo; xmlns:rdafrbr2= »http://RDVocab.info/uri/schema/FRBRentitiesRDA/ &raquo; xmlns:rdaelements= »http://rdvocab.info/Elements/ »&gt;

Pour accéder à l’outil : http://mydk-tomic.net/biblio/do_biblio.php

Yves Tomic, Département du système d’information documentaire, Service commun de documentation de l’Université Paris Sud. Contact : yves.tomic[@]u-psud.fr ou yves[@]mydk-tomic.net

L’ABES remercie Yves Tomic pour sa contribution à l’enrichissement des outils du Sudoc. Le Pôle Formation Documentation vous informe que le tutoriel « La boîte à outils du catalogue Sudoc » a été mis à jour et une leçon « DoMyBiblio »  a été créée : http://moodle.abes.fr/course/view.php?id=40

Baisse des consultations sur le catalogue Sudoc : l’arbre des causes à la loupe

Depuis 2008, l’analyse des statistiques de consultation du catalogue Sudoc public a montré une baisse importante. Afin d’en déterminer les causes et de décider des éventuelles actions à mener pour y remédier,  une étude a été réalisée à l’ABES, étude que ce billet se propose de présenter.

Des hauts et des bas

Le graphique ci-dessous, publié également dans l’étude SGBM, a servi de point de départ à l’étude :

Image

Ce graphique indique bien une forte hausse entre 2004 et 2008 (de 6 millions à plus de 25 millions de connexions annuelles, soit une hausse de 400%), suivi d’une baisse tout aussi importante (de 25 millions à 15 millions en 2012). Ce constat est renforcé par le fait que les courbes « connexions et  recherches réussies sur le catalogue professionnel  (accessible via WinIBW) sont restées stables depuis 2008.

Pour expliquer ces importantes variations, il s’agissait de déterminer quels évènements de nature « exceptionnelle » avaient eu lieu durant cette période. Les conclusions, disponibles dans le document de l’étude, sont résumées dans ce billet.

Analyse des index et clés de recherche

En analysant  plus spécifiquement les recherches s’appuyant sur les index, un premier constat a fait émerger une très forte augmentation du nombre de recherches sur l’index ISBN entre 2008 et 2010.

Année

% du total

2013 (4 mois)

4,41

2012

5,33

2011

8,13

2010

18,69

2009

42,78

2008

31,83

2007

4,18

2006

3,50

2005

3,50

Or, après une analyse plus fine des recherches sur cet index, réalisée à partir des données de Webstats (système de pilotage des applications de l’ABES) et des archives de logs Apache, il s’est avéré que ces requêtes provenaient en majeure partie d’un seul établissement (soit en 2008 : 7,5 millions des 8,5 millions de recherches effectuées sur l’index ISBN). La mise en œuvre d’un portail ou d’un système de recherche fédérée peut expliquer cette hausse de consultation sur l’index ISBN.

Autre augmentation significative : les recherches sur l’index PPN (+ 50% entre 2010 et 2011, et + 100% entre 2011 et 2012). Une augmentation qui s’explique aisément par la mise en place en 2008-2009 de l’URL pérenne d’accès aux notices Sudoc (de type : http://www.sudoc.fr/ppn), la redirection vers la notice détaillée du Sudoc s’effectuant automatiquement par une recherche sur l’index PPN.

De plus, afin de permettre au moteur de recherche Google d’indexer les notices – améliorant ainsi la visibilité du catalogue sur le Web, un sitemap contenant l’ensemble des URL pérennes des notices du Sudoc a été envoyé à Google. L’augmentation du nombre de recherches sur l’index PPN est l’une des conséquences directes de cette initiative.

La chasse au robot

Début 2007, suite à une attaque par « déni de service » (tentative de faire effondrer un réseau par l’envoi d’un très grand nombre de requêtes) sur le serveur hébergeant le Sudoc public, les équipes techniques de l’ABES ont constaté un très fort trafic sur la machine du Sudoc en provenance de robots, et plus particulièrement des robots de Google. Afin d’endiguer ces requêtes « inutiles », un blocage des principales adresses IP de ces robots a été mis en place au niveau du routeur. En effet, l’application Sudoc étant développée dans un langage propriétaire, les requêtes envoyées par les robots ne retournaient jamais de résultats cohérents : ce trafic était donc inutile pour tout le monde, mais il était quand même comptabilisé dans nos statistiques. A titre indicatif, les connexions effectuées par les robots représentaient 37% du nombre total en 2007 et 20% en 2008. Le travail au fil de l’eau pour bloquer ce trafic a permis d’arriver à une valeur proche de 0 en 2009, une valeur survenue à peu près au moment de la fourniture du fichier sitemap à Google, qui a de ce fait désactivé les interrogations du catalogue par leurs robots.

Z3950 oui mais … sans les notices ISSN

Jusqu’en  2011, les accès Z3950 au catalogue Sudoc étaient effectués via des requêtes passées directement sur le catalogue public. Ainsi, toute interrogation du Sudoc via un client Z3950 était comptabilisée dans les statistiques de la base de production de l’interface publique. En mars 2011, suite à une demande formulée par l’ISSN international, les requêtes utilisant le protocole Z3950 ont cessé de cibler la base de production, ne ciblant désormais qu’un sous-ensemble de la base, qui exclut les notices en provenance de l’ISSN. Ainsi, au niveau statistique,  un certain nombre de connexions ciblant initialement la base de production publique ont  été déplacés vers ce sous-ensemble,  soit 676 578 recherches de ce type en 2011 et 979 989 en 2012. Une restriction qui a donc accentué significativement la baisse des consultations.

Vieillissant le Sudoc ?

Divers éléments – tels le vieillissement des machines du Sudoc, l’augmentation de la volumétrie des bases de données – ont entrainé une baisse des performances du Sudoc public, relayée par certains professionnels des réseaux. Même si, suite au changement de machines qui a eu lieu début 2012, une légère augmentation du nombre de connexions a pu être constatée, aucun lien de cause à effet ne peut être confirmé. Cette piste semble toutefois un paramètre méritant d’être mentionné.

Conclusions

A partir des différentes causes énoncées ci-dessus, il est possible d’agréger la quasi-totalité des chiffres. En les déduisant ou les ajoutant aux statistiques à notre disposition sur les périodes concernées, il est possible d’établir de nouveaux totaux, bien plus représentatifs de la réalité de l’activité du catalogue Sudoc public :

Année

Total recherches

Z3950

Robots

ISBN Moyen

ISBN

Nouveau total

2005

18 717 660

   

1 000 000

443 275

19 274 385

2006

23 254 683

   

1 000 000

580 083

23 674 600

2007

29 866 256

11 000 000

1 000 000

957 320

18 908 936

2008

34 044 971

6 900 000

1 000 000

8 575 800

19 569 171

2009

27 223 034

 

250 000

1 000 000

8 950 626

19 022 408

2010

24 685 719

 

0

1 000 000

3 282 718

22 403 001

2011

19 873 279

676 578

0

1 000 000

1 093 176

20 456 681

2012

18 934 373

979 989

0

1 000 000

736 755

20 177 607

 

Explications  :

  •  La donnée « total des recherches » est extraite du système de pilotage des applications de l’ABES
  •  La donnée « Z3950 » représente le nombre de recherches utilisant ce protocole qui ne sont plus comptabilisées dans les recherches sur la base de production du catalogue public
  •  La donnée « Robots » est une estimation du nombre de requêtes effectuées par des robots d’indexation
  •  La donnée « ISBN moyen » correspond à la moyenne du nombre de recherches sur l’index ISBN ces 2 dernières années
  •   La donnée « ISBN » représente le nombre de recherches effectuées par un seul établissement sur le catalogue Sudoc, ce qui a augmenté les statistiques de façon artificielle
  •  La donnée « nouveau total » est obtenue par le calcul : » total de recherches » + « Z3950 » – « Robots » – « ISBN » + « ISBN Moyen »

En agrégeant ce nouveau total dans un graphique, on obtient la courbe suivante :

Image

Cette nouvelle courbe montre que le pic survenu en 2008 – qui a d’ailleurs permis à l’ABES de prendre conscience d’un problème sur la consultation du catalogue – a été résorbé par ce mode de calcul plus représentatif de la réalité des consultations de cette année-là. Une fois les chiffres du pic recalculés, la courbe oscille entre 20 et 25 millions de recherches par an et garde une allure relativement plane.

Un peu de prospective

Du fait de la politique d’ouverture des données développée par l’ABES, cet indicateur quantitatif (= nombre de recherches effectuées sur l’interface publique du Sudoc) ne sera certainement plus pertinent dans quelques années. Il conviendra alors de dissocier les indicateurs d’accès à nos données  -via l’interface publique du Sudoc ou via toutes autres interfaces utilisant les données du Sudoc- de l’indicateur d’accès à l’interface publique elle même. Selon le degré de réutilisation de nos données, cette dernière interface pourrait même avoir vocation à disparaitre pour le grand public. A suivre….

 

Quelques clés pour géolocaliser les notices Sudoc

boussoleComme annoncé cet été dans un billet du Fil’Abes, un  nouveau service a été mis en production : la géolocalisation des exemplaires des documents décrits dans le catalogue Sudoc. Ce billet se propose d’expliciter comment il a été conçu techniquement. A vos boussoles !

Une condition : des notices RCR enrichies

Pour mettre en place ce service, il a tout d’abord fallu recueillir les coordonnées GPS des établissements documentaires afin de les injecter de façon automatisée dans les notices descriptives des bibliothèques (=notices RCR). Au préalable, deux nouvelles zones -longitude et latitude- avaient  été ajoutées dans le format des notices RCR afin  de pouvoir y indiquer les coordonnées GPS. Ne disposant que des adresses postales, un script SQL a été conçu afin d’extraire les adresses des bibliothèques de la base de données, ce en formulant des requêtes HTTP de ce type : http://maps.googleapis.com/maps/api/geocode/json?region=fr&sensor=false&address=ADRESSE_DE_LETABLISSEMENT

Pour cela, c’est  l’API Geocoding de Google Map qui a été utilisée, une API bien pratique dont le fonctionnement est explicité sur Google Developers. Cette API renvoie un fichier JSON dans lequel il est simple d’extraire les coordonnées GPS afin d’enrichir les notices RCR.

Après cette première mise-en-œuvre automatisée, il appartient aux coordinateurs et responsables CR de renseigner ces informations lors de la création de toute nouvelle notice RCR.

La Géolocalisation côté code

Sur le catalogue Sudoc public, à partir  de l’onglet « Où trouver ce document ? » situé au-dessus de chaque notice bibliographique, un lien utilisant l’identifiant de la notice (=numéro PPN)  est généré : http://www.sudoc.fr/geolocalisation/?ppn=017150590

Pour parvenir à ce résultat, plusieurs web services développés par l’ABES sont utilisés :

  • le lien profond (deep link) intitulé « Disponibilité », pointant vers l’exemplaire situé dans le catalogue de l’établissement : il peut être récupéré en consultant le web service « MultiLinkRcr ». Ce service, qui répond au format JSON, prend en paramètre la liste des numéros RCR des établissements que l’on veut consulter. Le lien profond se trouve dans la zone « racinedeeplinkpsi » : http://www.sudoc.fr/services/multilinkrcr/490072101,290192101,951272104

Comment réutiliser la géolocalisation Sudoc dans vos développements ?

Deux  possibilités s’offrent aux développeurs qui souhaitent intégrer ce web service de géolocalisation à leurs développements :

  • par le biais d’une iFrame
  • en créant directement un lien vers l’URL du service. Celui-ci  fonctionne grâce à l’identifiant des notices Sudoc (= le numéro PPN), passé en paramètre de l’URL : http://www.sudoc.fr/geolocalisation/?ppn=142864811

Rappel  : en fonction des informations dont on dispose, plusieurs services permettent de trouver l’identifiant Sudoc d’une notice (PPN). La liste de ces services ainsi que leur documentation est accessible sur la page « Pour les développeurs » du site de l’ABES.

Un serveur SPARQL pour le Sudoc

Depuis juillet 2011, l’ensemble des données Sudoc est accessible en RDF. Si on connaît son identifiant, chacune des dix millions de notices du Sudoc peut être affichée en RDF/XML. Mais encore faut-il connaître cet identifiant… Ce dispositif est utile pour permettre à un programme de naviguer de notice en notice, y compris en rebondissant sur les données RDF d’IdRef par exemple, mais cela ne permet pas d’explorer systématiquement le Sudoc ni d’effectuer une recherche.

SPARQLer le Sudoc ?

Pour ce faire, il faudrait que toutes ces pages RDF soient agrégées en une seule base qui supporte la possibilité d’interroger des données RDF en tant que RDF. Cette possibilité s’appelle SPARQL : il s’agit d’un langage de requête standardisé conçu pour interroger les données RDF. Pour l’ABES, offrir un accès au Sudoc en SPARQL reste un objectif, mais ce n’est pas une priorité de premier niveau. Par contre, faire en sorte que d’autres acteurs puissent récupérer l’ensemble du Sudoc en RDF et ce, s’ils le souhaitent, dans une base RDF compatible avec SPARQL, c’est incontournable.

Moissonner le Sudoc

C’est pourquoi, dès juillet 2011, nous avons indiqué à des agrégateurs potentiels comment moissonner le Sudoc en RDF. De la même manière que les robots des moteurs de recherche peuvent crawler un site web dynamique à partir d’un fichier XML qui liste toutes les URLs du site, les robots des agrégateurs de données RDF ont été invités à crawler le Sudoc de la même manière, mais en demandant explicitement le format RDF/XML. Au passage, ce fichier XML qui liste les URLs est un fichier sitemap et le fait de pouvoir servir une page en HTML ou en RDF (ou autre chose encore) en fonction de la demande du client s’appelle la négociation de contenu.

S’il est en théorie séduisant et rassurant d’imaginer qu’on puisse crawler la version RDF d’une base de données selon la méthode de crawl standard qui fait le web d’aujourd’hui, en pratique, aujourd’hui, ce n’est pas la solution la plus efficace. En un an, Sindice, un des principaux agrégateurs de contenu RDF, n’a moissonné que 10% de la base.

Vous avez prévu quoi pour juillet … 2021 ?

Dumper le Sudoc

Il nous faut donc recourir aux bonnes vieilles méthodes. Nous allons donc générer des exports réguliers du Sudoc en RDF et nous les publierons, en libre accès. Contrairement à la solution du crawl, cette solution du dump implique nécessairement un décalage temporel entre les données du Sudoc et celles de son dump. Nous espérons limiter à un mois ce décalage inévitable.

Afin de roder ce nouveau dispositif, nous avons mis le dump à la disposition de Sindice. Dès que le conseil d’administration aura décidé de la licence juridique associée aux données des réseaux ABES, donc du Sudoc, ce dump sera ouvert à tous.

SPARQLer le Sudoc  avec Sindice !

En attendant, c’est avec enthousiasme que nous avons constaté l’intégration réussie des 300 000 000 de triplets RDF du Sudoc dans le moteur de recherche Sindice et dans son serveur SPARQL. Certes, Sindice est une initiative universitaire, qui ne peut prétendre garantir la continuité de service d’un serveur commercial (ceci dit, Sindice a désormais sa structure commerciale). Certes, les bases de données RDF de cette taille n’ont pas les performances des bases de données relationnelles et encore moins des moteurs de recherche comme Solr. Mais la souplesse et la puissance de SPARQL sont addictifs.

Disposer d’un accès au Sudoc en SPARQL, c’est très précieux pour développer des prototypes, se former au web sémantique sur des données familières, faire des requêtes impossibles avec les interfaces actuelles du Sudoc (Web, Z39.50), identifier avec précision les aspects sur lesquels la conversion actuelle  du MARC en RDF peut être améliorée…. Mais nous ne conseillons pas de faire dépendre un service en production du serveur SPARQL de Sindice. Ce n’est pas le but.

Afin de vous encourager à confesser votre propre addiction dans les commentaires, voici une première requête, très simple, qui liste tous les auteurs que Jacques Roubaud a pu traduire :

SELECT distinct  ?auteur ?auteurnom

FROM <http://www.sudoc.fr/>

WHERE {
  ?doc <http://www.loc.gov/loc.terms/relators/trl> <http://www.idref.fr/027110583/id>.
  ?doc dc:title ?titre.
  ?doc >http://www.loc.gov/loc.terms/relators/aut> ?auteur.
  ?auteur foaf:name ?auteurnom.
      }

Y. Nicolas

IdRef dans VIAF et après … #2 Faciliter et améliorer le catalogage par dérivation

Ce post de fil.abes.fr annonce l’intégration du référentiel IdRef à VIAF et en présente les enjeux stratégiques. Punktokomo prend le relais pour détailler quelques implications pratiques. En voici la deuxième.

Grâce à MARC et Z39.50, le catalogage est d’ores et déjà une pratique professionnelle locale qui fonctionne dans un cadre global. L’idéal visé est le suivant : pour chaque livre, sa notice bibliographique est créée une fois, par quelqu’un, quelque part, puis échangée, reprise, exemplarisée autant de fois que nécessaire, partout, par tous.

Dans le cadre du Sudoc, plutôt que de créer ex nihilo une notice qui manque, le catalogueur interroge d’autres catalogues à la recherche de cette notice. S’il la trouve, il la récupère dans l’outil de catalogage du Sudoc et l’intègre telle quelle, … à beaucoup de détails près… C’est ce qu’on appelle du catalogage par dérivation. En voici un tutoriel, propre au contexte du Sudoc :

Parmi les adaptions à faire pour acclimater une notice externe à son nouvel environnement Sudoc, une des plus lourdes est de lier les points d’accès de la nouvelle notice aux autorités Sudoc (ie IdRef) : indexation matière, auteurs et autres mentions de responsabilité. Dans le cas des auteurs par exemple, il s’agit en général d’identifier dans les autorités Sudoc (ie IdRef) la bonne notice à partir d’un nom et d’un prénom (éventuellement complétés par une date). C’est une tâche très importante, mais parfois difficile, consommatrice de temps et sujette à erreur.

Or, il faut savoir que certains des catalogues qui servent de source à la dérivation dans le Sudoc sont eux-mêmes des catalogues sous contrôle d’autorité : en interne, leurs propres notices bibliographiques sont liées à des notices d’autorité, grâce à un identifiant. C’est le cas, par exemple, du catalogue de la bibliothèque nationale d’Allemagne et même de Worldcat. Par exemple, après vérification, il s’avère que la notice de Worldcat 212038123 est liée à une notice d’autorité interne et que cette autorité interne n’est qu’un clone de la notice nb98088322 du fichier d’autorité de la Bibliothèque du Congrès (LC). Hélas, quand cette notice Worldcat est exposée en ligne, soit par le Z39.50 auquel l’outil de catalogage du Sudoc est connecté, soit par web service, la mention de l’autorité a disparu : à la place de son identifiant, il ne reste qu’une chaîne de caractères (nom/prénom)… à partir de laquelle le catalogueur doit chercher une autorité Sudoc (en l’occurrence, 076940322).

Or, grâce à VIAF, si Worldcat exposait ses autorités internes – ou encore mieux l’identifiant LC -, il deviendrait possible d’automatiser cette tâche manuelle. En effet, cette grappe de VIAF met en relation l’autorité LC et l’autorité Sudoc (IdRef) que nous venons de prendre pour exemples. Dès lors, grâce aux solutions techniques proposées par VIAF, l’outil de catalogage du Sudoc pourrait automatiser cette tâche-ci du catalogage par dérivation qui consiste à lier un nom à une autorité Sudoc. Ce serait un gain de temps et sans doute en qualité. Certes, personne ne croit aux miracles ! VIAF ne réussit pas toujours à lier des autorités préexistantes. Et quand l’auteur n’a pas encore sa notice dans le Sudoc, il faut bien la créer. Mais ce serait néanmoins un progrès non négligeable.

Hélas, avant de mettre en place cette solution, il faudra attendre que Worldcat et les autres bases aient inclus dans les notices bibliographiques qu’elles exposent le lien à des autorités intégrées à VIAF. Côté Worldcat, l’ABES a explicitement transmis à OCLC une demande d’évolution allant dans ce sens. Pour d’autres bases, ce n’est pas encore le cas. Pour d’autres bases encore, c’est encore plus hypothétique : dans un catalogue comme celui de la Bibliothèque du Congrès, même en interne, il n’existe pas de lien matériel entre les notices bibliographiques et les notices d’autorité : seule la forme retenue de l’autorité est présente dans la notice bibliographique, mais pas son identifiant. La migration vers RDA et au-delà devrait permettre de dépasser ce manque.

Y. Nicolas