Synthèse de l’enquête « Évaluation du dispositif CERCLES »

CERCLES_pencils_by_art_sourse

Le dispositif CERCLES (Corrections et Enrichissements par le Réseau de Corpus de l’Enseignement Supérieur) a été lancé en 2015.
Depuis, 17 chantiers ont été lancés, dont 9 encore en cours.

Avec le double objectif d’évaluer les modalités de fonctionnement actuelles et de réfléchir à l’évolution du dispositif, une enquête a été menée, en février 2018, auprès des 18 responsables de chantiers CERCLES.

Voici un résumé de leurs opinions sur le dispositif.

Taux de participation : 77,7 %

18 responsables de chantier ont été sollicités, 14 ont validé le questionnaire. Cela constitue le corpus de réponses complètes et exploitables.
Ceux qui n’ont pas répondu appartiennent à des chantiers co-gérés ; à chaque fois, leurs binômes ont validés leurs réponses, de telle sorte qu’on peut affirmer que, si l’enquête ne reflète pas la totalité des établissements CERCLES, elle reflète en revanche la totalité des chantiers.

Sur l’organisation mise en place par le responsable de chantier :

  • le plus souvent, une petite équipe est mise en place, sans organisation très formelle (échanges sans réunions systématiques et planifiées), mais avec un document collaboratif.
  • s’il n’y a qu’1 agent sur le chantier, l’organisation se met en place en tenant compte de ces moyens limités ; la conduite solitaire d’un chantier n’entrave pas sa réalisation.
  • tous les responsables évoquent la difficulté à faire du « reporting » auprès de leur direction, par manque de document modèle.
  • chacun ressent le besoin de créer des documents spécifiques (procédures, scripts).
  • il semble difficile de prévoir en amont la durée du chantier :
    • le travail en mode projet (estimation, contrôle, révision) n’est pas systématiquement appliqué ;
    • les tâches d’organisation, de coordination ne sont pas quantifiées, au départ, dans le temps estimé nécessaire pour le chantier ;
    • il faut gérer des aléas et des charges de travail imprévues.
  • par contre, le travail CERCLES reste souvent prioritaire, en cas d’aléas.

Sur la reconnaissance de la fonction de responsable de chantier :

  • le plus souvent, un chantier est lancé à l’initiative de l’équipe de catalogage.
  • le travail CERCLES est davantage lié à l’agent (la personne) qu’à sa fonction (la fiche de poste). Ainsi :
    • il n’y pas d’objectifs et d’indicateurs associés dans la fiche de poste des agents responsables de chantier ;
    • aucune pérennité du chantier n’est assurée si l’agent quitte l’établissement.

Sur les enrichissements apportés par le chantier :

  • les axes d’enrichissements s’avèrent toujours plus importants que ceux prévus au départ.
  • les difficultés rencontrées pour les corrections sont liées aux difficultés du traitement des documents électroniques, pas au dysfonctionnement du dispositif CERCLES.
  • la collaboration avec l’éditeur du corpus, au sein du chantier, est utile, mais pas obligatoire.

Sur l’apport de l’ABES :

  • les services sont appréciés, à part l’espace de travail collaboratif, perfectible dans sa forme et dans son usage.

Sur la reconnaissance du réseau :

  • les responsables de chantier n’ont pas vraiment d’avis sur la question. Mais ignorer si on est reconnu ne veut pas dire qu’on ne l’est pas. Cela signifie simplement qu’on n’a jamais eu le moyen de mesurer cette reconnaissance (par exemple, l’ABES n’ pas inclut cette question dans l’enquête 2017 sur les usages professionnels du Sudoc).

Sur les évolutions du dispositif CERCLES :

  • les responsables actuels n’envisagent pas forcément de nouveaux chantiers, puisque la charge de travail est déjà importante.
  • le besoin de lancer des chantiers liées aux données d’autorités de leurs corpus n’apparait pas comme une priorité.
  • les chantiers à venir devraient être d’une volumétrie moins importante, pour attirer d’autres bibliothèques.

 

CERCLES_crayonsEt maintenant… ?

L’équipe de l’ABES en charge de coordonner le dispositif CERCLES analyse ces résultats pour formuler une série de préconisations, qui seront ensuite communiquées au réseau.

La synthèse complète et détaillée des résultats est disponible  ICI.

Satisfaction et besoins autour de l’application Step et de ses services : résultats de l’enquête 2015

Depuis son ouverture en 2011, en parallèle de celle de theses.fr, l’application Step a évolué avec l’apport de nouveaux services (export de données vers Star, programme d’import de données commun aux deux applications thèses, interconnexion avec des outils de gestion en local …) et son réseau s’est agrandi pour atteindre aujourd’hui 103 établissements habilités à délivrer le doctorat.

En 2015, l’activité de signalement des thèses en préparation semble avoir atteint sa vitesse de croisière. C’était l’occasion pour l’ABES  de recueillir auprès des correspondants Step leurs avis sur l’application et ses services associés, de connaître leurs éventuelles difficultés ainsi que les évolutions souhaitées. C’est à cette fin qu’une enquête a été menée du 3 mars au 15 avril 2015. En voici les principaux résultats.

Participation des établissements en production dans Step

graphique1Sur les 103 visés par l’enquête, l’ABES a reçu les réponses de 70 établissements, soit une participation de 67%. Parmi les répondants, 10 personnes déclarent que leur établissement n’a pas encore produit de données dans Step bien que la valorisation de leurs recherches doctorales sur theses.fr était une motivation pour rejoindre le réseau.

Une production de données aléatoire

Les principaux obstacles à la production de données dans Step sont liés, soit à une incohérence dans le circuit des thèses (22%), soit à des raisons techniques (22%), soit à un manque de volonté politique (11%). Autres problèmes à la marge soulevés : le manque de personnel et de temps, les changements de statut des établissements (fusion, COMUE) ou le désintérêt des services de scolarité ou des écoles doctorales pour le signalement des thèses en préparation au profit d’autres tâches jugées prioritaires.

Pour les établissements produisant dans Step, les éventuelles difficultés rejoignent celles cités ci-dessus. Elles sont d’ordre technique notamment autour des imports de données avec le module thèse d’Apogée (28%) puis organisationnel : le circuit des thèses entre services au sein de l’établissement est jugé « insatisfaisant » (12%). Viennent ensuite, les difficultés liées au manque de volonté politique de l’établissement (6%), au refus de l’école doctorale (4,5%) et au manque de formation des différents acteurs (4%).

Une application ergonomique et facile à utiliser

Pour 80% d’entre eux, les utilisateurs des formulaires de l’application Step sont satisfaits  et ne rencontrent pas de difficultés particulières.

Un service d’import de données perfectible

graphique239% des répondants affirment alimenter Step en utilisant les imports de données depuis le logiciel de gestion administrative des doctorants en vigueur. La majorité (73%) utilise ces imports de données pour la création et la mise à jour des fiche des thèses en préparation dans Step tandis qu’une minorité des répondants (27%) utilise les imports uniquement pour la création, les données étant ensuite complétées manuellement dans les formulaires.

Le plus grand nombre (69%) des utilisateurs du service d’import de données effectue ses imports depuis le module thèse d’Apogée de l’AMUE (import par Web services), l’autre partie les effectuant depuis l’application ADUM (26,9%).

9 personnes ont décrit en détail les problèmes rencontrés, particulièrement avec les imports depuis le logiciel de l’AMUE, Apogée :

  • créations de doublon pour certains établissements ayant un double circuit d’alimentation (import depuis Apogée dans Step et saisie manuelle uniquement dans Star) ;
  • difficulté d’avoir un scénario d’import en « multiflux » (import depuis une source A dans Step et depuis une source B dans Star) : création de doublon et problème lors de l’export des données vers Star ;
  • problème lié au workflow de l’application Step : écrasement des données saisies manuellement par le doctorant (résumé, mots-clés..) et des liens IdRef (directeur, partenaire de recherche..) dans l’éditeur de Step, à chaque nouvel import de données.

Des pistes d’amélioration pour les imports

Des propositions d’amélioration ont émergé et vont être étudiées par l’ABES comme, par exemple, la protection de certaines zones dans l’éditeur de Step (résumés et des mots-clés) et l’envoi par mail au correspondant Step des messages d’erreur du service d’import, fonctionnant par web service.

D’autres améliorations sont liées à l’utilisation d’Apogée et ne relèvent pas de l’ABES (comme la possibilité d’accepter des codes SISE non présents dans la liste fermée fournie par Apogée ou l’amélioration de la gestion des doublons quand les saisies sont très différentes entre deux sources de données).

Améliorer le cercle vertueux de la communication

11 personnes ont émis des suggestions pour améliorer les échanges d’information :

  • rappel aux doctorants via leur adresse mail personnelle et institutionnelle pour la mise à jour de leurs données diffusées sur theses.fr
  • information par mail des doctorants sur les fonctionnalités de Step et la visibilité des données de thèses en préparation sur theses.fr (plaquette d’information sur Step, interactions avec l’application Star pour les thèses soutenues, sensibilisation en amont sur la nécessité de fournir un document archivable au Cines…).

Une liste de discussion peu utilisée

graphique3Comme pour les autres réseaux de l’ABES (ex : Star, coordinateurs thèses…), une liste de discussion est à la disposition des correspondants du réseau Step pour favoriser les échanges entre établissements sur les pratiques. La moitié des répondants (49%) ne se sent pas concernée par cet outil et signale le manque de temps comme frein à son utilisation (pour 38%).

Des pistes d’informations à partager

Des suggestions ont été apportées concernant le type d’informations que les établissements souhaiteraient que l’ABES diffuse :

  • constituer un argumentaire en faveur du signalement des thèses en préparation à destination des doctorants et aussi en direction des écoles doctorales et des services de la Recherche, notamment pour une généralisation de ce signalement aux « sciences dures » ;
  • mettre en avant, sur le site web de l’ABES ou la FAQ d’ABESstp, les réponses aux questions posées fréquemment sur le guichet d’assistance par les établissements de soutenance et les doctorants ;
  • informations sur la règlementation (bien qu’il existe déjà le Guide du Doctorant 2013 – versions pdf et .doc – qui donne ces informations…) ;
  • indications typographiques à l’intention des doctorants en cours de rédaction de leur thèse ;
  • informations sur l’exhaustivité du signalement des thèses en préparation sur theses.fr. Il existe toutefois une liste des établissements habilités et l’indication de leur participation ou non à STEP. Précisons qu’à la différence du signalement des thèses soutenues qui est une obligation légale, le signalement des thèses en préparation est une option stratégique pour valoriser la recherche doctorale d’un établissement habilité sur le moteur de recherche theses.fr ;
  • faire un état des établissements en production dans STEP avec leurs paramétrages (type d’alimentation, source d’import de données…).

« Rien à signaler sur les données de theses.fr ? »

graphique4Ce bouton permet à un utilisateur de theses.fr de signaler dans un formulaire une erreur sur la description d’une thèse en préparation. Un mail est alors envoyé directement au correspondant Step de l’établissement concerné pour traitement de la demande. La moitié des établissements affirme recevoir plusieurs fois par mois ce type de demande et les traite dans 75% des cas. Ceux qui ne traitent pas les demandes évoquent comme raison une orientation de la demande vers un mauvais destinataire (or, c’est bien au destinataire, correspondant Step, d’orienter la demande vers la personne habilitée) ou le manque de temps. L’autre moitié des établissements n’en reçoit jamais. L’hypothèse explicative serait que la moitié des données des établissements sont de bonne qualité et n’ont pas besoin de mises à jour tandis que l’autre moitié serait perfectible.

Conclusion et suite à l’enquête

Au regard des réponses à cette enquête et aux nombreux commentaires détaillés fournis, les attentes vis-à-vis de l’ABES semblent être davantage d’ordre stratégique (ex : argumentaire et communication sur l’intérêt de diffuser les données de thèses en préparation sur theses.fr) que fonctionnelle (ex : aide à l’utilisation de l’application ou évolution de celle-ci), si ce n’est sur l’amélioration du service d’import de données. C’est dans ce sens que l’ABES envisage les suites à donner à cette enquête auprès du réseau Step.