comment archiver et exploiter des collections d’objets numériques

Problématique : comment archiver et exploiter des collections d’objets numériques de plus en plus exponentielles et hétérogènes ?

Intervenants invités : Michel Jacobson, MMC-DAF (CRDO) et Stéphane Pouyllau, (CN2SV-CNRS)

Compte rendu rédigé par Paul Bertrand & Richard Walter

Introduction

Anne-Marie Eddé, directrice de l’IRHT rappelle que l’Institut de recherche et d’histoire des textes a joué un rôle pionner dans le domaine de la numérisation et de la publication électronique, en particulier avec les activités du service Image, le développement de sites d’édition électronique et le co-pilotage du centre de ressources numériques Telma. Cette volonté se confirme par la création d’un nouveau service éditorial et publications électroniques (SEPE) qui est à l’origine de ce séminaire.

Richard Walter, responsable du SEPE : l’IRHT veut montrer, au travers de l’organisation de ce séminaire, l’importance qu’il accorde à la collaboration entre chercheurs et ingénieurs etentre laboratoires et structures d’enseignement supérieur. Les interventions auront des accents fortement pédagogiques et seront orientées sur les aspects techniques par l’intervention d’ingénieurs ou de chefs de projets et la présentation d’exemples concrets. Chaque séance sera introduite par la présentation d’un projet de l’IRHT. Les thématiques qui seront traitées durant ce premier semestre porteront plus spécialement sur les infrastructures et les aspects linguistiques. Au second semestre, nous prévoyons d’aborder la géolocalisation et les statistiques.

Gilles Kagan, responsable du service Images de l’IRHT, présente la Bibliothèque virtuelle des manuscrits (BVM). Celle-ci est issue des campagnes de photographies de manuscrits dans les institutions patrimoniales françaises. L’outil, conçu comme un entrepôt OAI, est pour l’instant en consultation interne. Une démonstration est faite à l’aide du formulaire de recherche intuitif et des fonctionnalités suivantes : outil de visualisation des manuscrits, loupe/fouille visuelle de l’image, fonction de panier, système de comparaison de deux images, export PDF des sélections, prévisulation images au passage de la souris sur les listes de résultats. Les images sont en haute résolution..

Thème de la séance

Avec l’exemple de la BVM, nous voyons bien qu’il faut faire une distinction entre stockage des données et accès au document, d’autant plus que cet accès peut être « modulaire » (notion de « vue personnalisée », comme par exemple les différentes approches de l’image que permet la BVM). On note aussi que la structuration et l’archivage de données deviennent de plus en plus compliqués à mettre en œuvre. Nous voulons pouvoir analyser la façon d’archiver et d’exploiter des collections d’objets numériques hétérogènes, aux volume de plus en plus exponentiel.

Structuration de gros corpus et archivages pérennes (Stéphane Pouyllau)

>> consulter la présentation (Diaporama, PDF, 2,3 Mo) 

Le CN2SV (Centre National pour la Numérisation de Sources Visuelles, www.cn2sv.cnrs.fr) œuvre dans le traitement de corpus de données iconographiques (archives de la recherche et des chercheurs). C’est un des centres de ressources numériques d’Adonis. L’intervention de Stéphane Pouyllau s’organise autour de retours d’expériences de l’activité du CN2SV sur la gestion et l’archivage de ces corpus.

Les chercheurs en SHS se sont mis à l’informatique via la démocratisation de la microbureautique. Ils amassent alors des sources pour leur recherche avec à des outils souvent mal appropriés pour la gestion de grandes masses de données, et parfois de mauvaise qualité (des images en basse résolution ou stockées uniquement dans une base de données) ou sans objectif pérenne. On peut aller jusqu’à parler de fabrication « autogérée » de bases de données. Or, les matériaux des chercheurs sont aujourd’hui de plus en plus « tout numérique », avec de nouvelles problématiques méconnues : indépendance et versatilité du support, séparation entre contenu et contenant. La terminologie en usage n’est pas stabilisée : un besoin de clarification est évident.

Les corpus numériques se sont multipliés ; dans le même temps, les méthodes de recherche se transforment. S. Pouyllau renvoie à la leçon inaugurale de Gérard Berry, titulaire de la chaire « Innovation technologique » au collège de France (www.college-de-france.fr/default/EN/all/inn_tec2007/index.htm). S. Pouyllau montre d’une part une situation complexe, soulignant l’indépendance mais en même temps la convergence des données et d’autre part la séparation mais aussi l’interconnexion du contenu et du contenant. Il insiste sur l’interopérabilité indispensable des données et des métadonnées.

Pour chaque opération, le cahier des charges devient complexe à réaliser et à mettre en œuvre. Un besoin de connaissance et de formation semble indispensable pour la maîtrise de l’ensemble de la chaîne de traitement dans la mise en ligne d’un corpus numérique. Ainsi, dans un projet de corpus de recherche (type ANR), les parties « informatisation et interopérabilité des données » sont habituellement mises au second plan alors qu’elles sont fondamentales dans la réussite du projet.

Il faut toujours faire la différence entre données et métadonnées. Il y a trois types de métadonnées :

• Technique (type de scan utilisé, type de GPS, position GPS),
• Descriptive (titre, mot-clé),
• Traçabilité (vie de l’image : type de compression, auteur).

Il y a une différence entre diffuser ou éditer : éditer serait plus dans le rôle du chercheur (avec un accompagnement technique), la diffusion serait du rôle du centre de ressources numériques.

Le chercheur peut aujourd’hui s’appuyer des outils « tout numérique » : de la constitution de son corpus jusqu’à sa veille (Zotero, Hypotheses.org, PKP : Public Knowledge Projet, revues.org, Bloglines, Hal SHS, etc.). Le traitement des données peut donc être totalement numérique, voir même uniquement en ligne..

Dans le domaine de l’édition numérique, on souligne l’importance de la veille permanente. Au CN2SV, une personne à temps complet réalise cette veille sur les formats, les évolutions techniques, etc. Pour le traitement des données, il faut encore populariser les bonnes pratiques, le partage de méthodes de traitement des données.

Les grandes questions :

• Numérisation interne ou externe ?
• Quelle structuration des données ?
• Quelle pérennisation des données ?
• Quelles valorisations et diffusion ?

Le rôle des professionnels des Digital humanities et des autres métiers de l’édition numérique est d’apporter les solutions adéquates entre état de l’art et besoins des chercheurs. Cela peut aller du rôle d’expert-conseil, accompagnement du projet, maître d’œuvre, développement technique (voir delicious.com/shsnumerique/ateliers-image ; pour la numérisation, voire le didacticiel de l’université Cornell : www.library.cornell.edu/preservation/tutorial-french/contents.html).

Les principales précautions à prendre :

• Choisir les formats des données et des métadonnées ;
• Déclarer sa structuration de données ;
• Choisir des outils matures pour la constitution des données ;
• Avoir des outils indépendants des données ;
• Pérenniser les données et non les outils ;
• Faire la différence entre données brutes et données enrichies pour l’exploitation.

Deux impératifs :

1. Nécessité de la recopie (numérique) régulière des données (surtout si l’application n’existe plus).
2. Choisir des outils en phase avec le projet (ne pas sur ou sous-dimensionner les besoins technologiques).

Nous sommes face à l’augmentation des corpus numériques. Les outils d’exploitation sont désormais généralement en ligne (applications et services web). Les pratiques et usages vont aujourd’hui vers le web (« Le bureau du chercheur, c’est le navigateur web »).

Les infrastructures se transforment avec une mutualisation « par le haut » (de grosses infrastructures se mettent en place et les projets doivent y rentrer). On virtualise de plus en plus : les données sont stockées à un endroit, l’application ou le calcul pouvant se faire ailleurs.

La pérennité allant de pair avec la normalisation des formats, il s’avère nécessaire de capitaliser la transmission des connaissances.

Structuration de gros corpus et archivages pérennes (Michel Jacobson)

>> consulter la présentation (Diaporama, PDF, 1,3 Mo)

Le CRDO (Centre de Ressources pour la Description de l’Oral, crdo.risc.cnrs.fr/exist/crdo) œuvre dans le traitement de corpus de données orales. Il est un des autres centres de ressources numériques.

Ce sont des enregistrements oraux (parole) : données brutes ou annotées. L’objectif est l’étude du langage. Le CRDO héberge des productions de différent type : récits, conservations, textes lus. Avec différents types de locuteurs, de langues, de conditions d’enregistrement.

Pour la parole, il n’y a pas que des enregistrements audio. Voir la langue des signes, le langage enfantin, les interactions dans un groupe (enregistrements vidéo), l’endoscopie.

Il y a une différence entre information et donnée. La donnée représente l’information. C’est l’information qu’il faut sauvegarder et non la donnée. L’information numérique peut être native ou numérisée.

L’information numérique se résume par un assemblage d’unités binaires, reproductibles à l’infini, faciles à transmettre ou à traiter Elle peut être produite à faible coût mais est difficile à conserver (migration nécessaire des formats). L’information numérique n’est pas directement intelligible. Elle nécessite des dispositifs de lecture complexes et comporte le risque d’obsolescence technologique : lecture, logiciels (Word 1.0 ?), format propriétaire, etc. Le numérique est vulnérable et la normalisation reste insuffisante.

Il faut plusieurs strates de codage pour lire les unités binaires : codage ASCII, langage HTML, codage CSS. On a besoin de toutes ces informations sur les données pour pouvoir lire et conserver l’information. On ne peut pas prévoir le modèle de données qui sera utilisé dans « X » années.

C’est un système issu d’un groupe de travail pour harmoniser l’archivage. Son objectif est de préserver l’information pour permettre à une communauté d’utilisateurs cible d’y accéder et de l’utiliser.

Elle propose une typologie des catégories d’information comme entités fonctionnelles. C’est une norme conceptuelle et non un outil. Elle établi une typologie de métadonnées et se base sur la notion de « paquets d’information » :

• SIP : paquets d’informations à verser
• AIP : paquets d’informations à archiver
• DIP : paquets d’informations à diffuser

OAIS est différent d’OAI (archives ouvertes).

Une expérimentation d’archives OAIS des données du CRDO est en cours, sous le pilotage d’Adonis. Le module d’entrée et de stockage est géré par le CINES, avec vérification de la conformité des données déposées et des normes utilisées, le respect de l’intégrité des données et de leur enrichissement par des métadonnées, avec un stockage pérenne assuré par une migration des supports prévue dans l’avenir) ; le module d’accès à ces données est géré par l’IN2P3.

Le CRDO constitue l’interface avec les producteurs pour éditer les données, aider à la normalisation et la construction des métadonnées et aux fonctions d’accès (moteurs de recherche). Pour l’échange des données, est utilisé le protocole OAI-PMH (Open Archives Initiative’s Protocol for Metadata Harvesting) qui doit faciliter l’échange de données entre des fournisseurs de données et un fournisseur de service. De ce fait, les corpus du CRDO peuvent être moissonnés.