BlogOKat

15 juin 2006

Moissonage OAI en images

L'UNIT (Université Numérique Ingénierie et Technologie), un consortium qui a notamment pour mission la diffusion de ressources numériques sur internet, a mis en ligne 3 clips vidéo sur le protocole OAI. 2 d'entres sont des présentations du protocole à destination des étudiants et des enseignants et le 3ème aborde le concept de réseaux de portails OAI. Il est nécessaire de disposer de Quicktime pour les visualiser.
(Vu chez  Zaphir et URFIST Info)

23 avril 2006

Protocole OAI : métadonnées

Si vous avez raté le début : introduction, acteurs, principes techniques.

Comme je l'ai expliqué précédemment, le protocole OAI définit les conditions de transfert de métadonnées  entre moissonneurs et entrepôts OAI :

• le fournisseur de données expose dans son entrepôt des métadonnées conformes au protocole,
• le fournisseur de services récupère à l'aide d'un moissonneur ces métadonnées afin de les exploiter.

Des requêtes http permettent donc au moissonneur de récupérer des fichiers XML contenant des  métadonnées. Le protocole exige que les métadonnées qui sont ainsi échangées soient au minimum au format Dublin Core non qualifié (les 15 éléments de base). Fort heureusement, d'autres ensembles de métadonnées  peuvent être employés afin de fournir des descriptions plus précises. Et là, on a l'embarras du choix : MARC-XML, MODS, METS, etc...

C'est la requête ListMetadataFormats qui permet de connaître les formats exposés dans un entrepôt. Ci-dessous quelques exemples.

• @rchiveSIC : seul le format Dublin Core est proposé. Voir ici : http://archivesic.ccsd.cnrs.fr/oai/oai.php?verb=ListMetadataFormats
• RERO DOC, la bibliothèque numérique du Réseau des bibliothèques de Suisse, propose quant à elle dans son entrepôt des métadonnées au format MARC-XML. Voir ici : http://doc.rero.ch/oai2d.py?verb=ListMetadataFormats. Ce document (pdf) permet de comparer les métadonnées Dublin Core et MARC XML.
• NUMDAM met à disposition un format spécifique au domaine des mathématiques : Mini-DML. Voici une même notice dans les 2 formats. Seuls 4 éléments du Dublin Core sont utilisés. La notice Mini-DML est plus complète puisqu'elle propose des informations sur le numéro de volume ou la pagination.

(cliquer sur les images pour les agrandir)

19 mars 2006

Protocole OAI : principes techniques

Après une introduction et quelques mots sur les acteurs mettant en oeuvre le protocole OAI, j'en viens à son fonctionnement.

Tout d'abord, le protocole OAI concerne 3 types d'objets documentaires :

• Les ressources (resource), objets physiques ou numériques faisant l'objet d'une description. Par exemple un livre imprimé ou numérique, une image, etc.
• Les item qui sont des ensembles de données descriptives, structurées et numériques, c'est à dire des notices descriptives concernant les ressources. Chaque item doit avoir un identifiant unique respectant les recommandant de l'Open Archive Initiative. Les items peuvent être regroupés en ensembles (set) selon certains critères (types de support, thèmes, etc...).
• L'enregistrement (record) est un ensemble de métadonnées extraites d'un item au format XML. Ce sont les enregistrements qui font l'objet des échanges entre moissonneurs et entrepôts OAI.

Les enregistrements sont échangés d'une manière très simple : le moissonneur soumet des requêtes OAI à l'entrepôt via le protocole http. Les requêtes (verbs) sont constituées par un vocabulaire restreint décrit dans la spécification du protocole OAI. Elles sont au nombre de 6 et permettent (source) :

• "de vérifier si le service désigné est un répertoire OAI (Identify),
  
• de demander la liste des formats de métadonnées que l’entrepôt est capable de fournir (ListMetadataformats),
  
• d’obtenir, le cas échéant, la liste des ensembles (par exemple thématiques) formés par le fournisseur de données (ListSets),
  
• d’obtenir la liste des identifiants et des dates de dernière modification des items disponibles dans la base (ListIdentifiers),
  
• de collecter l’information d’un item spécifique (GetRecord),
  
• de récupérer en bloc l’ensemble des items d’un répertoire (ListRecords)."

Les requêtes sont donc de simples URL qui permettant d'accéder aux entrepôts via le protocole http. Elles peuvent être affinées grâce à des paramètres.
Quelques exemples de requêtes :

• l'URL http://archivesic.ccsd.cnrs.fr/oai/oai.php?verb=Identify permet d'obtenir des informations sur l'entrepôt OAI d'@rchiveSIC
• l'URL http://www.numdam.org/oai?verb=ListSets permet d'obtenir la liste des revues numérisées présentes dans l'entrepôt de NUMDAM.
• la base des articles de l'IRCAM est aussi un entrepôt OAI et sur cette page 4 requêtes (Identify, ListMetadataFormats, ListIdentifiers, List Records) sont disponibles.

Ci-dessous, une illustration en provenance de OAForum :

La suite prochainement...

08 mars 2006

Protocole OAI : acteurs

Avant d'en venir au fonctionnement du protocole OAI, je vais m'attarder sur les acteurs qui interviennent dans sa mise en oeuvre.

Les fournisseurs de données (ou data providers) exposent des métadonnées de manière passive dans des entrepôts (repository) OAI. Il s'agit d'institutions, de centres de documentations, de bibliothèques, etc. souhaitant mettre à disposition leurs réservoirs d'informations. Pour ceci, ils doivent disposer d'une application informatique compatible OAI-PMH, comme par exemple le logiciel Ex-Libris V5 qui dispose d'un module OAI.

Les fournisseurs de services (ou service providers) qui récupèrent les métadonnées de manière active à l'aide d'un moissonneur (harvester), afin de fournir des services à valeur ajoutée.

Le rôle du protocole OAI est donc de normaliser les échanges entre moissonneurs et entrepôts OAI.
Une illustration en provenance d'OA-Forum :

Des exemples concrets :

• Archimer est l'archive institutionnelle de l'IFREMER (Institut français de recherche pour l’exploitation de la mer). Elle rassemble les textes intégraux d'un certain nombre de post-publications (articles parus dans des revues scientifiques), de thèses, de rapports internes et d'actes de congrès qui sont versés par leurs auteurs dans une base structurée interopérable via le protocole OAI.

• La base OAIster de l'Université du Michigan, qui propose actuellement des archives en provenance de 611 institutions, est un fournisseur de services. Ainsi, elle moissonne des métadonnées en provenance de Gallica ou de PASTEL (bibliothèque virtuelle des thèses soutenues dans les grandes écoles de Paris) qui jouent donc le rôle de fournisseurs de données.

Voir aussi : introduction et principes techniques.

05 mars 2006

Protocole OAI : introduction

Ceci est le premier d'une série de billets sur le protocole OAI. Voilà qui devrait intéresser les documentalistes et bibliothécaires ainsi que les fans de XML et d'interopérabilité...

Le sigle OAI désigne deux notions différentes, mais liées :

• L'Open Archives Initiative (lancée en octobre 1999 à Santa Fe) dont la mission est de promouvoir le mouvement des archives ouvertes et de développer des protocoles communs et des standards d’interopérabilité pour faciliter la diffusion des contenus de documents.
  
• Le protocole OAI (OAI-PMH = Open Archives Initiative Protocol for Metadata Harvesting) qui est l'un de ces protocoles techniques permettant de décrire des données et de les interroger.

Pour mémoire, un protocole est, en informatique, un  "ensemble des spécifications décrivant les conventions et les règles à suivre dans un échange de données" (source).
Le protocole OAI, lui, définit un standard pour transférer des collections de métadonnées et "permet de créer, d’alimenter et de tenir à jour, par des procédures automatisées, des réservoirs d’enregistrements qui signalent, décrivent et rendent accessibles des documents, sans les dupliquer ni modifier leur localisation d’origine". (source)

Il s'appuie sur 2 standards ouverts majeurs du web :

• le protocole http qui permet la communication entre les clients et les serveurs web,
• XML qui est un format de données permettant l'échange structuré d'informations structurées,

grâce auxquels des bases de données diverses et hétérogènes peuvent communiquer entre elles, pour un coût finalement modique.

Pour faire la différence entre OAI, OAIS et OASIS, voir aussi ce billet.

Les billets suivants : acteurs et principes techniques du protocole OAI.