Chargeur SUDOC Koha

Le transfert de fichiers du serveur du SUDOC sur le serveur Koha se fait au moyen de la méthode PUT proposée par l'ABES. Le serveur SUDOC et le serveur Koha réalisent des actions et échangent des messages par courriel selon le protocole suivant :

Les éléments suivants doivent être définis/configurés :

Un serveur FTP/SFTP doit être configuré sur le serveur Koha ainsi qu'un serveur SMTP.

Le script sudoc-trans gère ce protocole de transfert. Il examine la boîte aux lettres locale MBOX définie dans le fichier de configuration par son chemin d'accès. Il traite deux messages en provenance du SUDOC :

Le fonctionnement du daemon sudoc-trans est piloté par la section Transfert de sudoc.conf.

L'ILN définit avec l'ABES les fichiers qu'il souhaite recevoir régulièrement. Les notices bibliographiques des ressources cataloguées par l'établissement dans le SUDOC sont toujours transmises. Le chargeur SUDOC requiert que les notices envoyées soient encodées en UTF-8. Il est possible de demander à recevoir également les notices liées, les notices de collection par exemple. Enfin, l'ABES peut également transmettre des fichiers des autorités contenues dans les différentes notices bibliographiques.

Le Chargeur SUDOC dispose de deux programmes distincts de chargement des notices : un premier pour les notices bibliographiques et un second pour les notices d'autorités.

	Si vous n'avez pas utilisé sudoc-trans pour placer vos fichiers de notices dans le spool de votre ILN, vous pouvez le faire à la main : Copiez dans var/spool/<ILN>/waiting le fichiers de l'ABES. Vous pouvez ensuite les lister avec la comamnde sudoc-spool <ILN>, puis les charger avec les commandes décrites ci-dessous.

	Il faut toujours commencer par charger les autorités afin de permettre la création des liens entre notices bibliographiques et notices d'autorité.

Les chargeurs des notices bibliographiques et des autorités affichent à l'écran quelques informations sur les traitements qu'ils effectuent. Le détail de l'activité des chargeurs est écrit dans des fichiers de log se trouvant dans le répertoire var/log :

Ces log contiennent les informations suivantes :

En phase de test, on peut utiliser les chargeurs sans le paramètre —doit. Ainsi les notices/autorités sont préparées pour être chargées dans Koha mais ne sont pas effectivement chargées. En examinant les log, on peut voir les traitements réalisés et vérifier qu'ils correspondent bien à ce que l'on souhaitait obtenir.

Un fichier de configuration sudoc.conf contient tous les paramètres nécessaires au bon fonctionnement du Chargeur SUDOC. Il y a deux grandes sections : une première qui pilote le fonctionnement du transfert de fichiers et une seconde qui, pour chaque ILN, pilote le chargement des notices. Le fichier sudoc.conf se trouve dans le sous-répertoire etc du répertoire d'installation du Chargeur SUDOC.

---
trans:
  timeout: 601
  email:
    abes: abes_ftp@carmin.sudoc.abes.fr
    koha: sudoc@monserveur.fr
  mbox: /var/mail/sudoc
  ftp_host: ftp.monserveur.fr
187:
  koha_conf: /etc/koha-conf.xml
  rcr:
    315555302: BRANCH1
    315555502: BRANCH2
  auth:
    ppn_move: 009
    typefromtag:
      200: NP
      210: CO
      215: SNG
      216: TM
      220: FAM
      230: TU
      235: CO_UNI_TI
      240: SAUTTIT
      245: NAME_COL
      250: SNC
      260: PA
      280: GENRE/FORM
  biblio:
    ppn_move: 009
    authoritize: 1
    itemize: 1
    framework: OUV
    converter:
    exlure:
      - 680
      - 801
    proteger:
      - 610

Une des tâches du Chargeur SUDOC consiste à mettre en correspondance les notices d'autorité et bibliographiques en provenance du SUDOC avec les notices déjà présentes dans Koha. Dans le SUDOC, chaque notice, d'autorité et bibliographique, est identifiée par un numéro unique appelé le PPN qui se trouve dans la zone 001.

Il est nécessaire que les notices SUDOC chargées dans Koha conservent leur PPN car c'est au moyen de cet identifiant que le Chargeur peut savoir si une notice entrante doit être ajoutée à Koha ou bien si elle doit écraser (partiellement éventuellement) une notice existante. Le PPN des autorités sert également à autoritiser les zones des notices bibliographiques liées à des autorités.

En fonction de son paramétrage de Koha, il peut être nécessaire de déplacer le PPN dans une zone différente qui n'entre pas en conflit avec les zones déjà utilisées. Par exemple, il arrive que la zone 001 des notices bibliographiques Koha contienne le biblionumber (numéro interne des notices Koha). Il est recommandé de déplacer la zone 001 des autorités et des notices bibliographiques dans la zone 009. Cette zone cible est définie via le paramètre ppn_move de la section biblio/auth de sudoc.conf. Ce déplacement est même indispensable pour les autorités parce que l'identifiant interne de Koha est placé en 001. Ce n'est pas le cas nécessairement pour les notices bibliographiques.

Afin que le Chargeur SUDOC puisse interroger les PPN, il faut ajouter aux fichiers de configuration de Zebra un nouvel index PPN. Par exemple, si on les déplace en 009, il faudra ajouter la ligne suivante aux fichiers records.abs des autorités et des notices bibliographiques :

melm 009        PPN,PPN:n

Les différents programmes du Chargeur SUDOC doivent être utilisés conjointement et en séquence afin de réaliser les opérations de chargement des notices : 1°) autorités, 2°) notices liées, 3°) notices bibliographiques. De plus, entre chaque chargement, l'indexation des nouvelles données doit être réalisée.

Toutes ces tâches peuvent être automatisées au moyen d'un script Shell. Par exemple :

#!/bin/sh

CLIENT='xxx'
ILN='123'
DOIT='--doit'
EMAIL_FROM='Tamil e-Biblio Service <contact@tamil.fr>'
EMAIL_TO='xx@yy.fr'
EMAIL_CC='yy@zz.fr'
SLEEP='5m'
TMP_FILE="/tmp/sudoc_$CLIENT"

export LANG='fr_FR.UTF-8'

exec 1>$TMP_FILE 2>&1
echo "Chargement SUDOC"

sudoc-load-authorities $ILN $DOIT
echo ----------------------------------------
sleep $SLEEP
sudoc-load-biblios $ILN $DOIT
echo ----------------------------------------
sleep $SLEEP
sudoc-load-biblios $ILN $DOIT

iconv -f utf8 -t latin1 -c $TMP_FILE | \
  mail -a "FROM: $EMAIL_FROM" -s 'Chargement SUDOC' -c $EMAIL_CC $EMAIL_TO

Ce script examine le spool des fichiers ABES d'un ILN. Pour chaque ILN, il y a trois sous-répertoires dans son spool :

On obtient par exemple la liste des fichiers du spool de l'ILN 80 en lançant la commande :

sudoc-spool 80

Le script répondra comme ceci :

Fichiers des autorités chargées :
Fichiers des notices biblio chargées :
Fichiers des autorités en attente de chargement :
  1. ILN186-TEST-933r374C001.raw
Fichiers des notices biblio en attente de chargement :
  1. ILN186-TEST-933r374B001.raw
  2. ILN186-TEST-933r376A001.raw

Cette commande permet également d'examiner le contenu des fichiers listés précédemment :

sudoc-spool 80 fichier1 fichier2 ...

Cette commande lance le daemon de transfert de fichiers. Il répond aux deux messages envoyés par l'ABES : (1) des fichiers de notices extraites pour l'ILN sont prêts à être transférés et (2) les fichiers des notices extraites ont été copiés par FTP sur le serveur Koha.

Ce script se lance sans paramètres.

	sudoc-trans doit avoir les droits suffisants pour lire et écrire le fichier MBOX de la boîte aux lettres contenant les courriels envoyés par l'ABES.

Par exemple :

sudoc-load-authorities 80
sudoc-load-authorities 80 --doit

Sans le paramètre —doit, le script ne charge pas les autorités mais il montre les traitements qu'il effectue. Les log contiennent des informations détaillées sur les traitements réalisés.

Par exemple :

sudoc-load-biblios 80
sudoc-load-biblios 80 --doit

Sans le paramètre —doit, le script ne charge pas les notices bibliographiques mais il montre les traitements qu'il effectue. Les log contiennent des informations détaillées sur les traitements réalisés.

Cette commande est à utiliser en vue d'une localisation automatique d'un Catalogue Koha dans le SUDOC.

A partir d'un Catalogue Koha, ce script génère des fichiers d'ISBN ou de Date-Auteur-Titre. Ces fichiers sont demandés par l'ABES afin de réaliser soit un test de recouvrement soit une localisation automatique. Ces fichiers suivent la convention de nommage demandée par l'ABES : commence par la lettre i ou r (pour ISBN ou Date-Auteur-Titre), suivi du RCR de la bibliothèque, puis le code de PEB (u ou g). Ces noms de fichiers sont suffixés d'un index. Par exemple :

i3641767u.0001
i3641767g.0002

Permet d'obtenir la liste des ISBN d'un Catalogue. Plusieurs fichiers sont créés, chacun contenant un maximum de 5000 lignes. Chaque ligne contient un ISBN, suivi d'une cote et du biblionumber de la notice Koha, séparés par un point virgule. Un groupe de fichier est généré par RCR.

Ces fichiers sont envoyés à l'ABES qui, en retour, soit renvoie un rapport de taux de recouvrement soit procède à la localisation automatique des notices de chaque bibliothèque dans le SUDOC.

Ce script dispose de plusieurs paramètres :

--select "SELECT biblionumber FROM biblioitems WHERE itemtype='OUV'"
--select "SELECT biblionumber FROM biblioitems WHERE isbn IS NULL"

Cette commande ajoute à un catalogue Koha les PPN SUDOC des notices qui y ont été localisées automatiquement.