Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
CRIB: A Service Oriented
Architecture for Digital Preservation
Outsourcing
Miguel Ferreira
[email protected]
2006-02-09
Ana Alice Baptista
[email protected]
José Carlos Ramalho
[email protected]
Conteúdo
2
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Vantagens dos Repositórios
Digitais
• Limitações dos actuais
Repositórios Digitais
• Estratégias de preservação
baseadas em Migração
• Introdução ao sistema CRiB
• Conclusões
Vantagens dos Repositórios Digitais
3
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Grande volume de informação digital
• Aumento exponencial do número de
repositórios digitais
• Economia de espaço físico de
armazenamento
• Facilidade de disseminação dos
materiais
• Tecnologia económica
– e.g. DSpace, Eprints, Fedora, Greenstone, etc.
• Impossibilidade de armazenar
determinados materiais por meios
analógicos (e.g. sítios Web, modelos 3D)
Número de Repositórios Institucionais
4
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
Limitações dos Repositórios Digitais
5
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Muito bons a arquivar e disseminar
materiais digitais
• Pobres no que toca à preservação
dos materiais
– Não vão para além da normalização de
formatos durante a ingestão de material
– Pouca preocupação com a autenticidade
e valor probatório dos materiais
– Custos de preservação geralmente
elevados
Preservação Digital
6
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Preservação digital
– Conjunto de actividades responsáveis por
garantir o acesso continuado à informação
existente em formatos digitais
• Objecto digital
– Todo o objecto de informação que possa
ser representado por uma sequência de
dígitos binários (bit stream)
– Documentos de texto, fotografias digitais,
gráficos vectoriais, bases de dados,
páginas Web, software
Estratégias de preservação digital
Universidade
do Minho
7
Bibliotecas e Arquivos Digitais
XATA’06
• Emulação
– Software capaz de reproduzir o
comportamento de uma plataforma de
hardware e/ou software
• Encapsulamento
– Conservação junto do objecto digital de
toda a informação necessária à sua
interpretação
– Conversores, visualizadores ou emuladores
• Migração
– Transferência periódica de material digital
de uma configuração de
hardware/software para uma outra
Migração distribuída
• Rede distribuída de serviços de
conversão
• Vantagens
–
–
–
–
Independente da plataforma
Redundância
Múltiplos caminhos de migração
Redução de custos
• Desvantagens
– Largura de banda
Format
A
n
Co
nv
B- ers
C io
nv
e
A- rsio
B
n
Format
B
Format
E
Conversion
C-E
n
io
rs
ve
o n C -D
– PANIC
– MyMorph (NLMed)
– TOM
Format
C
Conversion
A-C
Co
• Exemplos
Conversion
A-E
C
8
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
Conversion
B-C
n
si o
er
nv E
Co D -
Format
D
Qual a melhor estratégia?
9
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Múltiplas alternativas existentes
• Falta de aceitação universal
• Depende dos requisitos individuais
de cada organização
– Satisfação da comunidade de interesse
– Características da colecção
– Orçamento disponível
CRiB: uma proposta!
10
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Extensão às actuais redes de
conversão
• Arquitectura Orientada ao Serviço
(SOA) suportada por Web Services
• Permite aos actuais repositórios:
– Realizar migrações de formatos
– Determinar a quantidade de informação
perdida numa migração
– Documentar a intervenção de preservação
– Obter sugestões de alternativas de
migração adequadas ao problema de
preservação em causa
Arquitectura geral
11
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
A arquitectura detalhada
12
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
Metaconverter
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Interface entre o cliente e o
sistema CRiB
– Trata-se de um Web service
• Geração e gestão de mensagens
no interior do sistema
Individual
Archive
Application layer
Custom applications
Web client
Digital repositories
Rich client
DSpace
Fedora
Eprints
Business layer
Metaconverter
13
Service
Registry
Migration
Broker
Object
Evaluator
Format
Evaluator
Migration
Advisor
Service Registry
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Gestão de metainformação de
suporte à descoberta de serviços
• Baseado na norma UDDI
– Service, Business, Binding templates
• Elementos adicionais
– Formatos de partida/chegada (PRONOM)
– Custo de utilização
Business layer
Metaconverter
14
Service
Registry
Migration
Broker
Object
Evaluator
Format
Evaluator
Migration
Advisor
Migration Broker
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Responsável pela invocação de
serviços de conversão
• Medição da performance de
cada serviço de conversão:
–
–
–
–
Disponibilidade
Estabilidade
Escalabilidade
Débito
Business layer
Metaconverter
15
Service
Registry
Migration
Broker
Object
Evaluator
Format
Evaluator
Migration
Advisor
Object Evaluator
16
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Determina a quantidade de
informação perdida na migração
• Múltiplos critérios de avaliação /
propriedades significativas
– Conteúdo textual, dimensões da página, nº de
páginas, layout gráfico, tamanho da fonte, etc.
• Emissão de relatórios baseados no
PREMIS Data Dictionary (Event entity):
–
–
–
–
Data e hora da intervenção
Descrição dos agentes envolvidos
Tipo de evento (e.g. migração)
Resultado da intervenção
Business layer
Metaconverter
Service
Registry
Migration
Broker
Object
Evaluator
Format
Evaluator
Migration
Advisor
Format Evaluator
17
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Informa o sistema sobre o estado
dos formatos digitais
–
–
–
–
Cota de mercado
Nível de suporte
Especificação aberta?
Etc…
• Fontes de informação
– Base de dados com factos sobre formatos
– Fontes dinâmicas de informação
• PRONOM Registry
• Google Web APIs
Business layer
Metaconverter
Service
Registry
Migration
Broker
Object
Evaluator
Format
Evaluator
Migration
Advisor
Migration Advisor
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Geração de sugestões de alternativas
de migração
• Combina os requisitos de cada
organização cliente…
– Pesos atribuídos a cada propriedade significativa
• …com o conhecimento acumulado
sobre a qualidade de cada conversor
– Performance
– Perda de informação associada
– Estado de cada formato
Business layer
Metaconverter
18
Service
Registry
Migration
Broker
Object
Evaluator
Format
Evaluator
Migration
Advisor
Cálculo de sugestões
Universidade
do Minho
19
Migration
Broker
Object
Evaluator
Object
Process
Evaluations
Repository
Format
Bibliotecas e Arquivos Digitais
XATA’06
Format
Evaluator
Evaluation criteria
Availability
Stability
Scalability
Throughput
Cost
Number of chars
Ordering of chars
Page layout
Market share
Support level
Open standard
Migration Advisor
User
WS1
95%
80%
1
1 Kb/s
0.01 €
70%
60%
80%
30%
5
yes
WS2
90%
90%
1.5
2 Kb/s
0.05 €
95%
85%
20%
70%
4
no
(1)
Average evaluations per
service
Weights
40%
30%
0%
20%
10%
40%
40%
20%
30%
30%
40%
(2)
User assigned
weights of
importance
WS1
5
5
1
1
5
4
4
5
2
5
5
WS2
5
5
5
5
1
5
5
2
4
4
1
(3)
Normalised
evaluations
[1-5]
x
Weights
0.4
0.3
0
0.2
0.1
0.4
0.4
0.2
0.3
0.3
0.4
(4)
Ranking
process
=
WS1
2
1.5
0
0.2
0.5
1.6
1.6
1
0.6
1.5
2
WS2
2
1.5
0
1
0.1
2
2
0.4
1.2
1.2
0.4
12.5
11.8
(5)
Overall rating
Conclusões (1/2)
20
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Plataforma de avaliação,
recomendação e selecção de
alternativas de migração
• Prestação de serviços de conversão
• Avaliação de resultados de conversões
• Produção de relatórios para anexação
à metainformação de preservação
– Documentação da intervenção
– Autenticidade
• Redução de custos
– Sugestão de alternativas de migração
– Avaliação automática das intervenções de
preservação
Conclusões (2/2)
21
Bibliotecas e Arquivos Digitais
XATA’06
Universidade
do Minho
• Extensível através da utilização de
novos serviços de conversão e
avaliação
• Publicação e venda de serviços
de conversão
• Benchmarking de conversores
• Partilha de experiências práticas
de utilização de normas recémcriadas (e.g. PREMIS)