Arquitetura de
armazenamento de objetos
em nuvem
Agenda
• Distribuindo o armazenamento de objetos
• Biblioteca de acesso
• Acesso REST Swift / S3
• Block Device
• Sistema de arquivos distribuído
MSS
CEPH e Mandic Simple Storage
APP
APP
HOST/VM
CLIENT
RADOSGW
RBD
CEPH FS
REST gateway,
compatível com S3 e
Swift
Block device com
suporte no Kernel
Linux e drivers para
QEMU/KVM
Sistema de arquivos
distribuído com
suporte no Kernel
Linux
LIBRADOS
Biblioteca para
acesso direto
com suporte a
C, C++, Java,
Python, Ruby,
e PHP
RADOS
Sistema autônomo de auto-gestão para armazenamento distribuído de
objetos
MSS
CEPH RADOS
OSD
OSD
OSD
OSD
OSD
FS
FS
FS
FS
FS
DISK
DISK
DISK
DISK
DISK
M
MSS
M
M
btrfs
xfs
ext4
CEPH RADOS
M
Monitors:
• Mantem o mapa do cluster
• NÃO serve objetos para os clientes
OSDs:
 Um por disco(recomendado)
 Provê objetos para os clientes
 Inteligência para replicação de dados
MSS
LIBRADOS
APP
APP
HOST/VM
CLIENT
RADOSGW
RBD
CEPH FS
REST gateway,
compatível com S3 e
Swift
Block device com
suporte no Kernel
Linux e drivers para
QEMU/KVM
Sistema de arquivos
distribuído com
suporte no Kernel
Linux
LIBRADOS
Biblioteca para
acesso direto
com suporte a
C, C++, Java,
Python, Ruby,
e PHP
RADOS
Sistema autônomo de auto-gestão para armazenamento distribuído de objetos
MSS
LIBRADOS
APP
CEPH LIB
Nativo
M
M
MSS
M
LIBRADOS
L
LIBRADOS
• Acesso nativo
• C, C++, Python, PHP, Java
• Sem HTTP overhead
MSS
RADOS Gateway
APP
APP
HOST/VM
CLIENT
RADOSGW
RBD
CEPH FS
REST gateway,
compatível com S3 e
Swift
Block device com
suporte no Kernel
Linux e drivers para
QEMU/KVM
Sistema de arquivos
distribuído com
suporte no Kernel
Linux
LIBRADOS
Biblioteca para
acesso direto
com suporte a
C, C++, Java,
Python, Ruby,
e PHP
RADOS
Sistema autônomo de auto-gestão para armazenamento distribuído de objetos
MSS
RADOS Gateway
APP
APP
REST
CEPH GW
CEPH GW
CEPH LIB
CEPH LIB
nativo
M
M
MSS
M
RADOS Gateway
RADOS Gateway:
• Interface REST para o RADOS
• Compatível com S3 e Swift
MSS
RADOS Block Device
APP
APP
HOST/VM
CLIENT
RADOSGW
RBD
CEPH FS
REST gateway,
compatível com S3 e
Swift
Block device com
suporte no Kernel
Linux e drivers para
QEMU/KVM
Sistema de arquivos
distribuído com
suporte no Kernel
Linux
LIBRADOS
Biblioteca para
acesso direto
com suporte a
C, C++, Java,
Python, Ruby,
e PHP
RADOS
Sistema autônomo de auto-gestão para armazenamento distribuído de objetos
MSS
RADOS Block Device
HOST
KRBD (KERNEL MODULE)
LIBRADOS
M
M
MSS
M
RADOS Block Device
RADOS Block Device:
• Discos Virtuais no RADOS
• Live migration!
• Imagens são distribuídas no cluster
• Suporte
• QEMU
• KVM
MSS
CEPH Filesystem
APP
APP
HOST/VM
CLIENT
RADOSGW
RBD
CEPH FS
REST gateway,
compatível com S3 e
Swift
Block device com
suporte no Kernel
Linux e drivers para
QEMU/KVM
Sistema de arquivos
distribuído com
suporte no Kernel
Linux
LIBRADOS
Biblioteca para
acesso direto
com suporte a
C, C++, Java,
Python, Ruby,
e PHP
RADOS
Sistema autônomo de auto-gestão para armazenamento distribuído de objetos
MSS
CEPH Filesystem
CLIENTE
01
10
metadata
dados
M
M
MSS
M
CEPH Filesystem
Metadata Server
• Metadata para filesystem compartilhado
• Hierarquia de diretórios
• POSIX Filesystem
• Necessário para sistema de arquivos
compartilhados
MSS
Perguntas?
Marcos Amorim
[email protected]
http://www.mandic.com.br/solucoes/simple-storage/