International
As regras de negócios integradas a Gestão,
Governança e Qualidade de Dados
Prof. Dr. Rossano Soares Tavares
BABrazil - Novembro/2015
“O conteúdo deste material pertence a DataProject Consultoria, sendo expressamente proibida sua utilização sem autorização prévia.”
GOVERNANÇA PARA DADOS e INFORMAÇÕES
• DAMA MANAGEMENT ASSOCIATION (DAMA)
• GESTÃO, GOVERNANÇA e QUALIDADE DE DADOS
• INTEGRAÇÃO REGRAS DE NEGÓCIOS e GOVERNANÇA DE
DADOSGOVERNANÇA DE DADOS
DATA MANAGEMENT ASSOCIATION
3
Panorama atual
DAMA International
International
A maior organização profissional neutra da
indústria de gestão de dados
Criada em 1980
Aproximadamente 5.000 membros
- Com 61 capítulos
- Presente em 25 países
Missão e Propósito
• DAMA (Data Management Association) é uma
associação de profissionais, sem fins lucrativos,
dedicada a promover os conceitos e práticas de
gestão de recursos de dados e informações.
• O propósito principal da DAMA é promover a
comprensão, desenvolvimento e práticas da
gestão de dados, informações e conhecimento
como um ativo chave das organizações.
DAMA-I Atividades
Independente:
Corpo de
conhecimento
 Provedores
Certificação
(CDMP)
Associação
profissional
Comunidade
em prática
 Tecnologias
Curriculum
acadêmico
 Metodologias
The DAMA-DMBOK

Guia para o corpo de conhecimento em Gestão de Dados
7
Evento anual de grande porte
http://edw2015.dataversity.net/
Evento anual de porte
http://www.dmc-latam.com/
DAMA Brasil
O que é Gestão, Governança e
Qualidade de Dados?
11
Gestão de Dados
12
Gestão de Dados: áreas de inteligência
Gestão de Dados
Metodologia DAMA-DMBOK: FRAMEWORK
Entradas:
Estratégias do negócio
Atividades do negócio
Atividades de IT
Questões de dados
Fornecedores:
Executivos
Criadores de dados
Fontes externas
Corpo de regulamentação
Participantes:
Criadores de dados
Consumidores de informações
Ger. estratégicos de dados
Professionais de dados
Executivos
Funções:
1 - Governança de dados
2 – Gerenciamento de arquitetura
3 – Gerenciamento desenvolvimento
4 – Gerenciamento de operação dados
5 - Gerenciamento da segurança dados
6 – Gerenciamento dados mestre e referência
7 – Data warehouse e Business inteligence
8 – Gerenciamento de conteúdo e documentação
9 – Gerenciamento de meta-data
10 – Gerenciamento da qualidade de dados
Ferramentas:
Ferramentas de modelagem de dados
Sistemas de gerenciamento de banco de dados
Ferramentas de qualidade e integração de dados
Ferramentas de Business Inteligence
Ferramentas de gerenciamento da documentação
Ferramentas de repositório de dados
Entregas primárias:
Estratégias de dados
Arquitetura de dados
Serviços de dados
Banco de dados
Dados, informação
Conhecimento e competência
Consumidores:
Trabalhadores de escritório
Trabalhadores do conhecimento
Gerentes
Executivos
Clientes
Métricas:
Métricas de valor de dados
Métricas de qualidade de dados
Métricas de GD
GESTÃO ESTRATÉGICA DE DADOS
Vários termos para gestão de dados
Gestão da informação
Information Management (IM)
Gestão da informação empresarial
Enterprise Information Management (EIM)
Gestão dos dados empresariais
Enterprise Data Management (EDM)
Gestão dos recursos de dados
Data Resource Management (DRM)
Gestão de recursos de informações
Information Resource Management (IRM)
Gestão de ativos de informações
Information Asset Management (IAM)
GOVERNANÇA
16
GOVERNANÇA
GOVERNANÇA
Governança é a maneira pela qual o poder é exercido na administração dos
recursos de uma organização visando o crescimento, perpetuação e a capacidade
de planejar, formular e programar políticas e cumprir funções (*).
(*) Adaptado da definição existente em : http://www.significados.com.br/governanca/ - último acesso em 08/05/2015
Por que as organizações vão a falência?
 Burocracia
 Arrogancia
 Líderes cansados
 Planejamento pobre
 Horizonte de investimentos de curto-prazo
 Habilidades e recursos inadequados
 Simplesmente azar
 Não seguir políticas, normas e procedimentos --- alto risco para a empresa
* - adptado de The Innovator´s Dilemma de Clayton M. Christesen - introduction
Governança de Dados
20
Mudando a lente e o foco
• O que você imagina quando ouve os termos abaixo?
– Informática
– Análise de sistemas
– Programação de computadores
Mudando a lente e o foco - Atual
ITIL
Processos internos TI
COBIT
Controles adequados
PMI
Projetos executados
CMMI
Sofware qualificado
GOVERNANÇA DE TI
“garantir que a área de TI sustente e melhore a estratégia e objetivos da organização com base em
tecnologia, pessoas e processos”
GOVERNANÇA CORPORATIVA
“conjunto de processos, costumes, políticas, leis e regulamentos e instruções que regulam a
maneira como uma organização é dirigida, administrada ou controlada”
Ferramentas
Alicerce 2
Alicerce 1
Mudando a lente e o foco - Proposto
ITIL
Processos internos TI
COBIT
Controles adequados
PMI
Projetos executados
CMMI
Sofware qualificado
GOVERNANÇA DE TI
“garantir que a área de TI sustente e melhore a estratégia e objetivos da organização com base em
tecnologia, pessoas e processos”
GOVERNANÇA DE DADOS
“A partir de políticas e padrões estabelecidos fazer com que a organização execute projetos e
serviços voltados para a valorização dos ativos de dados”
GOVERNANÇA CORPORATIVA
“conjunto de processos, costumes, políticas, leis e regulamentos e instruções que regulam a maneira
como uma organização é dirigida, administrada ou controlada”
Ferramentas
Alicerce 3
Alicerce 2
Alicerce 1
GESTÃO DE DADOS ORGANIZACIONAIS
• "As organizações que não entenderem a
enorme importância da gestão de dados e
informações como ativos tangíveis na
nova economia não vão sobreviver"
Tom Peters 2001.
Definindo Dados; Informação; conhecimento; Competência
Tratar a febre com sucesso!
COMPETÊNCIA
Febre
Dados + Meta-dado
CONHECIMENTO
39 °C – Corpo Humano
INFORMAÇÃO
39
DADOS
- Matéria-prima
- Definição
- Formato
- Geração
- Relevância
- Padrões e tendências
- Relacionamentos
- Premissas
Gestão
Conhecimento
CICLOS DE VIDA
Agrega valor para
o negócio
DADO
Planejar
Especificar
Disponibilizar
Criar e
Adquirir
Manter e
Usar
Arquivar e
recuperar
Eliminar
SISTEMA
Planejar
Analisar
Design
Construir
Testar
Implantar
Manter
Fonte: DMBOK first edition/
O CICLO DE VIDA DO DADO – Ações com dados
E durante o ciclo de vida os dados podem ser…
Extraído (extracted)
Transformado (transformed)
Analisado (Analyzed)
Exportado (exported)
Convertido (integrated)
Garimpado (Mined)
Importado (imported)
Integrado (Integrated)
Salvo (backed up)
Migrado (migrated)
Segregado (segregated)
Recuperado (recovered)
Validado (validated)
Agregado (aggregated)
Arquivado (archived)
Editado (edited)
Referenciado (referenced)
Restaurado (retrieved)
Atualizado (updated)
Revisado (reviewed)
Eliminado (deleted)
Limpo (cleansed)
Reportado (reported)
23
Fonte: DMBOK first edition/
GESTÃO DE DADOS
• Lembre-se:
Dados não se auto gerenciam!!!
Governança de Dados
A interseção de processos de negócios e tecnologia
Requisitos de
negócios
Negócios
Tecnologia
Política de dados
Regras de negócios
Padrões de dados
Gestão Estratégica de Dados
(stewardship)
Regras e responsabilidades
Co-responsabilidade (accountability)
Propriedade dos dados
Segurança e privacidade
Solução de questões
Integração de dados
Qualidade de dados (ferramenta)
gestão de fluxo de trabalho
Modelagem de dados
Gestão de metadados
Linhagem dos dados
Aplicações de negócios
Data Warehouse
Data Marts
Reporting
Migração de dados
Executa políticas
Cria políticas
Capacidades e
restrições técnicas
29
ATIVIDADES GESTÃO GOVERNANÇA DE DADOS
• Estratégia
• Políticas, normas, procedimentos e padrões
• Organização, papéis e responsabilidades
• Data Stewardship, propriedade dos dados e co-responsabilidade
• Gestão das questões de dados
• Monetização dos ativos de dados
• Gestão de métricas
• Avaliação de processos com foco em dados
Por que implantar Gestão,
Governança e Qualidade de
Dados?
31
OCORRÊNCIAS NEGATIVAS COM DADOS
Moradora de Ribeirão Preto se assusta ao receber conta de água de quase R$
29 milhões
Lúcia Helena, minha heroína, veja o que falou para o pessoal da Daerp
http://globotv.globo.com/globocom/bom-dia-cidade-saocarlosararaquara/v/moradora-de-ribeirao-preto-se-assusta-ao-receber-conta-deagua-de-quase-r-29-milhoes/2460919/
Quem deve participar da
implantação de Gestão,
Governança e Qualidade de
Dados?
33
Todos
Quem é quem?
• Se dados não se auto gerenciam, então…
• A gestão, governança e qualidade de dados deve ser compartilhada entre:
 Os profissionais de gestão de dados das áreas de Tecnologia da
Informação
E
 Gestores estratégicos de dados pertencentes as áreas de negócios
• Data Stewards, a tradução para o português não fica adequada!!!
Em motivação temos:
W
hat
I
n
I
t
F
or
M
e
O que tem nisto para mim?
Andrew Dubrin, Applying Psychology: Individual & Organizational Effectiveness (New Jersey, Upper Saddle River: Pearson Prentice Hall, 2004), 123.
Melhores práticas
Gestão + Governança de Dados
37
INTEGRAÇÃO REGRAS DE NEGÓCIOS + GOVERNANÇA
• A gestão, governança e qualidade de dados permite ao arquiteto
corporativo ter mais argumentos para mostrar a alta administração a
importância do mapeamento dos processos e das regras de negócios;
• No mundo corporativo atual é praticamente impossível pensar em
processos sem dados e informações e vice-versa;
• Como se dá a integração?
Gestão de Dados: áreas de inteligência
ARQUITETURA CORPORATIVA e de DADOS
(Arquiteto Corporativo/Dados)
Gestão de Dados: áreas de inteligência
DESENVOLVIMENTO DE DADOS
(Administrador de Dados)
Gestão de Dados: áreas de inteligência
OPERAÇÕES BANCO DADOS
• Aquisição de dados e informações
• Recuperação
• Ajustes (tuning)
• Retenção
• Deleção
(DBA)
Definidas em regras
de negócios
Gestão de Dados: áreas de inteligência
SEGURANÇA DE DADOS
• Padrões de Privacidade de Dados: Desenvolvimento e Implementação
• Administração de Usuários e grupo de membros
• Administração de Visões de Dados
• Administração da Permissão de Acesso a Dados
• Normas e Práticas para Senhas
• Autenticação de Usuário
• Auditoria de Segurança de Dados
(AUDITOR DE SEGURANÇA DA INFORMAÇÃO)
Definidas em regras
de negócios
Gestão de Dados: áreas de inteligência
DADOS MESTRE & REFERÊNCIA
• Foca na organização dos dados referenciados nas diversas aplicações
(dados similares com usos diferentes e inconsistentes);
• Referência: Controla rigidamente os domínios dos dados (códigos válidos,
identificadores, definições de negócio para cada valor, etc.);
• Mestre: controla os valores de dados para permitir dados consistentes,
compartilhados, contextualmente preparados para uso em diversos
sistemas, uso do mais acurado, em tempo e relevante versão sobre
entidades essenciais para o negócio;
Gestão de Dados: áreas de inteligência
DATA WAREHOUSING & BUSINESS INTELIGENCE
(+ BIG DATA)
• Arquitetura
• Implementação
• Treinamento e suporte
• Monitoramento e ajustes
Definidas em regras
de negócios
Gestão de Dados: áreas de inteligência
DOCUMENTAÇÃO & CONTEÚDO
• Salvaguardar e garantir a disponibilidade de ativos de
dados armazenados em formatos menos estruturados
• Permitir de forma efetiva e eficiente a recuperação e uso de
dados e informações em formatos não-estruturados
• Cumprir com obrigações legais e expectativas de clientes
• Garantir a continuidade do negócio por meio de retenção,
recuperação e conversão
• Controlar os custos de operação de armazenagem
Definidas em regras
de negócios
Gestão de Dados: áreas de inteligência
METADADOS
ESTRUTURA
TIPOS
• Arquitetura
• Negócios
• Integração
• Técnico
• Controle
• Governança/Processos
• Entrega
METADADOS
Onde encontramos:
•
Políticas e manuais de procedimentos
•
Códigos de programas
•
Fluxos de trabalho
•
Documentação de aplicativos para usuários
•
E-mails
•
Regulamentação governamental e de Compliance
•
Documentação legal
•
Procedimentos de marketing/vendas – incluindo descontos e premiações
Gestão de Dados: áreas de inteligência
QUALIDADE DE DADOS
• Especificação
• Análise e entedimento (Profiling)
• Medidas/indicadores - Dimensões
• Melhoria contínua (emprestado da ISO 9000)
QUALIDADE DE DADOS
• Regra de negócio:
– Todo contrato deve possuir o número do CPF do cliente
A partir desta regra diversas outras são criadas em qualidade
de dados:
- Cálculo de dígito de controle do CPF
- Validar se a informação é numérica
- Verificar na base de dados da Receita Federal (existe e
está ativo?)
VARIÁVEIS AMBIENTAIS
Gestão de Dados
Análise de Maturidade
MATURIDADE – DATAFLUX/TONY FISHER
Alta
Adoção de Tecnologia
Data Warehouse
MDM - Consumidores
Automação da força de
vendas
Database Marketing
ERP
Baixa
Automação de Processos
de Negócios
MDM - Produtos
MDM
CRM
REATIVA
PRÓ ATIVA
GOVERNADAS
TI direciona os projetos
Linha de negócios
influencia projetos de TI
Grupos de Negócios e TI
colaboram entre si
Requisitos de negócios
direciona projetos de TI
Dados inconsistêntes,
duplicidades
Baixa colaboração entre
áreas
Dados vistos com ativos Processos automatizados e
da corporação
funcionais
Inabilidade para se adaptar
as estratégias de negócios
Alto custo para manter
multiplas aplicações
Relacionamento
personalizado com clientes
e operações automatizadas
Riscos
Recompensa
INDISCIPLINADA
Capacidade para atender negócios
Baixa
Alta
Fonte: Dataflux/Tony Fisher (livro)
RETURN OF INVESTIMENT (ROI)
•
Muitas empresas nunca planejaram suas áreas de TI, isto significa crescimento desorganizado
•
Altos níveis de duplicidade (Dados; Processos; Tecnologia -- software/hardware/middleware)
•
Consolidação não é integração


Em Consolidação 10 tabelas com um milhão de linhas com 5% de erros em dados em cada uma, são consolidadas em
uma única tabela com 10 milhões de linhas e com 5% de erros em dados
Em Integração 10 tabelas com um milhão de linhas com 5% de erros em dados em cada uma, são consolidadas em uma
única tabela com 7 milhões únicas linhas com 0% de erros em dados
•
Grande quantidade de problemas com qualidade de dados

ROI
 Processos corrigidos e/ou refinados
 Redução no tempo de desenvolvimento de sistemas
 Redução nas falhas em projetos de TI
 Tornar acessível informações de aplicações corporativas (CRM, ERP, SCM, etc.)
Bibliografia e referências
• Assim como somos reflexo do que comemos, do que
bebemos, dos exercícios que fazemos, das doenças que
nos atacam e também dos efeitos da natureza, os nossos
escritos são reflexos do que lemos, do que vemos, do que
ouvimos e do que imaginamos…. então… segue a
bibliografia e referências.
• Resumindo ninguém faz nada sozinho!!!
Bibliografia e referências
Apresentações
•
Marco David - EDW-2010 (San Francisco)
•
John Ladley – EDW-2011 (Chicago)
•
Michele Koch – EDW-2011(Chicago)
•
April Reeve – EDW-2011(Chicago)
•
DAMA International, DAMA-DMBOK: Guide to the data management body of knowledge, Technics
Publications, LLC, USA: print edition, 2010
•
John Ladley, Making EIM - Enterprise Information Management – Work for Business: A guide to
Understanding Information as an Asset, Morgan Kaufmann, USA: first edition, 2010
•
Steve Sarsfield, The Data Governance Imperative: A business strategy for corporate data, IT
Governance Publishing, UK: first edition, 2009
•
James C. Orr, Data Governance for the Executive, Senna Publishing, LLC, USA: first edition, 2011
•
Tony Fisher, The Data Asset: How Smart Companies Govern Their Data for Business Success, John
Wiley & Sons, Inc., USA: first edition, 2009
Bibliografia e referências
Rossano Soares Tavares
 Mais de 30 anos de experiência em projetos ligados a tecnologia da informação;












marketing de relacionamento e reorganização de processos.
Doutorando em Business Administration pela UMT (University of Management and
Technology/Virginia-USA)
Mestre em Filosofia (pragmatismo) pela PUC-SP
MBA em Tecnologia da Informação e Negócios na PUC-SP
Especializações em: Gerência de Produtos, Administração de Marketing,
Macroeconomia e Econometria,
Pós-graduação em Análise de Sistemas
Sólida experiência em projetos de todos os portes.
Ex-instrutor do PMI Project Manager Institute (capítulo SP).
Ex- professor de gestão de projetos Universidade Cruzeiro do Sul
Ex-professor em cursos de gradução ligados a tecnologia da informação
Mentor e professor no Curso de Pós-graduação em Governança de Dados na
Universidade Cruzeiro do Sul
Presidente do Capítulo Brasil da DAMA (Data Management Association)
Autor do livro Qualidade de Dados em gestão de Clientes e Tecnologia da
Informação;
Obrigado!
[email protected]
[email protected]