International As regras de negócios integradas a Gestão, Governança e Qualidade de Dados Prof. Dr. Rossano Soares Tavares BABrazil - Novembro/2015 “O conteúdo deste material pertence a DataProject Consultoria, sendo expressamente proibida sua utilização sem autorização prévia.” GOVERNANÇA PARA DADOS e INFORMAÇÕES • DAMA MANAGEMENT ASSOCIATION (DAMA) • GESTÃO, GOVERNANÇA e QUALIDADE DE DADOS • INTEGRAÇÃO REGRAS DE NEGÓCIOS e GOVERNANÇA DE DADOSGOVERNANÇA DE DADOS DATA MANAGEMENT ASSOCIATION 3 Panorama atual DAMA International International A maior organização profissional neutra da indústria de gestão de dados Criada em 1980 Aproximadamente 5.000 membros - Com 61 capítulos - Presente em 25 países Missão e Propósito • DAMA (Data Management Association) é uma associação de profissionais, sem fins lucrativos, dedicada a promover os conceitos e práticas de gestão de recursos de dados e informações. • O propósito principal da DAMA é promover a comprensão, desenvolvimento e práticas da gestão de dados, informações e conhecimento como um ativo chave das organizações. DAMA-I Atividades Independente: Corpo de conhecimento Provedores Certificação (CDMP) Associação profissional Comunidade em prática Tecnologias Curriculum acadêmico Metodologias The DAMA-DMBOK Guia para o corpo de conhecimento em Gestão de Dados 7 Evento anual de grande porte http://edw2015.dataversity.net/ Evento anual de porte http://www.dmc-latam.com/ DAMA Brasil O que é Gestão, Governança e Qualidade de Dados? 11 Gestão de Dados 12 Gestão de Dados: áreas de inteligência Gestão de Dados Metodologia DAMA-DMBOK: FRAMEWORK Entradas: Estratégias do negócio Atividades do negócio Atividades de IT Questões de dados Fornecedores: Executivos Criadores de dados Fontes externas Corpo de regulamentação Participantes: Criadores de dados Consumidores de informações Ger. estratégicos de dados Professionais de dados Executivos Funções: 1 - Governança de dados 2 – Gerenciamento de arquitetura 3 – Gerenciamento desenvolvimento 4 – Gerenciamento de operação dados 5 - Gerenciamento da segurança dados 6 – Gerenciamento dados mestre e referência 7 – Data warehouse e Business inteligence 8 – Gerenciamento de conteúdo e documentação 9 – Gerenciamento de meta-data 10 – Gerenciamento da qualidade de dados Ferramentas: Ferramentas de modelagem de dados Sistemas de gerenciamento de banco de dados Ferramentas de qualidade e integração de dados Ferramentas de Business Inteligence Ferramentas de gerenciamento da documentação Ferramentas de repositório de dados Entregas primárias: Estratégias de dados Arquitetura de dados Serviços de dados Banco de dados Dados, informação Conhecimento e competência Consumidores: Trabalhadores de escritório Trabalhadores do conhecimento Gerentes Executivos Clientes Métricas: Métricas de valor de dados Métricas de qualidade de dados Métricas de GD GESTÃO ESTRATÉGICA DE DADOS Vários termos para gestão de dados Gestão da informação Information Management (IM) Gestão da informação empresarial Enterprise Information Management (EIM) Gestão dos dados empresariais Enterprise Data Management (EDM) Gestão dos recursos de dados Data Resource Management (DRM) Gestão de recursos de informações Information Resource Management (IRM) Gestão de ativos de informações Information Asset Management (IAM) GOVERNANÇA 16 GOVERNANÇA GOVERNANÇA Governança é a maneira pela qual o poder é exercido na administração dos recursos de uma organização visando o crescimento, perpetuação e a capacidade de planejar, formular e programar políticas e cumprir funções (*). (*) Adaptado da definição existente em : http://www.significados.com.br/governanca/ - último acesso em 08/05/2015 Por que as organizações vão a falência? Burocracia Arrogancia Líderes cansados Planejamento pobre Horizonte de investimentos de curto-prazo Habilidades e recursos inadequados Simplesmente azar Não seguir políticas, normas e procedimentos --- alto risco para a empresa * - adptado de The Innovator´s Dilemma de Clayton M. Christesen - introduction Governança de Dados 20 Mudando a lente e o foco • O que você imagina quando ouve os termos abaixo? – Informática – Análise de sistemas – Programação de computadores Mudando a lente e o foco - Atual ITIL Processos internos TI COBIT Controles adequados PMI Projetos executados CMMI Sofware qualificado GOVERNANÇA DE TI “garantir que a área de TI sustente e melhore a estratégia e objetivos da organização com base em tecnologia, pessoas e processos” GOVERNANÇA CORPORATIVA “conjunto de processos, costumes, políticas, leis e regulamentos e instruções que regulam a maneira como uma organização é dirigida, administrada ou controlada” Ferramentas Alicerce 2 Alicerce 1 Mudando a lente e o foco - Proposto ITIL Processos internos TI COBIT Controles adequados PMI Projetos executados CMMI Sofware qualificado GOVERNANÇA DE TI “garantir que a área de TI sustente e melhore a estratégia e objetivos da organização com base em tecnologia, pessoas e processos” GOVERNANÇA DE DADOS “A partir de políticas e padrões estabelecidos fazer com que a organização execute projetos e serviços voltados para a valorização dos ativos de dados” GOVERNANÇA CORPORATIVA “conjunto de processos, costumes, políticas, leis e regulamentos e instruções que regulam a maneira como uma organização é dirigida, administrada ou controlada” Ferramentas Alicerce 3 Alicerce 2 Alicerce 1 GESTÃO DE DADOS ORGANIZACIONAIS • "As organizações que não entenderem a enorme importância da gestão de dados e informações como ativos tangíveis na nova economia não vão sobreviver" Tom Peters 2001. Definindo Dados; Informação; conhecimento; Competência Tratar a febre com sucesso! COMPETÊNCIA Febre Dados + Meta-dado CONHECIMENTO 39 °C – Corpo Humano INFORMAÇÃO 39 DADOS - Matéria-prima - Definição - Formato - Geração - Relevância - Padrões e tendências - Relacionamentos - Premissas Gestão Conhecimento CICLOS DE VIDA Agrega valor para o negócio DADO Planejar Especificar Disponibilizar Criar e Adquirir Manter e Usar Arquivar e recuperar Eliminar SISTEMA Planejar Analisar Design Construir Testar Implantar Manter Fonte: DMBOK first edition/ O CICLO DE VIDA DO DADO – Ações com dados E durante o ciclo de vida os dados podem ser… Extraído (extracted) Transformado (transformed) Analisado (Analyzed) Exportado (exported) Convertido (integrated) Garimpado (Mined) Importado (imported) Integrado (Integrated) Salvo (backed up) Migrado (migrated) Segregado (segregated) Recuperado (recovered) Validado (validated) Agregado (aggregated) Arquivado (archived) Editado (edited) Referenciado (referenced) Restaurado (retrieved) Atualizado (updated) Revisado (reviewed) Eliminado (deleted) Limpo (cleansed) Reportado (reported) 23 Fonte: DMBOK first edition/ GESTÃO DE DADOS • Lembre-se: Dados não se auto gerenciam!!! Governança de Dados A interseção de processos de negócios e tecnologia Requisitos de negócios Negócios Tecnologia Política de dados Regras de negócios Padrões de dados Gestão Estratégica de Dados (stewardship) Regras e responsabilidades Co-responsabilidade (accountability) Propriedade dos dados Segurança e privacidade Solução de questões Integração de dados Qualidade de dados (ferramenta) gestão de fluxo de trabalho Modelagem de dados Gestão de metadados Linhagem dos dados Aplicações de negócios Data Warehouse Data Marts Reporting Migração de dados Executa políticas Cria políticas Capacidades e restrições técnicas 29 ATIVIDADES GESTÃO GOVERNANÇA DE DADOS • Estratégia • Políticas, normas, procedimentos e padrões • Organização, papéis e responsabilidades • Data Stewardship, propriedade dos dados e co-responsabilidade • Gestão das questões de dados • Monetização dos ativos de dados • Gestão de métricas • Avaliação de processos com foco em dados Por que implantar Gestão, Governança e Qualidade de Dados? 31 OCORRÊNCIAS NEGATIVAS COM DADOS Moradora de Ribeirão Preto se assusta ao receber conta de água de quase R$ 29 milhões Lúcia Helena, minha heroína, veja o que falou para o pessoal da Daerp http://globotv.globo.com/globocom/bom-dia-cidade-saocarlosararaquara/v/moradora-de-ribeirao-preto-se-assusta-ao-receber-conta-deagua-de-quase-r-29-milhoes/2460919/ Quem deve participar da implantação de Gestão, Governança e Qualidade de Dados? 33 Todos Quem é quem? • Se dados não se auto gerenciam, então… • A gestão, governança e qualidade de dados deve ser compartilhada entre: Os profissionais de gestão de dados das áreas de Tecnologia da Informação E Gestores estratégicos de dados pertencentes as áreas de negócios • Data Stewards, a tradução para o português não fica adequada!!! Em motivação temos: W hat I n I t F or M e O que tem nisto para mim? Andrew Dubrin, Applying Psychology: Individual & Organizational Effectiveness (New Jersey, Upper Saddle River: Pearson Prentice Hall, 2004), 123. Melhores práticas Gestão + Governança de Dados 37 INTEGRAÇÃO REGRAS DE NEGÓCIOS + GOVERNANÇA • A gestão, governança e qualidade de dados permite ao arquiteto corporativo ter mais argumentos para mostrar a alta administração a importância do mapeamento dos processos e das regras de negócios; • No mundo corporativo atual é praticamente impossível pensar em processos sem dados e informações e vice-versa; • Como se dá a integração? Gestão de Dados: áreas de inteligência ARQUITETURA CORPORATIVA e de DADOS (Arquiteto Corporativo/Dados) Gestão de Dados: áreas de inteligência DESENVOLVIMENTO DE DADOS (Administrador de Dados) Gestão de Dados: áreas de inteligência OPERAÇÕES BANCO DADOS • Aquisição de dados e informações • Recuperação • Ajustes (tuning) • Retenção • Deleção (DBA) Definidas em regras de negócios Gestão de Dados: áreas de inteligência SEGURANÇA DE DADOS • Padrões de Privacidade de Dados: Desenvolvimento e Implementação • Administração de Usuários e grupo de membros • Administração de Visões de Dados • Administração da Permissão de Acesso a Dados • Normas e Práticas para Senhas • Autenticação de Usuário • Auditoria de Segurança de Dados (AUDITOR DE SEGURANÇA DA INFORMAÇÃO) Definidas em regras de negócios Gestão de Dados: áreas de inteligência DADOS MESTRE & REFERÊNCIA • Foca na organização dos dados referenciados nas diversas aplicações (dados similares com usos diferentes e inconsistentes); • Referência: Controla rigidamente os domínios dos dados (códigos válidos, identificadores, definições de negócio para cada valor, etc.); • Mestre: controla os valores de dados para permitir dados consistentes, compartilhados, contextualmente preparados para uso em diversos sistemas, uso do mais acurado, em tempo e relevante versão sobre entidades essenciais para o negócio; Gestão de Dados: áreas de inteligência DATA WAREHOUSING & BUSINESS INTELIGENCE (+ BIG DATA) • Arquitetura • Implementação • Treinamento e suporte • Monitoramento e ajustes Definidas em regras de negócios Gestão de Dados: áreas de inteligência DOCUMENTAÇÃO & CONTEÚDO • Salvaguardar e garantir a disponibilidade de ativos de dados armazenados em formatos menos estruturados • Permitir de forma efetiva e eficiente a recuperação e uso de dados e informações em formatos não-estruturados • Cumprir com obrigações legais e expectativas de clientes • Garantir a continuidade do negócio por meio de retenção, recuperação e conversão • Controlar os custos de operação de armazenagem Definidas em regras de negócios Gestão de Dados: áreas de inteligência METADADOS ESTRUTURA TIPOS • Arquitetura • Negócios • Integração • Técnico • Controle • Governança/Processos • Entrega METADADOS Onde encontramos: • Políticas e manuais de procedimentos • Códigos de programas • Fluxos de trabalho • Documentação de aplicativos para usuários • E-mails • Regulamentação governamental e de Compliance • Documentação legal • Procedimentos de marketing/vendas – incluindo descontos e premiações Gestão de Dados: áreas de inteligência QUALIDADE DE DADOS • Especificação • Análise e entedimento (Profiling) • Medidas/indicadores - Dimensões • Melhoria contínua (emprestado da ISO 9000) QUALIDADE DE DADOS • Regra de negócio: – Todo contrato deve possuir o número do CPF do cliente A partir desta regra diversas outras são criadas em qualidade de dados: - Cálculo de dígito de controle do CPF - Validar se a informação é numérica - Verificar na base de dados da Receita Federal (existe e está ativo?) VARIÁVEIS AMBIENTAIS Gestão de Dados Análise de Maturidade MATURIDADE – DATAFLUX/TONY FISHER Alta Adoção de Tecnologia Data Warehouse MDM - Consumidores Automação da força de vendas Database Marketing ERP Baixa Automação de Processos de Negócios MDM - Produtos MDM CRM REATIVA PRÓ ATIVA GOVERNADAS TI direciona os projetos Linha de negócios influencia projetos de TI Grupos de Negócios e TI colaboram entre si Requisitos de negócios direciona projetos de TI Dados inconsistêntes, duplicidades Baixa colaboração entre áreas Dados vistos com ativos Processos automatizados e da corporação funcionais Inabilidade para se adaptar as estratégias de negócios Alto custo para manter multiplas aplicações Relacionamento personalizado com clientes e operações automatizadas Riscos Recompensa INDISCIPLINADA Capacidade para atender negócios Baixa Alta Fonte: Dataflux/Tony Fisher (livro) RETURN OF INVESTIMENT (ROI) • Muitas empresas nunca planejaram suas áreas de TI, isto significa crescimento desorganizado • Altos níveis de duplicidade (Dados; Processos; Tecnologia -- software/hardware/middleware) • Consolidação não é integração Em Consolidação 10 tabelas com um milhão de linhas com 5% de erros em dados em cada uma, são consolidadas em uma única tabela com 10 milhões de linhas e com 5% de erros em dados Em Integração 10 tabelas com um milhão de linhas com 5% de erros em dados em cada uma, são consolidadas em uma única tabela com 7 milhões únicas linhas com 0% de erros em dados • Grande quantidade de problemas com qualidade de dados ROI Processos corrigidos e/ou refinados Redução no tempo de desenvolvimento de sistemas Redução nas falhas em projetos de TI Tornar acessível informações de aplicações corporativas (CRM, ERP, SCM, etc.) Bibliografia e referências • Assim como somos reflexo do que comemos, do que bebemos, dos exercícios que fazemos, das doenças que nos atacam e também dos efeitos da natureza, os nossos escritos são reflexos do que lemos, do que vemos, do que ouvimos e do que imaginamos…. então… segue a bibliografia e referências. • Resumindo ninguém faz nada sozinho!!! Bibliografia e referências Apresentações • Marco David - EDW-2010 (San Francisco) • John Ladley – EDW-2011 (Chicago) • Michele Koch – EDW-2011(Chicago) • April Reeve – EDW-2011(Chicago) • DAMA International, DAMA-DMBOK: Guide to the data management body of knowledge, Technics Publications, LLC, USA: print edition, 2010 • John Ladley, Making EIM - Enterprise Information Management – Work for Business: A guide to Understanding Information as an Asset, Morgan Kaufmann, USA: first edition, 2010 • Steve Sarsfield, The Data Governance Imperative: A business strategy for corporate data, IT Governance Publishing, UK: first edition, 2009 • James C. Orr, Data Governance for the Executive, Senna Publishing, LLC, USA: first edition, 2011 • Tony Fisher, The Data Asset: How Smart Companies Govern Their Data for Business Success, John Wiley & Sons, Inc., USA: first edition, 2009 Bibliografia e referências Rossano Soares Tavares Mais de 30 anos de experiência em projetos ligados a tecnologia da informação; marketing de relacionamento e reorganização de processos. Doutorando em Business Administration pela UMT (University of Management and Technology/Virginia-USA) Mestre em Filosofia (pragmatismo) pela PUC-SP MBA em Tecnologia da Informação e Negócios na PUC-SP Especializações em: Gerência de Produtos, Administração de Marketing, Macroeconomia e Econometria, Pós-graduação em Análise de Sistemas Sólida experiência em projetos de todos os portes. Ex-instrutor do PMI Project Manager Institute (capítulo SP). Ex- professor de gestão de projetos Universidade Cruzeiro do Sul Ex-professor em cursos de gradução ligados a tecnologia da informação Mentor e professor no Curso de Pós-graduação em Governança de Dados na Universidade Cruzeiro do Sul Presidente do Capítulo Brasil da DAMA (Data Management Association) Autor do livro Qualidade de Dados em gestão de Clientes e Tecnologia da Informação; Obrigado! [email protected] [email protected]