Mostra um exemplo real de Governança de Dados com Big Data, numa empresa de Energia elétrica, aplicando os conceitos de DMM-Data Management Maturity Model
3. • Carlos Barbieri, Eng, 1970-MSc-INPE-1974, PG Informática-1975
• Cemig-30 anos na área de Dados(ABD,AD,BI), Gerente da Assessoria de Tecnologia
• Professor de Pós-Graduação da FUMEC, PUC-MG nas áreas de BI e Data
Governance
• Consultoria e treinamento no Brasil e Portugal
• Coordenador da área de Qualidade da Fumsoft-Sociedade Mineira de Software,
responsável pelo Programa MPS.BR
– Engenharia de Software-MPS.BR
– Governança e Qualidade de Dados
• Autor de 3 livros na área de Dados, Informações e BI
• Revisor convidado do Modelo DMM-Data Management Maturity Model-CMMI
• CDMP-Certified Data Management Professional-DAMA-Data Management
Association- CBIP(TDWI) e CDMP em DM, DW,DD,DOIP,DGS
(1994) (2002) (2011)
4. Big Data e
Governança de dados
• Objetivo:
– Discutir como a Governança de Dados se alinhará com
os conceitos de BIG DATA, através das áreas de
processos do DMM-Data Management Maturity Model,
do CMMI Institute
– Mostra, através de um exemplo real, o desenvolvimento
dos conceitos de Gestão e Governança de Dados,
analisando a aplicação de todas as práticas do modelo
DMM
– Esse tema será futuramente desenvolvido e publicado
no Blog do Barbi-Carlos Barbieri
4
6. VISÃO GERAL NOS ANOS 200X
1
2
3
4
5
QUALIDADE
DE
DADOS
OPERAÇÕES
DE
DADOS
ESTRATÉGIA DE
GESTÃO DE DADOS
PLATAFORMA E
ARQUITETURA
1-realizado
2-gerenciado
3-definido
4-medido
5-otimizado
6 Categorias
25 PA´s
Capacidade
GOVERNANÇA
DE
DADOS
RSKM(RISCOS)-CM(CONFIGURAÇÃO)-MA(MEDIÇÃO E ANÁLISE)-QA(QUALITY
ASSURANCE) DE PROCESSO- GERÊNCIA DE PROCESSO
DMM-
1.0 Data
Maturity
Model
PROCESSOS DE SUPORTE
Atributos de Processos
ISP-Infrastructure
Support Practices
6
7. O modelo DMM
25 Áreas de Processos
• Propósito – Introducão - Objetivos
- Questões – Níveis de capacidade
- Produtos de trabalho
• Politicas – Processos – Padrões –
Governança – Métricas –
Tecnologia – Dicas de
implementação
300+ Práticas
300+ Produtos de trabalho
Data Management Strategy Data Management Strategy
Communications
Data Management Function
Business Case
Funding
Data Governance Governance Management
Business Glossary
Metadata Management
Data Quality Data Quality Strategy
Data Profiling
Data Quality Assessment
Data Cleansing
Data Operations Data Requirements Definition
Data Lifecycle Management
Provider Management
Platform & Architecture Architectural Approach
Architectural Standards
Data Management Platform
Data Integration
Historical Data, Archiving and
Retention
Supporting Processes Measurement and Analysis
Process Management
Process Quality Assurance
Risk Management
Configuration Management
7
8. O modelo DMM
8
uaisprocessosmerecem+atençãoquandopensamosemBIGData?
Estratégia de Data Management(Data Management
Strategy)
Estratégia de Data Management
Comunicações
Função de Data Management
Plano de Negócios (Business Case)
Apoio Financeiro
Governança de Dados(Data Governance) Gerência de Governança
Glossáriio de Negócios
Gerência de Metadados
Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados
Data Profiling
Avaliação de Qualidade de Dados
Limpeza de Dados
Operações de Dados(Data Operations) Definição de Requisitos de Dados
Gerência do Ciclo de vida dos Dados
Gerência de Fornecedores de Dados(Provider Management)
Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach)
Padrões Arquiteturais(ArchitecturalStandards)
Plataformas de Data Management(Data Management Platform)
Integração de Dados (Data Integration)
Dados Históricos(Historical Data) , Arquivamento(Archiving) e
Retenção(Retention)
Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis)
Gerência de Processo(Process Management)
Garantia de Qualidade do Processo(Process Quality Assurance)
Gerência de Risco(Risk Management)
Gerência de Configuração(Configuration Management)
9. DMM-Data Management
Maturity Model
Exemplo prático aplicado em
uma empresa de energia que
planeja a troca de seus medidores
de energia elétrica por “smart
meters”, gerando o conceito de
Big Data
9
10. Estratégia de Gestão de Dados
Governança
de
Dados
Qualidade de Dados
Operações de Dados
Plataforma e Arquitetura
ProcessosdeSuporte
® Domani TI
+What
-How
59. Dimensão da
Qualidade de
Dados
Descrição
Completude O grau com qual o dado é populado com base nas regras de negócio que definem quando este é requerido para ser
preenchido com um valor. Por exemplo, toda conta deve ter um identificador (ID). Uma regra mais complexa pode definir
que um registro adicional é requerido se e somente se um registro de empréstimo está presente e o tipo de empréstimo requer
um complemento (por exemplo, hipoteca).
Unicidade O grau permitido para que o dado tenha valor duplicado. Por exemplo, o ID de imposto de cada cliente deve ser único –
não pode haver dois clientes com o mesmo ID de imposto.
Validade O grau com qual o dado está em conformidade com as regras de negócio para um conteúdo aceitável. Pode incluir:
• Formato (inteiro com 6 digitos)
• Padrão (CPF-999.999.999-99)
• Tipo de dados (int,float,varchar,imagem,audio,XML,etc), estruturados, não estruturados, semi
• Lista de valores válidos (20,30,50)
• Domínio: conjunto de valores válidos dentro tipo)
• Faixa de valores (20-50)
Reasonableness
Razoabilidade
O grau no qual o dado está em conformidade com as regras sobre valores razoáveis quando comparado com cenários do
mundo real ou quando comparado com outros dados. Por exemplo, a data de preenchimento(na farmácia) da receita médica
para controle deve ser posterior ou igual à data em que a prescrição foi escrita/emitida pelo médico
Integridade O grau no qual elementos do dado possuem conteúdo consistente em múltiplas bases de dados. Por exemplo, a droga
prescrita é a mesma na base de dados transacional e no data warehouse da farmácia.
Timeliness-
Temporalidade
O grau no qual as alterações nos dados são avaliadas com o prazo exigido pelo negócio. Por exemplo, a mudança nos
assentos do avião deve ser refletida no website em tempo real.
Cobertura O grau com que o dado suporta todas as funções do negócio que necessitam dele para realizar seu objetivo de negócio
específico. Por exemplo, tenho dados registrados somente para região do BR e a empresa planeja entrar na Argentina., por
exemplo.
Acurácia-Precisão O grau com o qual o dado corresponde a valores corretos do mundo real, conforme fornecido por uma reconhecida e
estabelecida “fonte da verdade”. Por exemplo, o endereço de um cliente corresponde ao endereço fornecido pelo serviço
postal. Muitas “fontes da verdade” são externas, como o serviço postal. Outras podem ser internas, tal como dados de
pesquisa de setores da empresa. O que torna uma fonte da verdade é que as pessoas a reconhecem como tal.
Fonte: Data Stewardship-Na Actionable Guide to Effective Data Management na DG
David Plotkin-MK
® Domani TI
82. Sistema de
medidor
inteligente
ERP
Dados
lidos
ETL DW DM
Módulos
Clientes e
Faturamento
Módulos
Arrecadação e
Corte
Analytics
(Mining)
Módulo
Archiving
Transacional Informacional-Dimensional-DW/BI
Inferencial
ODS
82
Fornecedores de dados-Processos de negócios
Fornecedores de dados-Processos de Big data
Fornecedores de dados- Processos informacionais/inferenciais
Big data
ELT
Fornecedores de dados-Processos de Archiving
Principais fornecedores de dados
Sistema de Medidores inteligentes
Indicadores financeiros(externos) ou dados de regulação
Fornecedor de dados externos -Indicadores financeiros
® Domani TI
125. 126
Exemplo-Processo padrão de Governança de dados-DMBOK
DMBOK-fonte: The DMM Guide to Data Management Body of Knowledge-
Data Governance Context Diagram-página 37
135. Referências
• Data Management Maturity Model-CMMI Institute-August 2014-
Version 1.0
• Data Management Maturity Model-Introduction-University of Ottawa-
CMMI Institute-December-2014
• Introduction to DMM Concepts-Course-CMMI Institute-Washington
DC-2015
• The DAMA Guide to Data Management Body of Knowledge(Dama-
DMBOK Guide)-First Edition 2009
• Dama-DMBOK2-Framework-Patricia Cupoli; Susan Earley; Debora
Henderson-September-2012
• OpenDataGovernance-DMBOK2-Chapter4-em revisão
• TDWI-The DataWarehouse Institute-Big Data Maturity Model and
Assessment Tool- acessado em tdwi.org, em 25 de junho de 2015
136
136. Carlos Barbieri Consultores Associados ®
Contatos
carlos.barbieri@gmail.com
Carlos Barbieri
Carlos Barbieri
Carlos Barbieri
Carlos Barbieri