Watch full webinar here: https://bit.ly/3Biofz5 Veja esta sessão para compreender porque é que a virtualização de dados é uma estratégia apropriada quando as aplicações que necessitam de analíticas avançadas exigem dados muito recentes ou quando esses dados são distribuídos por múltiplas plataformas numa arquitectura híbrida. Vai aprender: - Porque é que a virtualização de dados é uma abordagem de confiança à integração de dados - Como os modelos de virtualização de dados distribuíram os dados em estruturas mais simples e unificadas - Como a virtualização de dados aborda a Analytics, o BI self-service, e a governação de dados

1. | © 2021
IDC Data Monetization & Integration - 12.May.2021
Virtualização de Dados
como Estratégia de
Gestão de Dados para
Advanced Analytics
João Caldeira,
Center of Excellence Business Manager, Keyrus
joao.caldeira@keyrus.com

2. | 2 |
A vida de um Data Scientist
Desafíos
1. Encontrar os dados adequados
2. Ter acesso aos dados (envolve ter credenciais)
3. Transformar os dados num formato utilizável
4. Combinar dados provenientes de múltiplas fontes
5. Limpar os dados e/ou eliminar registos incompletos
6. …..
7. …..
Source: Anaconda, State of Data Science Report, 2020

3. | 3 |
Enquadrar o
Problema
Preparação e
Anotação dos
Dados
Ingestão e Gestão
dos Dados
Particionar os
Dados
Análise
Exploratória
Engenharia de
“Features”
Modelação
Otimização de
Modelos
Avaliação e Seleção
Análise de Risco e
Cumprimento de
Regras
Desenvolver
Software
Implementação Consumo de APIs Manutenção de
Modelos
Detestam fazer
Necessitam informação do domínio vinda de terceiros
Frequentemente usam metodologias erradas
Gostam e querem continuar a fazer
A vida de um Data Scientist
Desafíos
Manual, Demorado e Repetitivo

4. | 4 |
Problema
66%
Source: Anaconda, State of Data Science Report, 2020
1. Processo manual
2. Propício a erros
3. Entediante
4. Baixo valor acrescentado
5. 66% do tempo é passado nestas tarefas
6. …..

5. | 5 |
Top Trends in Data and Analytics for 2021: Data Fabric Is the Foundation
Integração de dados (49%) e preparação de dados
(37%) estão no top três das tecnologias que as
organizações querem automatizar até ao final de 2022.

6. | 6 |
O Passado
Data Warehouse Data Lake
Criado em 1992 Criado em 2008

7. | 7 |
Albert Einstein
Não podemos resolver os nossos
problemas de hoje com as mesmas
ideias que usávamos quando eles
foram criados.

8. | 8 |
O Futuro
Data Lake Virtual Data
Criado em 1992
Criado em 2008

9. | 9 |
Gartner Data Virtualization Market Guide, Dec 2018
Até 2022, 60% de todas as organizações implementarão a
virtualização de dados como uma componente
fundamental na sua arquitetura de integração de dados.

10. | 10 |
Capacidades essenciais da Virtualização de Dados
• Abstração de Dados: Desacoplando
aplicações/utilização dos dados das
fontes de dados
• Integração de Dados sem replicação
ou relocalização de dados físicos
• Fácil acesso a qualquer dado, em
tempo real, no momento certo com
alto rendimento
• Catálogo de Dados para fácil
descoberta em modo self-service
de serviços de dados
• Metadados unificados, segurança
& governança sobre todos os
dados, suportando o RGPD
• Partilha de Dados em qualquer
formato, com mecanismos
inteligentes de otimização de
pesquisa, aprofundando as
funcionalidade das plataformas
novas e existentes
Uma camada lógica de dados – um “tecido de dados” – que fornece alta-performance, em tempo real
e de acesso seguro à integração das vistas de negócio sobre dados empresariais distribuídos

11. | 11 |
2 tendências em arquiteturas modernas de dados
Tendências
Virtual Data
Fabric
Virtual Data
Mesh
Data
Virtualization
Platform
Tecnologia

12. | 12 |
Virtual Data Fabric

13. | 13 |
How to Get more from Your Data in 2020, Jan 2020
Uma arquitetura data fabric é projetada para consumir
dados históricos e atuais, dispersos em vários silos para
produzir uma visão única dos dados que faça sentido
para o negócio.

14. | 14 |
Virtual Data Fabric
Virtual Data Fabric
Data
Science
Machine
Learning
Inteligência
Artificial
Aplicativos
Móveis
Análises
Preditivas
Business
Intelligence
Relational NoSQL Desestruturado Docs Nuvem Sensores IoT
Dados Unificados Segurança
Camada de abstração
Acesso Universal
Auto-serviço
Catálogo de Dados

15. | 15 |
Virtual Data Mesh

16. | 16 |
Should Your Application Consider Data Mesh Connectivity? May 2020
… data mesh permite que as fontes de dados
permaneçam distribuídas e controladas por
diferentes organizações, mas acessíveis a uma
aplicação centralizada.

17. | 17 |
Virtual Data Mesh
Virtual Data Mesh Auto-serviço
Catálogo de Dados
Data Domains
Data
Science
Machine
Learning
Inteligência
Artificial
Aplicativos
Móveis
Análises
Preditivas
Business
Intelligence
Dados Unificados Segurança
Camada de abstração
Acesso Universal

18. | 18 |
A Clear Multicloud Strategy Delivers Business Value, Apr 2018
CIOs enfrentam o desafio de Multi-Nuvem e de
desenvolver uma estratégia eficaz para entender e
gerir a mistura de recursos em nuvem sobre os quais
os seus negócios dependem.

19. | 19 |
Multi-Cloud Challenges
On-prem
Data Center

20. | 20 |
Multi-Cloud Data Mesh
Multi Cloud Data Mesh Auto-serviço
Catálogo de Dados
Dados on
Premisse
Data
Science
Machine
Learning
Inteligência
Artificial
Aplicativos
Móveis
Análises
Preditivas
Business
Intelligence
Dados Unificados Segurança
Camada de abstração
Acesso Universal
Dados em
Nuvem
Dados em
Nuvem
Dados em
Nuvem

21. | 21 |
Logical Data Fabric
Logical Data Fabric
Data
Science
Machine
Learning
Artificial
Intelligence
Mobile
Applications
Predictive
Analytics
Business
Intelligence
Unified Data Security
Abstraction Layer
Universal Access
Oracle Cloudera
Snowflake Webservice
$

22. | 22 |
Benefícios
1. Integrar dados de diferentes sistemas fonte sem os mover
2. Uma “linguagem” única de agregação de dados
3. Acesso aos dados em tempo real
4. Transformar dados a pedido
5. Partilha de especificações
6. Ter dados em cache se for necessário
7. Usar os benefícios dos metadados
8. Mais tempo para a componente analítica

23. Problema Solução Resultados
Case Study
| 23 |
A DNB utiliza a plataforma Denodo para criar um
laboratório de Data Science na núvem
▪ Não possuir um laboratório de Data Science escalável
para laborar em casos de uso suportados por anallitica
avançada, tal como preço personalizado, recomendação
de produtos otimizada, etc.
▪ Os Data Scientists ocupavam demasiado tempo em
tarefas de preparação de dados o que lhes deixava pouco
tempo para a criação de modelos.
▪ A DNB tentava há algum tempo, sem grande sucesso,
arquitetar a plataforma adequada que pudesse obter
dados de várias fontes, incluindo, múltiplas data
warehouses, bases de dados transacionais, data lakes ,
etc e que de uma forma simplificada pudesse ajudar nas
iniciativas de Data Science.
• A solução Denodo atuou como um aglutinador que
conectou em tempo real as várias fontes de dados
da DNB’s, incluindo os seus data warehouses on-
prem, os data lakes na AWS que guardam os dados
transacionais e uma instância Cloudera que suporta
a solução de ClickStreaming.
• O catálogo de dados da Denodo geriu e facilitou o
acesso aos metadados, o que permitiu aos Data
Scientists rapidamente pesquisar os dados e
descobrir os data sets disponíveis.
• A plataforma Denodo permitiu a equipa de Data
Science da DNB focar-se na sua área fundamental de
atividade - criação de modelos - no lugar de tarefas
de preparação de dados.
• A plataforma Denodo funcionou como um
agregador que interligou as mais variadas fontes de
dados, sejam on-prem ou na nuvem, e tornou
possível e fácil para a DNB desenvolver
eficientemente as suas atividades de analítica
avançada.
DNB ASA é o maior grupo financeiro Norueguês combinando bens de mais de 1.9 triliões (NOK) e
com uma capitalização de mercado de 185 biliões (USD) (2016). Os escritórios principais da DNB’s
estão localizados em Oslo.

24. | 24 |
Gestão de Dados
Liderança

25. | 25 |
YOUR DATA …… OUR PASSION !
A Keyrus
25 3.200+ 261M 21 50+ 5.000+
anos
de experiência
pessoas EUR
2020
paises
diferentes
nacionalidades clientes
MAKING DATA MATTER
Keyrus é uma empresa de consultoria especialista
em analytics e transformação digital focada em
ajudá-lo a tirar o máximo partido dos seus dados
ENTREGAMOS SOLUÇÕES
Para fazer evoluir o seu negócio transformando dados
em insights e valor.

26. Obrigado!
João Caldeira
joao.caldeira@keyrus.com
Se quiser ver uma demo ou saber mais sobre a
virtualização de dados, todos os benefícios e como
melhorar o seu negócio, visite-nos no nosso stand virtual.
Até breve!