Breve panoramica sui Big Data, per chi ne ha solo sentito parlare ma non sa bene cosa siano.
La presentazione non è pensata per un pubblico tecnico e segue questa agenda:
1. definizione di Big Data delle 3 V
2. esempi di progetti realmente effettuati
3. tecnologie
4. riflessioni varie
How to plan a successful Digital Signage Campaign in 5 steps
Big Data - Breve panoramica
1. COSA SONO I BIG DATA?
Luca Naso
3 novembre 2018 @ Acadevmy
2. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
AGENDA
1 COSA SONO I BIG DATA?
2 PROGETTI BIG DATA
3 TECNOLOGIE
4 BONUS
3. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
AGENDA
1 COSA SONO I BIG DATA?
Google Trends
Definizione
2 PROGETTI BIG DATA
3 TECNOLOGIE
4 BONUS
4. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
GOOGLE TRENDS
Google Trends (trends.google.it/trends) riporta quante volte è stata cercata una
certa keyword, in una certa nazione ed in un certo periodo di tempo.
E’ un modo di misurare l’interesse diffuso della società.
Ad esempio, se cercassimo "Facebook" cosa vi aspettate di trovare?
5. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
FACEBOOK TRENDS
6. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
IPHONE 8 VS IPHONE 5
7. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
BUSINESS INTELLIGENCE
8. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
QUANDO SONO NATI I BIG DATA?
9. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
1 COSA SONO I BIG DATA?
Google Trends
Definizione
2 PROGETTI BIG DATA
3 TECNOLOGIE
4 BONUS
10. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
DEFINIZIONE
Big Data secondo l’Oxford Dictionary:
big data n. Computing (also with capital initials) data of a very large size,
typically to the extent that its manipulation and management present significant
logistical challenges; (also) the branch of computing involving such data.
11. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
DEFINIZIONE
Big Data secondo Gartner:
Big data is high-volume, high-velocity and high-variety information assets that
demand cost-effective, innovative forms of information processing for
enhanced insight and decision making.
Da qui sono nate le famose 3 V dei Big Data:
Volume Velocità Varietà
12. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
QUANTI DATI CI SONO OGGI (2013)?
13. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
VOLUME
2.5 Exabytes di dati creati ogni giorno
Facebook: 200 PB di dati nel 2012, (+ 0.5 PB ogni giorno)
In 3 anni il CERN ha raccolto 75 PB di data (LHC)
La maggior parte delle aziende USA ha 100 TB di dati
1 EB = 1000 PB = 10002 TB = 10003 GB
14. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
VELOCITÀ
“Velocità” ha due possibili interpre-
tazioni:
1 Generazione dei dati
2 Elaborazione dei dati
15. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
COSA SUCCEDE SU INTERNET IN 1 MINUTO?
16. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
VARIETÀ
Si referisce alla natura dei dati. Ce ne sono di 3 tipi:
1 Strutturati
2 Semi-Strutturati
3 Non-Strutturati
Tutti possono essere Big Data.
La principale novità sono quelli non-strutturati.
17. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
DATI STRUTTURATI
1 Dati in campi fissi all’interno di record (fogli di calcolo, Database
Relazionali)
18. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
DATI NON-STRUTTURATI
2 Data conservati senza alcun modello, o che non hanno alcuna
organizzazione (tetso libero)
19. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
DATI SEMI-STRUTTURATI
3 XML, JSON, CSV (Testo con colonne, con un separatore, con dei tag)
20. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
1 COSA SONO I BIG DATA?
2 PROGETTI BIG DATA
Due progetti
3 TECNOLOGIE
4 BONUS
21.
22. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
PREVENZIONE INCENDI A NEW YORK
Problema: squilibrio tra richiesta e disponibilità
Troppe chiamate (25k l’anno)
Troppo pochi ispettori (200)
Non si riescono a gestire tutte le chiamate
Come scegliere dove mandare gli ispettori?
23. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
PREVENZIONE INCENDI A NEW YORK
Soluzione
1 Raccolta di quante più informazioni possibile sugli edifici (tasso di
criminalità, chiamate al pronto soccorso, utilizzo di corrente, acqua, gas,
regolarità nei pagamenti, ...)
2 Confronto con lo storico degli incendi dei medesimi edifici, alla ricerca di
correlazioni (tra il punto 1 e gli incendi)
3 Previsione di rischio (stima la probabilità di incendio) per ogni nuova
chiamata
24. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
PREVENZIONE INCENDI A NEW YORK
Risultati
L’efficienza degli ispettori è aumentata dal 13% al 70%
Il confronto con lo storico ha mostrato che:
tipo di edificio ed anno di costruzione influenza il rischio d’incendio
aver un permesso per lavori di muratura esterni correla con minori rischi
25.
26. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
PREVISIONE IN TEMPO REALE PER LE EPIDEMIE
I metodi tradizionali sono troppo lenti (~2 settimane). Per questo Google ha
sviluppato un metodo molto alternativo.
Ogni giorno, milioni di utenti nel mondo si informano online riguardo la loro
salute.
E’ quindi naturale aspettarsi che durante la stagione invernale si cerchino più
termini relativi all’influenza.
27. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
PREVISIONE IN TEMPO REALE PER LE EPIDEMIE
Soluzione
1 Raccolta delle ricerche effettuate su Google sulle top 50M keyword
2 Confronto con i dati storici (2003-2008), raccolti dalle Autorità Sanitarie
(CDC negli US), alla ricerca di correlazioni tra il numero di malati e le
keywords
3 Previsione del numero di malati sulla base delle ricerche effettuate nel
giorno stesso
28. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
PREVISIONE IN TEMPO REALE PER LE EPIDEMIE
Risultati
Tra le 50M di keywords analizzate 45 correlano bene con i dati
La correlazione è sia temporale, che spaziale (diverse nazioni coinvolte)
Il lavoro è stato pubblicato su Nature nel 2009
Le previsioni fatte in questo modo sono state più accurate fino al 50%
[Royal Society Open Science, 2014]
29. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
RISULTATI
Google Flu Trend GFT Project: www.google.org/flutrends/
Esempio della potenza e del fallimento dei Big Data
30. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
E MOLTI ALTRI ANCORA
Finanza
Retail
Telecomunicazioni
Energia
Sport
Automotive
Pubblicità
Sanità
Sicurezza
Politica
Formula 1
Giochi Online
Social Media
Scienza
. . .
31. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
1 COSA SONO I BIG DATA?
2 PROGETTI BIG DATA
3 TECNOLOGIE
Calcolo parallelo
Ecosistema Hadoop
4 BONUS
32. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
FACCIAMO UN TEST!
33. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
COSA È IL CALCOLO PARALLELO?
Un nuovo modo di risolvere problemi esistenti.
Suddivisione del problema iniziale in parti independenti
Molti “lavoratori” da assegnare a ciascuna delle parti:
tutte le parti vengono risolte contemporaneamente, e non una dopo l’altra
Un “master” che gestisca e coordini il lavoro di tutti come un unico
processo
34. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
CALCOLO PARALLELO - SCHEMA
35. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
SOLUZIONE SERIALE - UNA LUNGA CODA
36. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
SOLUZIONE PARALLELA - MOLTE CODE CORTE
37. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
1 COSA SONO I BIG DATA?
2 PROGETTI BIG DATA
3 TECNOLOGIE
Calcolo parallelo
Ecosistema Hadoop
4 BONUS
38. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
STRUMENTI BIG DATA
Il calcolo parallelo consente di analizzare grandi moli di dati e in tempi
ragionevoli. La prima tecnologia ad usare questo sistema era fatta da Hadoop
+ MapReduce.
Hadoop rappresenta il cluster di computer (lavoratore = computer);
MapReduce rappresenta l’algoritmo di parallellizazione del lavoro
(distribuisce il lavoro ed esegue su ciascun computer).
39. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
HADOOP - DEFINIZIONE
Hadoop è un framework software open-source (Apache)
per storage distribuito e processing distribuito
di Big Data su cluster di hardware di base (economico).
40. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
ECOSISTEMA HADOOP
A partire dal 2012, il ter-
mine "Hadoop" si riferisce
all’"Ecosistema Hadoop".
Include tutto il software
addizionale che può essere
installato ed utilizzato su
Hadoop.
Sono coinvolte migliaia di aziende, tra loro connesse.
41.
42. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
ALCUNI STRUMENTI DELL’ECOSISTEMA
43. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
SERVONO VERAMENTE TUTTI?
Una ricerca del 2014 di O’Reilly mostra che:
esistono più di 300 strumenti per lavorare con Big Data
la maggior parte dei professionisti ne usa tra 6 e 10
i più pagati ne usano più di 20
gli stumenti più comuni sono: SQL, Excel, R, Python
44. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
BIG DATA VS BUSINESS INTELLIGENCE VS HADOOP
45. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
1 COSA SONO I BIG DATA?
2 PROGETTI BIG DATA
3 TECNOLOGIE
4 BONUS
Riflessioni e nuovi lavori
46. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
PERCHÈ ADESSO?
Per 4 motivi, tutti interconessi:
1 Nuove tecnologie (Hadoop, MapReduce, NoSQL, . . . )
2 Nuove conoscenze (Machine Learning, Data Science, . . . )
3 Le aziende stanno investendo davvero tante risorse (soldi, tempo,
persone)
4 Si sta diffondendo una cultura dei dati (data-driven business)
47. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
NUOVI PARADIGMI
I Big Data richiedono implicitamente 3 cambi di paradigma:
1 da “alcuni” a “tutti”
2 dall’ “ordinato” al “disordinato”
3 dalla “causazione” alla
“correlazione”
1 campione -> popolazione
2 alta qualità -> bassa qualità
3 perchè? -> cosa?
Attenzione al punto 3: il rapporto di causa ed effetto va sempre considerato!
Altrimenti . . .
48. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
UNA FORTE CORRELAZIONE?
49.
50. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
IL NUOVO LAVORO: “DATA SCIENTIST”
McKinsey: “By 2018, US alone shortage of 140k to 190k people with deep
analytical skills as well as 1.5 million managers and analysts with the
know-how to use the analysis of big data to make effective decisions.”
51. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
COMPETENZE MULTIDISCIPLINARI
McKinsey stima per il settore IT la creazione di 4.4 milioni di posti di lavoro in
tutto il mondo (2015). I più ricercati tra questi saranno sicuramente i Data
Scientist.
I Data Scientist devono avere molte qualità, provenienti da 3 grandi macro
aree:
1 Matematica e Statistica
2 Tecnologia e Programmazione
3 Comunicazione e Business
52. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
RIEPILOGO
1 COSA SONO I BIG DATA?
Google Trends
Definizione
2 PROGETTI BIG DATA
Due progetti
3 TECNOLOGIE
Calcolo parallelo
Ecosistema Hadoop
4 BONUS
Riflessioni e nuovi lavori
53. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
4 PUNTI DA RICORDARE
1 Le 3 V dei Big Data:
Volume, Velocità, Varietà
2 Caratteristiche dei progetti Big Data:
Raccogliere, Analizzare (correlazioni), Utilizzare (previsioni)
3 Calcolo parallelo ed ecosistema Hadoop
4 Cambi di pardigma e multidisciplinarietà
54. COSA SONO I
BIG DATA?
LUCA NASO
COSA SONO I
BIG DATA?
GOOGLE TRENDS
DEFINIZIONE
PROGETTI BIG
DATA
DUE PROGETTI
TECNOLOGIE
CALCOLO PARALLELO
ECOSISTEMA
HADOOP
BONUS
RIFLESSIONI E NUOVI
LAVORI
SAPERNE DI PIÙ SUI BIG DATA
www.facebook.com/bigdata4you/