Olomouc, 17. 4. 2012

2. Digital humanities a
změna paradigmatu
Josef Šlerka, SNM FF UK, Ataxo Interactive
Olomouc, 17. 4. 2012

3. Overtura
Normalized Compression Distance

4. NCD
function ncd ($x, $y) {
$cx = strlen(gzcompress($x));
$cy = strlen(gzcompress($y));
return (strlen(gzcompress($x . $y)) -
min($cx, $cy)) / max($cx, $cy);
}

8. Paradigma
Paradigma (je) souhrn základních domněnek,
předpokladů, představ dané skupiny vědců.
Ke každému paradigmatu patří i metodická
pravidla řešení, intuitivní postoje a hodnocení
problémů. Proměna vědeckého paradigmatu
se děje zvraty (tzv. vědeckými revolucemi).
(Wikipedia)

9. Čtyři paradigmata
empirický - založený na pozorování přírody
teoretický - vytváří modely, generalizuje
komputační - simulace komplexních systémů
datový - založený na analýze dat

10. Data: naivně viděno
vyjádření skutečností formálním způsobem tak, aby je
bylo možno přenášet nebo zpracovat (např. počítačem)
číselné nebo jiné symbolicky vyjádřené (reprezentované)
údaje a hodnoty nějakých entit nebo událostí
jakékoliv fyzicky (materiálně) zaznamenané znalosti
(vědomosti), poznatky, zkušenosti nebo výsledky
pozorování procesů, projevů, činností a prvků reálného
světa (reality)
Wikipedia

11. Změna paradigmatu
data-driven vs. knowledge-drive
komputační metody vs. modelování
skutečnosti
Peter Norvig vs Noam Chomsky

12. Digital Humanities
The digital humanities is an area of study,
research, teaching, and invention concerned
with the intersection of computing and the
disciplines of the humanities. Sometimes
called humanities computing, the field has
focused on the digitization and analysis of
materials related to the traditional disciplines
of the humanities.

13. Digital Humanities
první vlna: nástup korpusů, sofistikované
prohledávání etc.
druhá vlna: experimentování
třetí vlna: “computational turn”

14. Zdroje dat
Analogový (v počátcích, ale pro uni důležitý)
Digitální (velmi, velmi pokročilý díky internetu)

15. Analogový svět
nutné transformovat
představitelnější pro běžné akademiky
ve světě již hutně zastoupený
u nás pořád bída
zajímavé výsledky

16. Příklady
distant reading
cultural analysis
social network analysis

17. Distant reading
Franco Moretti
close reading vs distant reading
literaturu je třeba zkoumat jako živočišné
druhy
odmítnutí close readingu jako sekularizované
podoby čtení Bible

18. Analýza pohlaví

20. Cultural analysis
Lev Manovich
analýza a vizualizace velkých, převážně
vizuálních korpusů
hledání patternů

21. Impressionisté

22. SNA v politologie
data mining politických akcí
vzorové studie jsou z oblati společných
hlasování

23. Pražský magistrát
analýza hlasování za tři volební období
vazba existuje při 75% shodných hlasování
ukazuje skutečné hlasovací jádro
ukazuje vazby napříč stranami
inspirace americkým experimentem

24. 1998 - 2002

25. 2002 - 2006

26. 2006 - 2010

27. Digitální svět
vešekerá produkce na internetu
záznamy z digitálních zařízení
demokratizace velkých dat
demokratizace technologii

28. Co jsou to Big Data?
Big Data is a term applied to data sets whose
size is beyond the ability of commonly used
software tools to capture, manage, and
process the data within a tolerable elapsed
time. Big data sizes are a constantly moving
target currently ranging from a few dozen
terabytes to many petabytes of data in a
single data set.

29. Co je Data Science?
A data application acquires its value from the
data itself, and creates more data as a result.
It's not just an application with data; it's a
data product. Data science enables the
creation of data products.

30. Sexy job?
“Datový vědec je statistiky žijící v San
Franciscu...” (source: Twitter)
“I keep saying that the sexy job in the next 10
years will be statisticians...”
Hal Varian, chief economist at Google.

31. Data Science

32. 3 000 000 000
počet hledání na Googlu denně

33. 30 000 000 000
počet zpráv a příspěvků na Facebooku měsíčně

34. 5 000 000 000
mobilních telefonů po celém světě

35. 140 000 000
průměrný počet zpráv poslaných denně na Twitteru

36. 1 000 000
počet denně vygenerovných zpráv na českém Facebooku v
otevřených profilech

37. 600 dolarů
cena disku na který se vejde veškerá hudba na světě v MP3

38. 100 dolarů
cena hodiny provozu klastru 10 počítačů na Amazonu

39. 0 dolarů
cena open-source softwarů, jako je Hadoop,
Lucene,Cassandra, CouchDB, Elastich Search a dalších

40. Big Social Data
deep data vs. surface data
data-driven sociální a humanitní vědy
Lev Manovich: The Promises and the
Challenges of Big Social Data

41. Big (Social) Data
případové studie

42. Search Engine Based
normalized Google distance
Google Insight
search suggestion

43. Google distance
počítá se sémantická vzdálenost
autory jsou Rudi Cilibrasi a Paul M. B.
Vitanyi
podobné věci sdílí stejné vlastnosti
dvě reprezentace jsou si tím podobnější, čím
méně složitých změn je třeba k převodu jedné
v druhou

44. NGD je vyjádřená vzorcem:
m = log10(počet všech indexovaných
stránek);
fx = log10(počet výsledků pro slovo X);
fy = log10(počet výsledků pro slovo X);
fxy = log10(očet výsledků pro slovo X a Y);
GND = ((max(fx,fy) - fxy) / (m - min(fx,fy))

45. http://www.mechanicalcinderella.com/

46. Dovolené podle jazyka

47. Search jako signál
Hyunyoung Choi, Hal Varia:
Predicting the Present with Google Trends

49. Jak je to možné?
Život je hledání... (taky)
a dříve než se rozhodneme, hledáme...(taky)

51. Google Insight
statistiky vyhledávání na Google
využitelné pro predikci nezaměstnanosti
zajímavé výsledky pro vztahy slov

52. Google a zaměstnanost

54. Google Insight

55. Google suggestion

56. Google suggestion

57. Báječný svět API
Twitter
Facebook
Foursquare
OpenSubtitles

58. ... korupsy u nohou
Twitter
Facebook
Foursquare
OpenSubtitles

60. Wikipedia
více jak 500.000 kategorií
více jak 5.500.000 entit
pojmová síť

61. Sémantický analyzér
Text je systém, ve kterém jsou souvislosti mezi
větami dány i tím, že pojmy, které se v textu
vyskytují, náleží ke společnému tématu.
Správné určení tématu (témat) textu je
shodné s nalezením nejvyššího společného
slovníku pro co největší část použitých
termínů.

62. Ukázkový text...
TEHRAN — Thirty-six years after construction began under the shah, Iran finally
opened its first nuclear power plant at a ceremony on Saturday.
Attended by senior officials from Iran and Russia, the ceremony marked the
beginning of the transfer of low-enriched uranium fuel rods from a storage site
into the plant.
Officials of both countries said Saturday’s events signified the opening, not the
startup, of the plant near Bushehr, in southern Iran, as a working nuclear plant.
“This is a special day for both Russian and Iranian specialists,” the chief of
Russia’s Rosatom state nuclear power company, Sergei Kiriyenko, said, shaking
hands and smiling with his Iranian counterparts, in television reports broadcast
in Russia, which helped build the station through years of concern by the West
that Iran was using its civilian program to mask a plan to build a bomb....

63. Výsledek: kategorie
Energy
Nuclear technology
International relations
Chemistry
Countries

64. Výsledek: slova
russia
iran
uranium
nuclear power
nuclear power plant
fuel

65. Další studie...
prediktivní analýza pomocí velkých dat v praxi

66. Twitter a burza

67. Mobily a cholera

68. Facebook a filmy
zmínky o Inception na českém Facebooku 2010 a divácký ohlas

69. Facebook a filmy
Harry Potter na českém Facebooku 2010 a divácký ohlas

70. Facebook a filmy
Harry Potter na českém Facebooku 2010 a divácký ohlas

71. Indexy sociální akce Realita logy mobilů
Instagram
recenze 4SQ 4SQ check-in
Reakce Akce
statusy na Twitteu
FB komentáře FB statusy
FB likes členství ve FB skupinách
Virtualita

72. Co dál?
Změnit imaginaci! A dát si pozor na intelektuální pasti.

73. Na co si dát pozor?
The lure of objectivity
The power of visual evidence
Black-boxing
Institutional perturbations
The quest for universalism
(Rieder, Rohle: Digital Methods)

74. Děkuji za pozornost!
Čas na otázky, čas na odpovědi:-)
mail: josef.slerka@gmail.com
twitter: twitter.com/josefslerka