1. 1
1
Transformer 4 millions
d’articles en un système
d’information
FREDERIC
KAPLAN
DIGITAL
HUMANITIES
LABORATORY
!
!
En partenariat avec
Le Temps
La Bibliothèque nationale suisse

2. 2
4 millions d’articles
200 ans d’information
!
Le Journal de Genève (1826 > 1998)
550 000 pages / 2 000 000 articles
La Gazette de Lausanne (1798 > )
450 000 pages / 1 700 000 articles
Le Nouveau Quotidien (1991 > 1998)
50 000 pages / 200 000 article

3. 3
Que peut-on
apprendre d’un tel
corpus ?

9. 9
Nous souhaitons
transformer ce corpus
de texte en un système
d’information.

10. 10
Un projet qui
s’étale sur presque
dix ans.

11. 11
2005 : Etude sur la
numérisation par la
Bibliothèque
nationale suisse

12. 12
2006 : Projet pilote de
numérisation du « Journal de
Genève » accepté par la BN
en collaboration avec la
Bibliothèque de Genève et Le
Temps.

13. 13
2008 : Mise en
ligne annoncée au
Salon du Livre de
Genève.

14. 14
2008-2009 :
Numérisation de la
“Gazette de Lausanne”
et “Nouveau Quotidien”

15. 15
Mise en ligne d’un
moteur de recherche
permet la recherche
“plein texte” dans
l’ensemble du corpus.

16. 16
2009 : Numérisation de
l’Express et de l’ Impartial, en
collaboration avec la BN, la
bibliothèque cantonale de
Neuchâtel et la bibliothèque de
la ville de la Chaux de Fonds.

17. 17
2009 : Puis, numérisation du
« Confédéré" (Martigny) et du
« Nouvelliste" et "Feuille
d’avis du Valais », en
collaboration avec la
"Médiathèque Valais ».

18. 18
2011 : L’EPFL participe à la
redaction d’un projet de
recherche nationale sur les
“Humanités digitales”. Le corpus
des trois journaux numérisés est
identifiés comme un des plus
intéressant à exploiter.

19. 19
2011 : Numérisation par la
BCU et Edipresse de la
« Feuille d’avis de Lausanne/
24heures » et « La Tribune de
Lausanne/Le Matin »

20. 20
2012 : Avant même, la création
du laboratoire d’humanités
digitales, rencontre avec le
Temps pour la mise en place
d’un projet de recherche
collaboratif sur ce corpus.

21. 21
2012 : Signature
d’un convention de
recherche entre
l’EPFL et le Temps.

22. 22
2013 : Mise en place
d’un comité
scientifique regroupant
historiens et
journalistes.

23. 23
Alain Clavien, Université de Fribourg
Marie-Christine Doffey, BN
Frédéric Koller, Le Temps
Joëlle Kuntz, Le Temps
Enrico Natale, infoclio.ch
François Vallotton, Université de Lausanne

24. 24
2014 : Soutien
financier la
Bibliothèque
Nationale au Projet.

25. 25
2014 : Lancement d’une
nouvelle indexation du
corpus en utilisant une
approche “Big data”.

26. 26
2014 : Mise en ligne
d’un “n-gram viewer”
pour le corpus du
“Journal de Genève”.

27. 27
2014 : Extension sur
les autres corpus
et analyses
comparatives

28. 28
2015 : Indexation
sémantique du corpus. Mise
en ligne d’un “Facebook” du
passé à partir des données
extraites.

29. 29
Avec ce corpus en
extension, la Suisse a
un outil stratégique
précieux, unique en
Europe.

30. 30
1 million de pages

31. 31
Comment se
représenter un tel
corpus de
documents ?

32. 32
Mis bout à bout :
Plusieurs
centaines de kms
de documents

33. 33
1 milliard de mots

34. 34
Un “mégatexte”

35. 35
L’archive complète
occupe 21 Terabytes.

36. 36
1 kilo
1 page de texte

37. 37
1 mega
500 pages 1 photo

38. 38
1 giga
1 heure de video

39. 39
1 tera
Toute les
conversation
d’une vie en
mp3
500 h
video
Texte d’un
million de
livres
Notre archive

40. 40
1 peta
Archives du Net en 2012
Données produites
chaque année par le
LHC au CERN

41. 41
Un journal est un
média structuré.
Sa structure évolue
au cours du temps

42. 42
Comment évolue le
nombre d’article
par an sur 200
ans ?

43. 43
Le
nombre
d’ar?cles
par
année
croit
linéairement
en
fonc?on
du
temps.
!"!!!!!!
!5'000!!!!
!10'000!!!!
!15'000!!!!
!20'000!!!!
!25'000!!!!
!30'000!!!!
!35'000!!!!
!40'000!!!!
!45'000!!!!
!50'000!!!!
1800! 1820! 1840! 1860! 1880! 1900! 1920! 1940! 1960! 1980! 2000! 2020!

44. 44
Le
nombre
de
caractères
par
année
se
stabilise
à
la
fin
du
XIXe
siècle
puis
recommence
à
croitre
dans
les
années
1960.
!"!!!!!!
!20000'000!!!!
!40000'000!!!!
!60000'000!!!!
!80000'000!!!!
!100000'000!!!!
!120000'000!!!!
1800! 1820! 1840! 1860! 1880! 1900! 1920! 1940! 1960! 1980! 2000! 2020!

45. 45
La
taille
des
ar?cles
oscille.
0"
100"
200"
300"
400"
500"
600"
700"
1800" 1820" 1840" 1860" 1880" 1900" 1920" 1940" 1960" 1980" 2000" 2020"

46. 46
Analyse des
distributions
temporelles de
séquences de mots
(n-grammes)

47. 47

48. 48

49. 49
n-­‐gramme
:
sequence
de
n
mots
consécu?fs.

50. 50
Nous
sommes
en
train
d’indexer
l’ensemble
du
corpus
jusqu’à
n=9.

51. 51
Nous
avons
en
par?culier
déjà
générer
un
milliard
de
courbes
correspondant
au
1-­‐gramme
du
journal
de
Genève.

52. 52

53. 53

54. 54
Fonda?on
du
club
en
1890

55. 55
Un
corpus
comme
le
notre
est
différent
de
celui
Google
Books
dans
la
mesure
où
il
caractérise
un
média
spécifique
avec
ses
caractéris?ques
par?culières.

56. 56
En
étudiant
ce
corpus
nous
pouvons
non
seulement
étudier
l’évolu?on
culturelle
mais
aussi
l’évolu?on
du
média
lui-­‐même.

57. 57
En
comparant
systéma?quement
comment
deux
medias
rendent
compte
des
évènements
du
monde
nous
pourrons
tenter
de
caractériser
finement
leur
biais.

58. 58
“Champ
attentionnel”
d’un média

59. 59
Attention
temporelle

60. 60

61. 61
différents
régimes
de
stabilisa?on

62. 62

63. 63

64. 64

65. 65
Attention spatiale

66. 66

67. 67
Point
de
bascule

68. 68
Equivalence
a`en?onnelle

69. 69

70. 70

71. 71

72. 72
Un
prototype
est
en
ligne
h`p://jdg.dhlab.ch/

73. 73
Ex :
Trouver un mot qui
génère un pic.

74. 74
pic
a`en?onnel

75. 75

76. 76
pic
de
découverte
stabilisa?on

77. 77
pic
des
piccard

78. 78
Ex :
Trouver un mot qui
génère un peigne.

79. 79

80. 80
Ex :
Trouver un mot qui
croit dans le temps.

81. 81

82. 82

83. 83

84. 84

85. 85

86. 86

87. 87
Ex :
Trouver un mot qui
décroit dans le
temps.

88. 88

89. 89

90. 90

91. 91
Ex :
Trouver un mot qui
fait une colline

92. 92

93. 93
Ex :
Trouver un mot qui
fait deux collines

94. 94

95. 95
Ex :
Trouver deux courbes
qui se rejoignent en
une seule.

96. 96

97. 97

98. 98

99. 99

100. 100
Ex :
Trouver un mot qui
remplace un autre.

101. 101

102. 102
Ex :
Quelle est la
courbe du mot
voiture ?

103. 103

104. 104
Ex :
Les Beatles sont-ils
plus célèbres que
le Christ ?

105. 105

106. 106
Ex :
Qui l’emporte le
bien ou le mal ?

107. 107

108. 108
Ex :
Qui l’emporte le
haut ou le bas ?

109. 109

110. 110
Ex :
Qui l’emporte le
chien ou le chat ?

111. 111

112. 112
Ex :
Qui l’emporte la
musique, la peinture
ou la littérature ?

113. 113

114. 114
Ex :
Qui l’emporte
Mozart, Debussy ou
Vivaldi ?

115. 115

116. 116
Ex :
Qui l’emporte le
rouge, le bleu ou le
jaune ?

117. 117

118. 118
Ex :
Qui l’emporte le 1,
le 10 ou le 100 ?

119. 119

120. 120
Ex :
Qui l’emporte le
100, le 1000 ou le
10000 ?

121. 121

122. 122
Ex :
Est-ce que cela
marche si les nombres
sont écrits en lettres ?

123. 123

124. 124
Ex :
Qui l’emporte entre
le million ou le
milliard ?

125. 125

126. 126
Richesse et
l’importance
stratégique de ce
corpus de presse.

127. 127
Potentiel de l’analyse
comparative avec les
autres corpus
numérisés.

128. 128
La prochaine étape
est l’indexation
sémantique

129. 129

130. 130

131. 131

132. 132
Une
nouvelle
manière
de
classifier
et
de
naviguer
au
sein
des
ar?cles.

133. 133
La
possibilité
de
construire
un
“Facebook”
du
passé.

134. 134
Rendez-­‐vous
dans
un
an.

135. 135
125
dhlab.epfl.ch
!
frederic.kaplan@epfl.ch
@frederickaplan