Mis slides para la presentación en Spring I/O Madrid 2011 sobre Hadoop, Cloud y Spring

1. Hadoop, Cloud y Spring Miguel Ángel Pastor Olivar

3. Arquitectura básica de Hadoop

4. Una visión general de Map/Reduce

5. Ejemplos de aplicación

6. Hadoop y cloud: combinación perfecta

7. Incorporando Spring

8. Proyectos relacionados

9. ¿Qué es Hadoop ?

11. Google papers: GFS y Map/Reduce framework (2004)

12. Adoptan los papers anteriores en Nutch

13. Yahoo! contrata a Doug Cutting (Enero 2006)

16. Robusto

17. Escalable

20. ¿Por qué distribuido? Ley de Moore

22. Distribución de datos

23. “ Movimiento ” de los programas Proceso de Mapping Proceso de Reduce Proceso de Mapping Proceso de Mapping Proceso de Reduce Proceso de Reduce

24. Otros enfoques: RDBMS RDBMS MapReduce Tamaño Datos Gigabytes Petabytes Acceso Batch e interactivo Batch Actualizaciones (R/W)* W1/R* Estructura Estático Dinámico Integridad Alto Bajo Escalado Scale-up Scale-out Programación Declarativa Funcional

26. Sistema de archivos compartido ( SAN )

27. Intensivo en computación

28. Messaging Passing Interface (MPI) : bajo nivel

30. Donación de tiempo de CPU inactivo

31. Intensivo en CPU

32. Modelo de transmisión de datos

33. Componentes de Hadoop

36. Una escritura y múltiples lecturas

38. Muchos archivos pequeños

39. Múltiples escritores ni en posiciones arbitrarias

44. Añadir archivo: hadoop dfs -put file HdfsPath

45. Eliminar: hadoop dfs -rmr HdfsPath

46. Recuperar un archivo: hadoop dfs -get HdfsPath

47. Otros sistemas de archivos Filesystem URI Implementación Local file fs.LocalFileSystem HDFS hdfs hdfs.DistributedFileSystem HFTP hftp hdfs.HftpFileSystem HSFTP hsftp hdfs.HsftpFileSystem HAR har fs.HarFileSystem KFS kfs fs.kfs.KosmosFileSystem FTP ftp fs.ftp.FTPFileSystem S3 (nativo) s3n fs.s3native.NativeS3FileSystem S3 (bloques) s3 fs.s3.S3FileSystem

48. Map/Reduce

52. Flujo de información Datos locales (previamente cargados) Datos intermedios de los mappers (ordenados) Intercambio (aleatorio) de valores Generación de la salida Proceso de Mapping Proceso de Reduce Proceso de Mapping Proceso de Mapping Proceso de Reduce Proceso de Reduce

54. Minimizar el flujo de transferencia de información

56. Deben ser idempotentes

57. fun(x,y) = fun(fun(x),fun(y))

58. Nuestro primer programa: Contando palabras

59. Map/Reduce en ejecución

61. Coordinador entre nosotros y Hadoop

63. Asignación de tareas a nodos

67. Reasignación de tareas fallidas

68. Mecanismo de ejecución Sistema de archivos compartido Programa Map/Reduce JobClient JobTracker TaskTracker Child Tareas Map o Reduce 1 2 4 3 6 5 7 9 8

70. Ejemplo HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar -input myInputDirs -output myOutputDir -mapper /bin/cat -reducer /bin/wc

71. Hadoop y cloud: una combinación perfecta

73. Espacio de almacenamiento S3

74. Nodos de ejecución EC2

75. Aprovisionamiento dinámico en función de nuestras necesidades

77. Subir programa a ejecutar

80. Análisis de resultados

81. Un ejemplo práctico

82. Subida de datos(I)

83. Subida de datos(II)

84. Configuración proceso (I)

85. Configuración proceso (II)

86. Configuración proceso (III)

87. Configuración proceso (IV)

88. Configuración proceso (V)

89. Configuración proceso (VI)

90. Configuración proceso (VII)

91. Usos de Hadoop

94. 16 nodos

97. Construcción de modelos matemáticos que optimicen los mecanismos de puja

105. Incorporando Spring

108. Namespace

109. Contando palabras (de nuevo); esta vez con Spring

110. Referencias y temática relacionada

112. Construida sobre HDFS

114. Pro Hadoop, Appress, Jason Venner

115. Hadoop in Action

116. Un poco de SPAM

119. Q&A