1. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
안효빈
Solutions Architect / Amazon Web Services
30분만에 만드는 AWS기반
빅데이터 분석 애플리케이션

2. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
데이터는 계속하여 발생
미터링 기록
모바일 앱 애플리케이션 로그웹 클릭스트림
IoT 센서 스마트 빌딩

3. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
빠른 데이터 분석의 필요성

4. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
데이터 분석의 중요성
*Aberdeen: Angling for Insight in Today’s Data Lake, Michael Lock, SVP Analytics and Business Intelligence
다양한 데이터를 효율적으로 수집하고
분석하여 활용하고 있는 회사는 경쟁 업체
대비 9% 높은 매출 성장률을 보입니다.
24%
15%
매출 성장률
Leaders Followers

5. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
그래서 오늘은 실시간 데이터를
빠르게 분석하는
분석 애플리케이션을 만들어 봅니다.

6. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo J

7. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
분석할 데이터

8. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon.com 에서는

9. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
EC2 - 클릭스트림 로그 발생

10. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
데이터 분석 파이프라인
수집 저장 분석/처리 시각화
데이터 결과

11. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS 빅데이터 분석 서비스 = 서버리스
오케트스트레이션 / 변환
EMR EC2
S3
Amazon
Redshift
DynamoDB
AWS DMS (CDC)
Lambda
Kinesis
Analytics
Athena
QuickSight
RDS
AWS Glue
AWS Step
Functions
Kinesis
Streams
수집 저장 분석 / 처리 시각화
AWS
Snowball
Kinesis
Firehose
Amazon
Elasticsearch
3rd Party
Log Collector

12. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처

13. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
수집수집 저장 분석/처리 시각화

14. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (수집)

15. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Kinesis Data Firehose
• 완전 관리형 서비스
• 서버리스
• 스트리밍 데이터를 손쉽게 캡처
• S3, Redshift, ES 등으로 데이터 로드
• Lambda를 이용한 데이터 전처리
• 데이터 처리량에 대응하여 자동 확장수집

16. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
1. Kinesis Firehose 생성
2. Lambda 전처리
3. Agent Log + S3 수집

17. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
수집 단계 요약
• 서버에서 발생하는 데이터를 실시간으로 수집 하는 단계
• Kinesis Data Firehose를 이용하여 클릭스트림 데이터를 S3에 수집
• Kinesis Agent로 데이터를 수집해 Kinesis Data Firehose로 전송
• Lambda를 이용하여 데이터 전처리

18. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
저장수집 저장 분석/처리 시각화

19. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (저장)

20. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon S3
• 확장성이 뛰어난 오브젝트 스토리지
• 객체 당 1Byte에서 5TB 크기 지원
• 저장할 수 있는 객체 수 제한 없음
• 99.999999999% 의 내구성 제공
• 서버 측 암호화(SSE) 제공
저장

21. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
1. S3 에 파일 저장 확인
2. 파일을 열어서 확인

22. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
저장 단계 요약
• Kinesis를 통해 수집한 데이터를 안전하게 저장하는 단계
• 발생한 스트림 데이터를 S3에 안전하게 저장
• 정형, 비정형, 스트림 데이터 상관없이 S3에 저장
• 이후 다양한 분석 서비스에서 S3의 데이터를 분석

23. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
분석수집 저장 분석/처리 시각화

24. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
작게 시작해서 반복하기
Start Small and Iterate

25. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (분석)

26. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS Glue
• 완전 관리형 ETL 서비스
• 서버리스
• AWS에 저장된 데이터를 자동
검색하고 분류하여 빠르게 분석 가능
• 메타데이터(테이블 정의, 스키마 등)
를 Glue 데이터 카탈로그에 저장
• ETL 코드를 추천 및 생성
분석 / 처리

27. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Compliance
Glue
데이터 카탈로그
데이터 검색
스키마 추출
Glue 데이터 카탈로그
• Glue 크롤러를 통해 자동으로
데이터를 검색하고 스키마를
카탈로그에 저장
• 카탈로그를 통해 Athena, EMR,
Redshift Spectrum 에서 즉시 쿼리
• 카탈로그는 ETL 에 사용 가능

28. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Athena
• 대화식 쿼리 서비스
• 서버리스
• 표준 (ANSI) SQL 을 이용해 S3에
저장된 데이터를 분석
• 실행한 쿼리에 대한 비용만 지불
분석 / 처리

29. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
1. Glue Crawler
2. Athena Query

30. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
분석 단계 요약
• S3에 저장된 데이터를 실제로 분석하여 원하는 결과를 얻는 단계
• Glue 크롤러를 사용하여 S3 에 저장된 데이터의 스키마를 추출하여
데이터 카탈로그 생성
• Glue 데이터 카탈로그와 Athena를 이용해 S3 에 저장된 데이터를
간편하게 분석
• 표준 SQL을 이용한 대화식 쿼리

31. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
시각화수집 저장 분석/처리 시각화

32. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (시각화)

33. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon QuickSight
• 클라우드 기반 관리형 BI 서비스
• 서버리스
• 다양한 데이터에 쉽게 연결하고
빠르게 시각화 가능
• 스토리 보드를 통한 공유 및 협업
• 모든 브라우저 및 다양한 모바일
플랫폼 지원
시각화

34. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
QuickSight Dashboard 구성

35. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
시각화 단계 요약
• 수집하고 저장하고 분석한 데이터를 시각화하여 통찰력을 얻는 단계
• QuickSight에서 손쉽게 데이터에 연결하고 시각화
• QuickSight의 빠른 인 메모리 병렬 계산 엔진인 SPICE 를 이용하여
빠르게 업데이트

36. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
결론

37. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
서버리스 빅데이터 분석 애플리케이션 : 결론
ü 빠르게 구축
ü 실시간 데이터 분석
ü 서버 관리 불필요
ü 유연하게 확장
ü 무제한 데이터 저장
ü 유휴 용량 없음

38. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
본 강연이 끝난 후…
1. 오늘 데모로 보신 데이터 분석 플랫폼을 구축해보세요
https://bit.ly/aws-analytics
2. 이어지는 세션에서 각각의 서비스에 대한 보다 더 자세한 내용을
들으실 수 있습니다
3. AWS의 다양한 분석 서비스를 확인해보세요
https://aws.amazon.com/ko/products/analytics

39. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS Summit 모바일 앱과 QR코드를
통해 강연 평가 및 설문 조사에 참여해
주시기 바랍니다.
내년 Summit을 만들 여러분의 소중한
의견 부탁 드립니다.
#AWSSummit 해시태그로 소셜 미디어에 여러분의 행사
소감을 올려주세요.
발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로
공유될 예정입니다.
여러분의 피드백을 기다립니다!

40. 감사합니다