딥러닝 원리와 프로그래밍 강의 --> https://pg.mycampus.io/ #CNN #딥러닝 #keras #tensorflow #kaggle

1. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
슬로우캠퍼스 딥러닝 스쿨
– 딥러닝/머신러닝 이론 파트
한대희 @ 슬로우캠퍼스
딥러닝 교육/컨설팅
daehee@slowcampus.com
http://medium.com/@slowcampus
http://slowcampus.com
Just Start up your Deep Learning for your Future !

2. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
슬로우캠퍼스
SLOW는 SW(소프트웨어) 입니다
2
슬로우는 학습과 성장을 의미합니다
홈페이지 http://slowcampus.com
블로그 http://medium.com/@slowcampus

3. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
딥러닝 스쿨: 딥러닝 Tensorflow & Keras 1일 완성
• 딥러닝 워크샵 클릭
• 한대희 강사 클릭
• 딥러닝 참가 클릭
3
딥러닝
배우고
달리자

4. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
인공지능은 기술이 아니여, 아직 달성되지 않은Goal 이여 !!
4
데이터 학습/분석 기술
머신러닝 수학통계적
인공지능
데이터를
배우는
기술
데이터를
지탱하는
기술
데이터마이닝
클라우드 기술 (인프라)
컴퓨팅
DB,
스토리지
Goal:
데이터로
가치 만들기

5. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
데이터의 시대
• 제1차 정보통신혁명 à 데이터의 흐름과 보관 완성 시대 (1980년~2010년)
• 제2차 정보통신혁명 à 데이터분석/학습을 통한 가치창출과 인공지능의 시대 (2010년~2040년)
유형의 재화(HW)는 공유되고, 서비스되는 형태로 변화하면서,
무형의 SW중심의 사회/경제으로 진화 중.
그 진화 과정에서 핵심 재화는 데이터임.
인공지능구현 기술, 데이터마이닝 기술은 데이터로부터 재화를 만들어내는 핵심 기술임.
여러 방법론 중에 딥러닝이 거의 모든 분야에서 최고의 성능을 보이고 있음.
5
Data
Information
Knowledge

6. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
딥러닝/머신러닝 관련 스킬 피라미드
• 새로운 딥러닝
아키텍쳐 및 모델 창안
ML
Researcher
• 자신에 도메인에 딥러닝을
적용하여 최고 성능을 구현
ML Engineer
• 데이터분석/딥러닝
인프라 구현/관리
Data Engineer
6

7. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
판단이란?
판단 判斷 Judgement, Decision
7
1 .사물을 인식하여 논리나 기준 등에 따라 판정을 내림.
2 .어떤 대상에 대하여 무슨 일인가를 판정하는 인간의 사유 작용.

8. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
판단의 기준은?
일반적으로 우리는 무엇에 근거하여 판단/결정을 내리는가?
• 규칙 (Rule) 기반
• 사례(Example) 기반 – 통계 및 데이터 기반
8
à 이제는 Data Driven Decision 시대로 가고 있는 중

9. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
판단의 타입
판단(문제에 대한 답)의 종류
9
질문(문제) 답의 종류 판단 작업 이름
이것은 암세포인가 ?
이 사람은 보험가입 중에 차 사고를 낼
것인가?
Logistic
Yes/No, True/False
Logistic regression
강아지? 고양이? 소? 새? 불연속값
(Discrete)
Classification
주식 종합지수 예측,
태풍의 진로,
로봇제어를 위한 힘 산출
연속값
(Continuous)
Regression,
Prediction,
…

10. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
문제 유형 - regression
10
주어진 점(point, 데이터)들로부터
Input X와 output Y 사이의 관계식(함수)을 찾는 것

11. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
문제유형 – Classification (분류)
Input X에 대해 label(output Y, discrete values) 를 붙이는 것
CAT (1)
DOG (2)
입력 X 출력 Y

12. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
머신러닝 - Classification
Input X에 대해 label(output Y) 를 붙이는 것
0
1
2
...
9
입력 X 출력 Y

13. 모델의 의미 (실생활에서)
13

14. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Fit & Modeling
기성복은
우리의 몸을
5~6 가지의 수치로
표현(모델링)하는 것임
14

15. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Fit & Modeling
마네킹은
우리 몸을
1개의 대표 수치로
표현하는 것임
15

16. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Fit
몸을 옷에 맞출 것인가?
옷을 몸에 맞출 것인가?
16

17. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
• 내 몸에 맞는 옷을 찾아가는 과정
• 내 데이터에 맞는 모델을 찾아가는 과정
17
Fitting

18. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
이 점들을 모델링 해보자
18

19. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Exponential fit: y = aebx
• 데이터(점)에 가장 fit
하는 a, b 값을 구하기
• 파라미터가 2개인 모
델임. (a, b)
19

20. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Power fit: y = axb
20
• 데이터(점)에 가장 fit
하는 a, b 값을 구하기
• 파라미터가 2개인 모
델임. (a, b)

21. 머신 러닝 및 모델링의 원리
(수학통계의 모델링도 이와 유사함)
21

22. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
– H.B. BARLOW
“Intelligence is the art of
good guesswork”

23. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
– 한 대 희 J
“지능이란
다른 것들에서 공통점을 찾고,
비슷한 것들에서 차이점을 찾는 것”

24. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
모델링 – fitting 의 과정
가설
실험
관측
24
데이터 분석이 곧 데이터 모델링이며,
데이터 모델링 과정은 과학 실험 과정과 유사하다.

25. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
모델링
• Input – output 간의 함수/관계/매핑/패턴을 가장 잘
표현하는 모델을 찾아가기
25
* 실세계의 데이터는 수학세상의 함수의 정의를
만족하지 못하는 경우가 많다. X를 구성하는 feature를
우리가 다 알지 못하기 때문이다.
함수정의: 모든 x에 대해 단 하나의 y가 존재해야 한다.

26. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
모델링으로 찾고자 하는 것 (용어)
26
문제 답
입력값(X) 출력값(Y)
Features Class, Label
Pattern Function
Vectors Relation
학습/테스트 데이터
(training/test)
Probability Function

27. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
모델링
•Input – output 블랙박스
27
? ?

28. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
모델링 – 학습 및 결관
• Input – output 관계를 저장
28
0.0 0.0 0.0 ….
0.0 0.0 0.0 ….
0.0 0.0 0.0 ….
0.9 0.8 0.1 …
0.2 0.3 0.5 …
0.2 0.3 0.5 …
…
학습 결과

29. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
연립방정식 (2원1차)
• 미지수(변수)가 2개이면 식이 2개 필요하다
• 딥러닝은 엄청난 숫자의 파라미터(변수)가 있는 것임
29

30. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
연립방정식 (3원1차)
30
• X (x, y, z): 데이터
• A, B는 모델 파라미터
• A의 이름은 Weight
• B의 이름은 Bias

31. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
31
연립방정식 (N원1차)
• X (x1, x2, …, xn): 데이터
• A, B는 모델 파라미터
• A의 이름은 Weight
• B의 이름은 Bias

32. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
모델링 – 학습 과정 원리
• 진짜 output과 예측한 output의 오차(Erorr, Loss, Cost)를
• 점진적으로 줄여나가는 것 (minimize)
• Iteration == Loop == Epoch
32
0.9 0.8 0.1 …
0.2 0.3 0.5 …
0.2 0.3 0.5 …
…
X
Y’Y
모델
파라미터
E = Y – Y’
파라미터(W, b) 조정

33. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
모델링 과정
• 오차(Loss, Cost)를 최소화하기 위해 모델 내부 파라미터
(weights)를 점진적으로 수정해 나가는 최적화 문제임.
33
X: 실제 입력 데이타 Y: 실제 데이터(학습용)
Y”: 모델의 출력 데이터
오차(MSE, cost, loss)모델
파라미터

34. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Training, Validation, Test
• Training – 교과서
• Validation – 정기 모의고사: 언
제 학습을 종료할지 판단
• Testing – 최종 모의고사, 학습
완료된 모델의 최종 성능
34
보유한 전체 데이타
학습용
(Training)
테스트용
(Testing)
분할
검증용
(Validation)
80%, 10%, 10%

35. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
학습(training)과 테스트
35
training(X, Y) pair: Data for Training
Y’ - 모델의 출력값
학습된모델
파라미터들
(weights,
biases)
파일
(파라미터
저장)
Save
X’: Data for Test test
학습된모델
파라미터들
(weights,
biases)
Load
Threshold
&
Decision

36. 머신 러닝 종류
36

37. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
지능은 학습의 누적
37
• 머신러닝에서는 데이터의 누적, 데이터 학습의 누적이 지능

38. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
머신 러닝의 종류
38
Supervised Unsupervised
Reinforcement
Learning
정답지가 있음
(X, Y)쌍 존재
정답지가 없음
Guess & Measure
모델과 환경이 서
로 영향을 줄때 사
용: 게임, 주식

39. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Supervised 학습 사례) Lunit
39

40. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
사례) 뷰노
40

41. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Unsupervised사례) Dable뉴스 추천, 상품 추천
41

42. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Unsupervised 사례) Watcha 영화 추천, 뮤직 추천
42

43. 지도학습 vs 비지도학습
43
http://www.kdnuggets.com/2016/05/implement-machine-learning-algorithms-scratch.html
• 지도학습 –
• 비지도학습 – 데이터 마이닝 분야에 많음

44. 명칭, 용어 정리하고 가실께요
44

45. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
인공지능기술 자체가 인공지능은 아님
인공지능은 목표임. 머신러닝은 수단임
인공지능기술이란 인공지능을 목표로하는
방법/기술부류를 의미함
머신러닝 기법 중 현재 딥러닝이 답
45
인공지능
머신러닝
딥러닝
수단(Method)
목표(Goal)

46. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
머신러닝 == 데이터 러닝
머신러닝이란? 머신(컴퓨터)이 데이터간의 규칙/패턴/함수/관
계/매핑을 찾아내는 것.
à Learning from Data
46
Inductive Learning (learning by examples)
automatic discovery of regularities in data through the use
of computer algorithms and generalizing those into new but
similar data

47. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
데이터마이닝
• 사람 및 전문가도 금방 분석해내기 어려운 가치 정보를 방대한
데이터로부터 찾아내는 작업
• 아마존 – 책, 영화 추천 (Collaboration filtering)
• 월마트 – 장바구니 추천 (Associative Rules)
• …
47

48. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
인공지능
• 사람이라면 누구나 잘 하는 것 (다른 동물/사물/기계 대비하여)
• 보고, 글자를 읽고
• 듣고, 말을 이해하고
• 말하고
• 걷고
• 운전하고
48

49. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
인공지능을 실현하려면 딥러닝 이상의 돌파구가 필요
데이터 분석/활용
• 인공지능 (보기,읽기,듣기,말하기,배우기)
• 자율주행 자동차 (달리기)
• 로봇 (움직이기, 제어하기)
• 드론 (날기)
• IoT – 데이터 원천의 확대
• 생명공학+데이타분석
• 뇌과학
생명,뇌연구

50. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
패턴 인식 (Pattern Recognition)
• 1990년대 용어
• 데이터에서 어떠한 규칙적인 패턴을 찾아내기 위한 기술
• ‘데이터 분석’ 이라는 말과 유사한 레벨
• ‘데이터 분석이 수학/통계학의 용어라면
• ‘패턴 인식’은 전산학(컴퓨터 사이언스)의 용어라고 할 수 있다
50

51. 데이터와 서비스
51

52. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
왜 카카오/네이버는 AI스피커를 공짜로 뿌리나요?
서비스
클라우드데이터
52
서비스 – 데이터의
선순환 고리를 만들어야
살아남는다 !
구글/페북/애플/아마존에
밟혀 죽는다 ㅠㅠ
살려야 한다 !!
반드시

53. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
딥러닝 기술 배우면 뭐하나? 데이터가 없는데 !
53
클라우드
컴퓨팅 스토리지
1.서비스
2.데이타3.분석
데이터
수집,저장,가공처리
Data
Scientist
Data
Engineer
데이터 분석,
지능

54. 수학통계적 방법론
vs
머신 러닝 방법론
54

55. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
55

56. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Statistics vs Machine Learning
56https://www.datasciencecentral.com/profiles/blogs/machine-learning-vs-traditional-statistics-different-philosophi-1
https://svds.com/machine-learning-vs-statistics/
“Machine learning is for Computer
Science majors who couldn’t pass a
Statistics course.”

57. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Statistics vs Machine Learning
57https://www.datasciencecentral.com/profiles/blogs/machine-learning-vs-traditional-statistics-different-philosophi-1
https://svds.com/machine-learning-vs-statistics/
“Machine learning is essentially
a form of applied statistics”

58. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Statistics vs Machine Learning
58https://www.datasciencecentral.com/profiles/blogs/machine-learning-vs-traditional-statistics-different-philosophi-1
https://svds.com/machine-learning-vs-statistics/
“Machine learning is Statistics minus any
checking of models and assumptions.”

59. 머신러닝 vs 통계/수학
수학
• Deterministic
• 입력, 출력 관계 명확
• 데이터의 확률분포, 함수의 차
수 등에 대한 가정 포함
머신 러닝
• Stochastic (probabilistic + time)
• 입력변화에 따른 출력 변화에 대한
예측이 어려움
• 데이터에 대한 가정 별로 없음
59

60. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
Machine Learning (ML) Traditional statistics (TS)
Goal: “learning” from data of all sorts Goal: Analyzing and summarizing data
No rigid pre-assumptions about the problem a
nd data distributions in general
Tight assumptions about the problem and data distri
butions
More liberal in the techniques and approaches Conservative in techniques and approaches
Generalization is pursued empirically through t
raining, validation and test datasets
Generalization is pursued using statistical tests on the
training dataset
Not shy of using heuristics in approaches in se
arch of a “good solution”
Using tight initial assumptions about data and the pr
oblem, typically in search of an optimal solution unde
r those assumptions
Redundancy in features (variables) is okay, and
often helpful. Preferable to use algorithms desi
gned to handle large number of features
Often requires independent features. Preferable to us
e less number of input features
Does not promote data reduction prior to learn
ing. Promotes a culture of abundance: “the mo
re data, the better”
Promotes data reduction as much as possible before
modeling (sampling, less inputs, …)
Has faced with solving more complex problems
in learning, reasoning, perception, knowledge
presentation, …
Mainly focused on traditional data analysis
60

61. 머신 러닝 vs 알고리즘
61

62. 머신러닝 vs 알고리즘
머신러닝
• 데이터를 분석하는 프로그램을 직
접 개발하거나 활용
• 알고리즘은 학습된 모델의 파라미
터 값에 담겨지게 됨. 해석 어려움.
알고리즘
• 컴퓨터에게 step-by-step 으로
해야 할 세부 절차/작업/규칙을
직접 명식적으로 알려줌
• 알고리즘을 프로그램에 담음
62

63. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
알고리즘 예시 - sorting
63

64. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
알고리즘 예시 - sorting
64

65. 배포금지 J 외부자료외 저작권 보호 딥러닝스쿨 @ 슬로우캠퍼스,
알고리즘 예시 - sorting
65