交通大學、清華大學統計所專題演講： 資料科學 ─ 從學校到社會

1. datasci.co
Data Science Program
datasci.co
資料科學計畫
Data Science Program
謝宗震 (Johnson)!
清華統計所博⼠士後研究員
Data Science ─ 從學校到社會
資料科學計劃的成果與展望
2014.06.04

2. datasci.co
Data Science Program 2
Agenda
1.什麼是資料科學？!
2.什麼是資料科學計劃？!
3.資料科學計劃的成果與展望

3. datasci.co
Data Science Program 3
資料科學!
(Data Science)

4. datasci.co
Data Science Program 4
資料科學可以解決什麼問題？

5. datasci.co
Data Science Program 5
就我的觀察，
資料科學⾄至少可以解決幾種問題

6. datasci.co
Data Science Program 6
解決考卷上的問題
http://www.ics.uci.edu/~jutts/8/FinalExamAKey.pdf

7. datasci.co
Data Science Program 7
解決發paper的問題
http://www.esajournals.org/doi/abs/10.1890/13-0133.1

8. datasci.co
Data Science Program 8
解決⽣生活上的問題
http://archive.indianexpress.com/news/review-the-wolf-of-wall-street/1215087/
http://www.sonypictures.com/movies/21/

9. datasci.co
Data Science Program 9
事實上，應該問的是
怎麼⽤用資料科學解決問題？

10. datasci.co
Data Science Program http://columbiadatascience.com/2013/09/16/introduction-to-data-science-version-2-0/
資料科學的基本流程
10

11. datasci.co
Data Science Program 11
資料科學跟統計學的差別在哪？

12. datasci.co
Data Science Program
統計學強調資料建模與分析
12

13. datasci.co
Data Science Program 13
資料科學家跟統計學家的差別在哪？

14. datasci.co
Data Science Program 14http://strataconf.com/strata2013/public/schedule/detail/27529
專業統計⼈人!
具備的能⼒力

15. datasci.co
Data Science Program 15http://strataconf.com/strata2013/public/schedule/detail/27529
專業資料科學家!
應具備的能⼒力
統計⼈人
資訊⼈人
視覺化＆!
領域專精

16. 資料科學家好⽐比全能的超⼈人現
實⽣生活中 你需要的可能是各有
所⻑⾧長的資料科學團隊
http://media.edge-online.com/wp-content/uploads/edgeonline/2013/02/ArmyOfTwo2.jpg
http://www.themovieblog.com/archives/iron-man-post.jpg

17. ＤＳ學習路徑圖
http://nirvacana.com/thoughts/becoming-a-data-scientist/

18. datasci.co
Data Science Program http://www.dataists.com/2010/09/the-data-science-venn-diagram/
The Data Science Venn Diagram
此為資料科學的技術層
⾯面，除此之外仍待實務
經驗補⾜足
18

19. datasci.co
Data Science Program 19
資料科學計劃!
(Data Science Program, DSP)

20. datasci.co
Data Science Program 20
關於資料科學計劃 (DSP)
資料科學計劃由 Code for Tomorrow (CfT) 與 SYSTEX/Etu 共同
發起，並取得 OKFN Taiwan 等組織的⽀支持。
http://datasci.co

21. datasci.co
Data Science Program 21
關於資料科學計劃 (DSP)
計劃發起：!
! Code for Tomorrow (CfT) 推動各種「寫程式改造社會」計劃的組織!
! SYSTEX/Etu 專為企業提供 Big Data 全程解決⽅方案的領導品牌!
計劃⽀支持：!
! OKFN Taiwan (Open Knowledge Foundation, OKFN) !
源⾃自於2004年在英國劍橋成⽴立的⾮非營利性組織，⻑⾧長期致⼒力於在數位時代推廣各類
形式的開放知識。近年來它已經活躍於全球30多個國家和地區，並主要著眼於
開放資料和開放政府的推廣和⽀支持。

22. datasci.co
Data Science Program 22
任務宣⾔言
資料的⼤大量增⻑⾧長已經是事實，如何能夠提取資料的價值，也成了社
會、 商業、政府共同的利益課題。綜觀資料價值的提取，資料科
學的能量，在不同的領域，均扮演關鍵的價值轉兌⼒力量。 !
!
吾⼈人已知資料科學是跨界的，與其寄希望於難覓的資料科學家⼀一
⼈人，不如更關注於如何培養⼀一個專業分⼯工的資料科學團隊。本計畫
的宗旨，即在希望透過對⽣生活資料的收集、處理、分析、視覺化呈
現、故事形塑、 擬定⾏行動的過程，分⾨門規劃，引發社會各界對資
料科學的興趣，從中培養對應⼈人才，最終回饋於社會。

23. datasci.co
Data Science Program 23
DSP 計劃⺫⽬目標
⼈人才為本，應⽤用為價值。!
在 3 年內，為台灣培養 300 位!
資料科學團隊成員。!

24. datasci.co
Data Science Program 24
DSP 施⾏行⼿手段
善⽤用 Open Data，!
讓在 資料科學 與 ⽣生活 連結。!

25. datasci.co
Data Science Program 25
Dataset1: 內政部不動產實價登錄資料
• ⺠民國101.08 ~ 102.09!
• 全台灣租賃、買賣、預售資料!
• 約47萬筆資料

26. datasci.co
Data Science Program 26
Dataset2: 痞客邦部落格公開資料
• 分類熱⾨門照⽚片（含 EXIF）!
• 去識別化後的照⽚片 EXIF 資訊!
• 分類⼈人氣部落格相關資料! !
• 去識別化後的部落格訪客資料!
• 2013-2014年資料!
• 可透過API抓取!
• http://developer.pixnet.pro/

27. datasci.co
Data Science Program 27
Dataset3: 政府電⼦子採購網
• 2013-2014年公開招標資料!
• 約18萬筆

28. datasci.co
Data Science Program 28
資料科學計劃的成果與展

29. datasci.co
Data Science Program 29
DSP 已發佈的課程
1. 資料科學團訓班 (Dec 2013, Mar 2014)!
2. 資料爬理析實戰班 (May 2014, Jun 2014)!
3. 資料新聞學 (規劃中)

30. datasci.co
Data Science Program 30
誰參與了DSP團訓班？
Data analyst
Programmer
Product / Service
Planner
UX / UI / Art
Designer
0 20 40 60 80
18
48
67
75
23%
77%
Male
Female
中研院、國研院、⼤大學、太空中⼼心、資策會、政府機關、電信、網路服務、!
醫療、NPO、法⼈人、⾦金融、壽險、資服、商業顧問、市調、⾼高科技、製造...

31. datasci.co
Data Science Program 31
Dec 2013, Team Training #1

32. datasci.co
Data Science Program 32
Mar 2014, Team Training #2

33. datasci.co
Data Science Program 33
May 2014, ETL with Python

34. datasci.co
Data Science Program 34
我在 DSP 教了什麼

35. datasci.co
Data Science Program 35
Jan 2014, Data Fiesta

36. datasci.co
Data Science Program 36

37. datasci.co
Data Science Program 37

38. datasci.co
Data Science Program 38
DSP規劃圖

39. datasci.co
Data Science Program 39
DSP Fellowship Program
1. Help new Ph.D's (or MA/MS) transition from
academia to data science. (數統、資訊、傳播、商管、農
業、醫藥、環境、運輸、社會、設計...)!
2. Help companies to prepare, and recruit data
scientists with serious academical background.!
3. Develop a social network for data scientists and
data-centric companies.

40. datasci.co
Data Science Program 40
We Need You
http://en.wikipedia.org/wiki/Americans

41. BTW 容我介紹⼀一下

42. 台灣資料科學愛好者年會 2014
2014/8/30 (Sat) - 2014/8/31 (Sun) 中研院⼈人⽂文社會科學館國際會議廳
http://twconf.data-sci.org/
年會議程採三軌並⾏行!
• 演講議程：資料分析已經協助講者創造多少價值!
• 上⼿手課程：帶領未⼊入⾨門者以 R 進⼊入資料科學的領域!
• g0v ⿊黑客松：促進資料科學與開放資料的交流及結合

43. datasci.co
Data Science Program
thank you
name: Johnson!
mail : euler96@gmail.com !
blog : http://readata.org