30分でわかる『R』によるデータ分析｜データアーティスト

データアーティスト株式会社
30分でわかる
『R』によるデータ分析

Copyright© Data Artist Inc. All Rights Reserved. Page2Page2Page2Page2
自己紹介
こんにちは！！山本覚と申します！！

バックグラウンド：東京大学イノベーション政策研究センター
経営学×政策学×情報学
NHK
震災ビッグデータ
DLPOGunosy
Rに初めて触ったのが7年前

本講義の目的
え？たったこれだけなの？
ならやってみようかな・・
と思っていただきたい。

アジェンダ
• R概論
• 分類木
• k-means

Rとは何か？
統計・データマイニング
に特化した言語
➡1行データマイニング
➡オープンソースで種類が豊富
➡行列の計算がやたら早い
➡画面がいかつい
➡繰り返し処理が遅い

ダウンロード
http://cran.r-project.org/CRANから落とせる

R用の環境
R studio
が便利
http://www.rstudio.com/

R用の環境
テキストエディタ
プログラムの実行
結果

実際にどんなものか？

実際にどんなものか？＞描画も一撃
hist(データ)

ちょっと頑張れがこれくらいの事も出来ます
ユーザーの
検索行動を
可視化

Rの初学者向けのデータマイニングプロセス
データをきれいに加工する
(Excelでもできる)
データを解析する
データを可視化する
(Excelでもできる)
Rでしか出来ないことだけRでやる！

非ガチ理系のデータマイニング活用法
『なんかたぶんこんな感じ原理』で充分！！
自分で実装できる必要なし！！
含みのある
入力データ
深い
定性的な
説明
Inputの精査と、アウトプットの理解に注力！

データマイニングの全貌
データマイニング
(分析)
クラスタング
Clustering
分類
Classification
回帰
Regression
予測したい
データが・・・
有る
(数字)
有る
(カテゴリー)
無い
時系列
テキスト
ネットワーク
Excel,R R R

(分析)
クラスタング
Clustering
分類
Classification
回帰
Regression
予測したい
有る
(数字)
有る
(カテゴリー)
無い
時系列
テキスト
ネットワーク
Excel,R R R
y = 1.7055x + 0.9155
R² = 0.8927
0
1
2
3
4
5
6
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

今日お話しする内容
分類➡分類木
クラスタリング➡k-means

• 概要
• プログラミング方法
• 内容の理解

• 概要
• 内容の理解

概要＞分類の歴史
時代19951930 1960 2001
性能
線形判別
1本の直線 2本以上の直線曲線
分類木
SVM
＋
カーネル
トリック
ランダム
フォレスト
(集団学習)

概要＞アルゴリズム
いい感じに分かれるように線を引く
学習用データ

未知のデータに対しても

分類できる

名前の由来
$
remove
free
大小
！
spam
spam
spam
spam
大小の条件分岐で書くと
木みたいになるので分類木

いい感じに分けるとは？
➡玉の色に偏りがある。

男性女性
：老眼無し：老眼有り
～40代
50代～
性別？
年代？

男性女性
～40代
50代～
=
1
2
2
+
1
2
2
=0.25+0.25
=0.5
分かれ具合

男性女性
～40代
50代～
1
2
2
+
1
2
2
=0.25+0.25
=0.5
1
2
2
+
1
2
2
=0.25+0.25
=0.5
男女の
分かれ具合の平均
=0.5

男性女性
～40代
50代～ 𝟏
𝟏
𝟐
+
𝟎
𝟏
𝟐
=1+0=1
男女の
=1𝟎
𝟏
𝟐
+
𝟏
𝟏
𝟐
=0+1=1

男性女性
～40代
50代～ 𝟏
𝟏
𝟐
+
𝟎
𝟏
𝟐
=1+0=1
男女の
=1𝟎
𝟏
𝟐
+
𝟏
𝟏
𝟐
=0+1=1
男女で分ける方が好い感じ！

• 概要
• 内容の理解

ソースを書く場所
ここにズンドコ書いて行く

プログラミング方法＞1.学習用データ読み込む
train.data=
read.csv(“フォルダ/data1.csv”)
事前にExcelできれいに作る。

プログラミング方法＞2.装備を読み込む
train.data=
library(mvpart)

プログラミング方法＞3.学習
train.data=
library(mvpart)
rp=
rpart(Label~.,data=train.data)
これが分類したいもの

プログラミング方法＞4.未知データの分類
train.data=
library(mvpart)
rp=
test.data=
predict(rp,test.data,type="class")

• 概要
• 内容の理解

スパムメールの分類
スパム？or Not？
make address all original
num3d our over edu
remove internet order charSemicolon
mail receive will charExclamation
people report addresses capitalAve
free business email type
you credit your project
font num000 money table
hp hpl george charRoundbracket
num650 lab labs charDollar
telnet num857 data capitalLong
num415 num85 technology re
num1999 parts pm conference
direct cs meeting charSquarebracket
charHash capitalTotal

データを見てもわからない

分類木にかけてみよう
train.data=
read.csv(“フォルダ/spam1.csv”)
library(mvpart)
rp=
test.data=
read.csv(“フォルダ/spam2.csv”)
predict(rp,test.data,type="class")

出力
条件分岐がテキストで表示されます。
このままではいかつい！➡

条件分岐を可視化
$
remove
free
大小
！
spam
spam
spam
spam
スパム
正解が分かってるデータで
答え合わせすると、
正解率89%

• 概要
• 内容の理解

k-meansとは？
k個の平均をつくって、
その周りのやつを取ってきます。
http://d.hatena.ne.jp/nitoyon/20090409/kmeans_visualise

良いクラスタリング悪いクラスタリング
中心とデータの距離が近いとよい！！

ラベルの無いデータを用意
X(身長)
Y(体重)

適当にラベリング(仮に5色)

中心を決定
重心を中心にすれば、
データと中心の距離が最小

ラベルしなおす
一番近い重心の色にすれば、

新しいラベルを元に中心を決定
重心を中心にすれば、

新しい中心を元にラベルしなおす
一番近い重心の色にすれば、

もう変わらないのでおしまい
各クラスターの中心とデータの
の距離が最小

• 概要
• 内容の理解

プログラミング方法＞1.学習用データ読み込む
train.data=
read.csv(“フォルダ/data.csv”)

プログラミング方法＞2.学習
train.data=
read.csv(“フォルダ/data.csv”)
km=kmeans(train.data,centers=k)
中心の数。

プログラミング方法＞3.結果の学習
train.data=
km$cluster

• 概要
• 内容の理解

23区のクラスタリング

区に属性を付ける(政府統計)
可住地面積１k㎡当たり人口密度（人）
昼夜間人口比率（％）
生産年齢人口割合［15～64歳人口］（％）
人口増加率（％）
転入率（％）
核家族世帯割合（％）
商業年間商品販売額［卸売業＋小売業］（従業者１人当たり）（万円）
課税対象所得（千円）
高等学校数（可住地面積100k㎡当たり）（校）
完全失業率（％）
他市区町村への通勤者比率（％）
他市区町村からの通勤者比率（％）
図書館数（人口100万人当たり）（館）
持ち家比率（％）
１住宅当たりの延べ面積（ｍ2）
小売店数（人口千人当たり）（店）
百貨店数（人口10万人当たり）（店）
道路実延長（総面積１k㎡当たり）（km）
一般病院数（人口10万人当たり）（施設）
一般診療所数（人口10万人当たり）（施設）
交通事故発生件数（人口10万人当たり）（件）
刑法犯認知件数（人口千人当たり）（件）

実際のデータ
こんな感じ
※クラスタリングする前には、平均が0,標準偏差が1に成るように各データを標準化します。

データの取得方法

kmeansにかけてみよう！
train.data=
read.csv(“フォルダ/ku23.csv”)
km$cluster

得られたクラスター
C1 C2 C3 C4 C5
中央区台東区足立区品川区渋谷区
港区江東区葛飾区北区中野区
大田区墨田区板橋区新宿区
練馬区杉並区文京区
荒川区目黒区豊島区
江戸川区世田谷区

得られたクラスターを地図で見る。
政府統計指標で
作ったクラスター
が近いところに
固まっている！！

(分析)
クラスタング
Clustering
分類
Classification
回帰
Regression
予測したい
有る
(数字)
有る
(カテゴリー)
無い
時系列
テキスト
ネットワーク
Excel,R R R

今日お話しする内容
分類➡分類木

データアーティスト社の応用例
分類➡分類木
→セグメント毎のABテスト
→口コミのネガポジ分析
→CRMの優良顧客検出
→ユーザー行動パターンの可視化

ご清聴ありがとうございました！！

30分でわかる『R』によるデータ分析｜データアーティスト

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (6)

Destacado

Destacado (20)

Más de Satoru Yamamoto

Más de Satoru Yamamoto (9)

Último

Último (9)

30分でわかる『R』によるデータ分析｜データアーティスト