Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Destacado
Destacado (20)
Similar a SVM実践ガイド (A Practical Guide to Support Vector Classification)
Similar a SVM実践ガイド (A Practical Guide to Support Vector Classification) (20)
Más de sleepy_yoshi
Más de sleepy_yoshi (20)
Último
Último (7)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
- 1. SVM実践ガイド A Practical Guide to Support Vector Classification by Chin-Wei Hsu, Chinh-Chung Chang, and Chih-Jen Lin 2012-06-24 Yoshihiko Suhara @sleepy_yoshi
- 2. この資料は何? • SVMツールの使い方について簡潔にまとめた資料 • A Practical Guide to Support Vector Classification – by Chin-Wei Hsu, Chinh-Chung Chang, and Chih-Jen Lin – http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf 2
- 3. 本資料の概要 • LIBSVM, LIBLINEARなどの広く利用されている ツールの性能を引き出す基本的なお作法 – データの前処理 • カテゴリの素性表現，スケール調整 – パラメータを選択方法 • Cross-validation と Grid-search – 具体例を交えて紹介 知っている人にはアタリマエ． 知らない人にはナニソレ？なお作法 3
- 4. 対象読者 • 想定する知識 – 教師あり学習という言葉は知っている – LIBSVMやLIBLINEARといったツールを使ったことがある／ 使うことができる程度の知識 • こんな方にお薦め – Cパラメータって何? – SVMを利用しているがパラメータ調整をどうしたらいいの かよくわからない – 中身の理解は後回しでいいから良い性能を出したい – 自己流で使ってきたけれど，一度使い方を復習したい 4
- 5. SVMとカーネルの簡単な説明 ちゃんとした説明は他の資料を参照のこと 5
- 6. SVMとは • マージン最大化学習を行う二値分類器 – C: 誤りに対するペナルティパラメータ • C大 ⇒ 誤りを許容しない (= ハードマージンに近づく) • C小 ⇒ 誤りを許容する 𝑙 1 𝑇 min 𝒘 𝒘+ 𝐶 𝜉𝑖 𝒘,𝑏,𝝃 2 𝑖=1 subject to 𝑦 𝑖 𝒘 𝑇 𝜙 𝒙 𝑖 + 𝑏 ≥ 1 − 𝜉 𝑖, 𝜉 𝑖 ≥ 0. こんな問題を解く (知らなくてよい) 6
- 7. カーネル関数 • 写像された高次元空間における内積を計算する関数 – 線形カーネル以外のカーネル関数を用いることで非線形な 識別関数を学習できる • 基本的なカーネル関数 – 線形カーネル: 𝐾 𝒙 𝑖 , 𝒙 𝑗 = 𝒙 𝑖𝑇 𝒙 𝑗 𝑑 – 多項式カーネル: 𝐾 𝒙 𝑖 , 𝒙 𝑗 = 𝛾𝒙 𝑖𝑇 𝒙 𝑗 + 𝑟 , 𝛾>0 2 – RBFカーネル (*1): 𝐾 𝒙 𝑖 , 𝒙 𝑗 = exp −𝛾 𝒙 𝑖 − 𝒙 𝑗 , 𝛾>0 – シグモイドカーネル: 𝐾 𝒙 𝑖 , 𝒙 𝑗 = tanh(𝛾𝒙 𝑖𝑇 𝒙 𝑗 + 𝑟) (*1) 正確にはガウスカーネル．本稿での呼び方に倣ってRBFカーネルと呼ぶ (*2) 𝛾, 𝑟, 𝑑はカーネルパラメータ 7
- 8. 初心者がやりがちな手順と オススメ手順 8
- 9. 多くの初心者がやりがちな手順 1. データをSVMパッケージの入力形式に変換する 2. 適当に選択したいくつかのカーネルとパラメータを 試す 3. テストデータに対して適用する 9
- 10. オススメ手順 1. データをSVMパッケージの入力形式に変換する 2. 簡単なスケール調整を行う 3. RBFカーネルの利用を検討する 4. 交差検定を用いて最適なパラメータ𝐶と𝛾を発見する 5. 最適なパラメータを用いて訓練データに対してモデ ルの生成を行う 6. テストデータに対して適用する 10
- 11. オススメ手順を使うと 初心者がやりがち オススメ手順を な手順を使った 使った場合の 場合の精度 精度 11
- 12. データ処理の留意点 12
- 13. カテゴリ素性 • SVMは素性を実数として扱う • m種類の値を取りうる素性を1個の素性で表現す るのではなく，m個のバイナリ素性で表現する – 素性数が膨大にならない限り，経験上，結果が安定 する • 例: {red, green, blue} – 1次元素性 (-1), (0), (1) で表現するのではなく， – 3次元素性 (0,0,1), (0,1,0), (1,0,0) で表現した方がよい 13
- 14. スケール調整 • SVMを利用する前にスケール調整することは とても大切 • スケーリングが大切な理由 – 値の取りうる範囲が大きい素性が支配的になる という問題を解消するため – 数値計算上の理由で好ましいため • 基本的なカーネル関数では素性ベクトルの内積を用 いるため，スケール調整をしないと情報落ち誤差が発 生するおそれがある 14
- 15. モデル選択 15
- 16. モデル選択 • (1) カーネル関数の選択 • (2) ペナルティパラメータ𝐶の選択 • (3) カーネルパラメータの選択 本当はSVMを使うということもある意味でのモデル選択． 何を人手で決めて，何をデータによって決めるか． 16
- 17. (1) カーネル関数の選択 • RBFカーネルが最初の選択肢 – 高次元の非線形空間に写像する • RBFカーネルを使う理由 – 線形カーネルはRBFカーネルの特殊系 • パラメータ𝐶 の線形カーネルモデルに対応するパラメータ (𝐶, 𝛾)のRBFカーネルと同じ性能を示す • シグモイドカーネルもRBFカーネルと同じように動作 – 調整すべきカーネルパラメータが1つ • 多項式カーネルの場合，2つ – 数値計算上の理由 17
- 19. やるべきこと • カーネル関数はRBFカーネルを使うことに決 めた • 調整すべきパラメータは 𝐶 と 𝛾 – ただし最適なパラメータがわからない 19
- 20. Cross-validation (交差検定) • 訓練データとテストデータ – テストデータは本来未知のデータ • 訓練データをk分割 – k-1ブロックのデータを用いて訓練 – 1ブロックのデータを用いて疑似的にテスト 訓練データ このうち1ブロックを除いたデー k分割 タで訓練したモデルを使って1ブ ロックのデータを評価 (これを k回繰り返す) 20
- 21. 交差検定をしない場合 • 訓練データにオーバーフィットしてしまい， テストデータに対してうまく働かない 21
- 22. 交差検定をした場合 • 訓練データに対するオーバーフィットを避ける ことができ，テストデータに対してもうまく働く 22
- 23. Grid-search (グリッド探索) • パラメータ 𝐶, 𝛾 を網羅的に探索する – 右下図の赤い点を絨毯爆撃するイメージ – 経験的に指数増加列がよい • 例) 𝐶 = 2−5 , 2−3 , … , 215 , 𝛾 = 2−15 , 2−13 , … , 23 • Grid-searchを用いる理由 log 2 𝛾 – 網羅的なので安心 – RBFカーネルの場合，探索パラメー タが2つのため，コストが高くない – 並列化が容易 log 2 𝐶 23
- 24. 粗い探索をしてから 精度 (%) ここが良さそう! 24
- 25. 細かい探索を行う 精度 (%) よりよいパラメータ を発見 25
- 26. 提案手順の実例 26
- 27. Astroparticle Physics データ (1/2) • デフォルトパラメータ • デフォルトパラメータ＋スケール調整 27
- 28. Astroparticle Physics データ (2/2) • パラメータ選択＋スケール調整 デフォルト → スケール調整 → パラメータ選択＋スケール調整 66.93% → 96.15% → 96.88% 28
- 29. Bioinformatics データ (1/2) • デフォルトパラメータ • デフォルトパラメータ＋スケール調整 29
- 30. Bioinformatics データ (2/2) • パラメータ選択＋スケール調整 デフォルト → スケール調整 → パラメータ選択＋スケール調整 56.52% → 78.52% → 85.12% 30
- 31. Vehicle データ (1/2) • デフォルトパラメータ • デフォルトパラメータ＋スケール調整 31
- 32. Vehicle データ (2/2) • パラメータ選択＋スケール調整 デフォルト → スケール調整 → パラメータ選択＋スケール調整 2.44% → 12.20% → 87.80% 32
- 33. easy.py の使い方 • スケール調整＋パラメータ選択を自動的に実行 訓練データ テストデータ 33
- 34. よくあるミス 34
- 35. スケール調整でよくあるミス • 訓練データとテストデータで異なるスケール調整を行って しまう ⇒ 同じスケール調整を行う × ○ 35
- 36. (RBFカーネルではなく) 線形カーネルを使うケース 36
- 37. 線形カーネルを使うケース • 特徴次元数が大きい場合，高次元に写像する必要がない – 精度向上が見込めないことがある • そのような場合は線形カーネルで十分 – 調整パラメータがCだけで済む – RBFカーネルも線形カーネル相当ということを述べたが，(C, γ) の調整が必要 • 以下の3つのケースに分けて解説 – (1) 事例数 ≪ 素性数 – (2) 事例数も素性数も大きい場合 – (3) 事例数 ≫ 素性数 37
- 38. (1) 事例数 ≪ 素性数の場合 (1/2) • 線形カーネルで十分 – 高次元に写像する必要がない – 線形カーネルの場合，LIBLINEARも利用可能 • バイオインフォマティクスのマイクロアレイデータの 多くがこのケース – 例) Leukemia data • #training=38, #test=34, #feature=7,129 38
- 39. (1) 事例数 ≪ 素性数の場合 (2/2) 訓練データとテストデータを結合して交差検定の精度で比較 • RBFカーネル • 線形カーネル 39
- 40. (2) 事例数も素性数も大きい場合 • LIBSVMは苦手とするケース • LIBLINEARの利用を考える – 線形カーネルしか利用できないが，LIBSVMとは 最適化手法が異なり，LIBSVMより高速に学習可 能 40
- 41. LIBSVM vs. LIBLINEAR • 速度と精度の比較 線形カーネル 速度でLIBLINEARがLIBSVMを上回る 精度が微妙に変わるのは最適化手法が異なるため (どちらが良いかはケースバイケース) 41
- 42. (3) 事例数 ≫ 素性数 • 素性数が少なく，事例数が多い場合には非線形カーネ ルを利用して高次元に写像する方がよい • もし線形カーネルを利用する場合には，LIBLINEARの-s 2 オプションを用いると高速に学習が可能 この速度差も最適化手法の違いによるもの 42
- 43. まとめ • 覚えておくこと – オススメ手順 – 迷ったらRBFカーネルときどき線形カーネル – スケール調整とパラメータ選択は大切 • 今回扱わなかった話題 – 素性選択 – 非線形カーネルの選択 43
- 44. (再掲) オススメ手順 1. データをSVMパッケージの入力形式に変換する 2. 簡単なスケール調整を行う 3. RBFカーネルの利用を検討する 4. 交差検定を用いて最適なパラメータ𝐶と𝛾を発見する 5. 最適なパラメータを用いて訓練データに対してモデ ルの生成を行う 6. テストデータに対して適用する 44
- 45. おしまい 45