これから始める人のためのディープラーニング基礎講座
•
26 likes•9,280 views
このスライドは、2018 年 4 月 24 日 (火) にベルサール高田馬場にて開催の NVIDIA Deep Learning Seminar 2018における最初のセッション、ディープラーニング ソリューションアーキテクト 山崎和博による「これから始める人のためのディープラーニング基礎講座」の資料です。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to これから始める人のためのディープラーニング基礎講座
Similar to これから始める人のためのディープラーニング基礎講座 (20)
More from NVIDIA Japan
More from NVIDIA Japan (20)
Recently uploaded
Recently uploaded (9)
これから始める人のためのディープラーニング基礎講座
- 1. 山崎和博 これから始める人のための ディープラーニング基礎講座 NVIDIA Deep Learning Solution Architect
- 3. ディープラーニングとは
- 8. ディープラーニングを加速する3つの要因 8 “Google’s AI engine also reflects how the world of computer hardware is changing. (It) depends on machines equipped with GPUs… And it depends on these chips more than the larger tech universe realizes.” DNN GPUBIG DATA
- 10. 人工ニューラルネットワーク 人工ニューロンを基本単位とするネットワーク構造 10 w1 w2 w3 x1 x2 x3 y y=w1x1+w2x2+w3x3 人工ニューロン（パーセプトロン） 人工ニューラルネットワーク 人工ニューロンを たくさんの層として並べる 各層にそれぞれ 重みパラメータを持つ
- 11. 人工ニューラルネットワーク 活性化関数 11 w1 w2 w3 x1 x2 x3 y=w1x1+w2x2+w3x3 人工ニューロン（パーセプトロン） y F z=F(y) F: activation function 活性化関数 (activation function) z 次の層 tanh ReLU sigmoid
- 18. 重み更新 勾配法による更新 18重み w 誤差 E 最適解 現在値 誤差を最小化する 重みが最適解 ニューラルネットワークの 内部状態（＝重み）に応じて 誤差は変動
- 20. 重み更新 勾配法による更新 20重み w 誤差 E 最適解 傾きが正（＝右上がり） なら値を減少させる 傾きが負（＝右下がり） なら値を増加させる wn wm 傾き（=勾配ベクトル）により 重みを逐次更新
- 27. 学習プロセスの単位: ミニバッチ 27 全トレーニングデータ（バッチ） ミニバッチ#3 ミニバッチ#2 ミニバッチ#1 ミニバッチ#1 誤差 誤差 誤差 誤差 ミニバッチ単位で 誤差を計算し更新
- 33. 学習率 重みの更新量を調整するパラメータ 33重み w 誤差 E wnwn+1 wn+2 学習率が大きすぎると 最適解付近を往復 誤差 E wnwn+1wn+2 学習率が小さすぎると 学習の進みが遅い
- 38. その他のテクニック • Pretraining • Fine-tuning(Transfer learningを一部含む) • Optimizers(AdaGrad, Adam, etc...) • Learning rate scheduling • など…… 深いネットワークを学習するために 38
- 39. さまざまなネットワークと応用例
- 42. 畳み込みニューラルネットワーク (CONVOLUTIONAL NEURAL NETWORK) 重み共有による局所構造の獲得 42 生データ 低レベルの特徴 中間レベルの特徴 高レベルの特徴 入力 結果
- 47. リカレントニューラルネットワーク (RECURRENT NEURAL NETWORK) 系列データを自然に扱うためのネットワーク 47 隠れ層の出力を 隠れ層の入力として戻す 出力層 隠れ層 入力層
- 48. リカレントニューラルネットワーク (RECURRENT NEURAL NETWORK) 系列データを自然に扱うためのネットワーク 48 出力層 隠れ層 入力層 展 開 出力層 隠れ層 入力層 出力層 隠れ層 入力層 t = 1 t = 2 前の出力を次の入力に することで、依存関係を考慮 長い系列ほど深い ネットワークになる
- 49. LSTM: LONG SHORT-TERM MEMORY RNNの欠点を解消するネットワーク 49 出力層 隠れ層 入力層 RNNの隠れ層を LSTMブロックで置き換え いくつかのゲートによって 長期の依存関係を 学習できるように
- 53. NVIDIA DEEP LEARNING プラットフォーム 53 COMPUTER VISION SPEECH AND AUDIO BEHAVIOR Object Detection Voice Recognition Translation Recommendation Engines Sentiment Analysis DEEP LEARNING cuDNN MATH LIBRARIES cuBLAS cuSPARSE MULTI-GPU NCCL cuFFT Mocha.jl Image Classification ディープラーニング SDK フレームワーク アプリケーション GPU プラットフォーム CLOUD GPU Tesla V100 Tesla P40/P4 Jetson TX2 SERVER DGX-1 TensorRT DRIVEPX2 CUDA
- 54. どのフレームワークを使うべきか？ 用途などに応じて使い分ける 54 C++? Python? Define-and-run? Define-by-run? Popular? Unpopular? ? ? etc…
- 55. 計算グラフによるネットワーク構築 多くのフレームワークに共通する考え方 55 input conv1 h1 pool1 h2 conv2 h3 pool2 h4 fc1 h5 relu1 h6 fc2 h7 softmax prob. loss label error 計算 データ
- 56. 計算グラフによるネットワーク構築 多くのフレームワークに共通する考え方 56 input conv1 h1 pool1 h2 conv2 h3 pool2 h4 fc1 h5 relu1 h6 fc2 h7 softmax prob. loss label error 計算 データ 順方向に処理: forward propagation Forward propagationで行われる処理 • ネットワークに入力データ(=input)を渡して、 順番に計算を進める 主に学習時のみの処理 • 教師データ(=label)と、ネットワークの出力 (=prob.)から、目的関数(=loss)を計算し誤 差(=error)として定量化
- 57. 計算グラフによるネットワーク構築 多くのフレームワークに共通する考え方 57 input conv1 h1 pool1 h2 conv2 h3 pool2 h4 fc1 h5 relu1 h6 fc2 h7 softmax prob. loss label error 計算 データ Backward propagationで行われる処理 • Forwardで計算した誤差を使って、出力層側 から各層の勾配を計算 (計算完了後に、各層の重みを更新) 逆方向に処理: backward propagation
- 58. 計算グラフの構築方法 Define-and-run vs. Define-by-run 58 # Define-and-Run # 計算グラフを構築後に、計算を実行 x = Variable(‘x’) w = Variable(‘w’) y = x * w for xi, wi in data: eval(y, (xi, wi)) # Define-by-Run # 計算グラフの構築と実行が同時 for xi, wi in data: x = Variable(xi) w = Variable(wi) y = x * w この時点では、 何も計算されていない この時点で、 計算結果を出力できる
- 59. 計算グラフの構築方法 Define-and-run vs. Define-by-run 59 # Define-and-Run # 計算グラフを構築後に、計算を実行 x = Variable(‘x’) w = Variable(‘w’) y = x * w for xi, wi in data: eval(y, (xi, wi)) # Define-by-Run # 計算グラフの構築と実行が同時 for i, (xi, wi) in enumerate(data): x = Variable(xi) w = Variable(wi) if i % 2 == 0: y = x * w else: y = x + w データに応じた 処理の分岐が楽 処理の分岐には 工夫が必要
- 60. 計算グラフの構築方法 Define-and-run vs. Define-by-run 60 # Define-and-Run # 計算グラフを構築後に、計算を実行 x = Variable(‘x’) w = Variable(‘w’) y = x * w for xi, wi in data: eval(y, (xi, wi)) # Define-by-Run # 計算グラフの構築と実行が同時 for i, (xi, wi) in enumerate(data): x = Variable(xi) w = Variable(wi) if i % 2 == 0: y = x * w else: y = x + w
- 61. ソフトウェアスタックの管理は大変 例: フレームワークを利用するアプリケーションのソフトウェアスタック 61 OS NVIDIA driver CUDA cuDNN cuBLAS … Applications Frameworks
- 62. ソフトウェアスタックの管理は大変 例: フレームワークを利用するアプリケーションのソフトウェアスタック 62 OS NVIDIA driver CUDA cuDNN 7cuBLAS… Applications FrameworkA 1.1 OS NVIDIA driver CUDA cuDNN 6 cuBLAS … Applications FrameworkB 1.1 フレームワークごとにGPUへの 対応状況が異なる場合、 複数バージョンが必要
- 63. ソフトウェアスタックの管理は大変 例: フレームワークを利用するアプリケーションのソフトウェアスタック 63 NVIDIA driver OS FrameworkA container CUDA cuDNN 7cuBLAS… FrameworkA 1.1 FrameworkB container CUDA cuDNN 6 cuBLAS … FrameworkB 1.1 うまくまとめられれば、 複数バージョンの 共存を容易にできる
- 65. SUMMARY
- 66. KEY TAKEAWAYS 1. ディープラーニングは、ニューラルネットワークがベースとなる手法 2. ネットワークの学習には、主に勾配法と誤差逆伝播法が用いられる 3. 学習が適切に行われたか、十分に検証することが重要 4. データの構造や特性に応じて、さまざまな構造のネットワークがある 5. フレームワークなどを利用することで、実装を効率化することができる ディープラーニングの実践に向けて 66