Enviar búsqueda
Cargar
ニューラルネットワーク入門
•
Descargar como PPTX, PDF
•
13 recomendaciones
•
20,328 vistas
naoto moriyama
Seguir
ニューラルネットワークの基礎であるパーセプトロンから、勾配計算までの概念をまとめました。
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 30
Descargar ahora
Recomendados
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Masaya Kaneko
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
Deep Learning JP
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
Deep Learning JP
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
転移学習ランキング・ドメイン適応
転移学習ランキング・ドメイン適応
Elpo González Valbuena
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
Recomendados
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Masaya Kaneko
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
Deep Learning JP
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
Deep Learning JP
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
転移学習ランキング・ドメイン適応
転移学習ランキング・ドメイン適応
Elpo González Valbuena
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
ARISE analytics
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
【DL輪読会】Mastering Diverse Domains through World Models
【DL輪読会】Mastering Diverse Domains through World Models
Deep Learning JP
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
MasanoriSuganuma
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
Yusuke Uchida
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
報酬設計と逆強化学習
報酬設計と逆強化学習
Yusuke Nakata
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
[DL輪読会]World Models
[DL輪読会]World Models
Deep Learning JP
CycleGANで顔写真をアニメ調に変換する
CycleGANで顔写真をアニメ調に変換する
meownoisy
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
Graph Neural Networks
Graph Neural Networks
tm1966
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
naoto moriyama
Dilated rnn
Dilated rnn
naoto moriyama
Más contenido relacionado
La actualidad más candente
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
ARISE analytics
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
【DL輪読会】Mastering Diverse Domains through World Models
【DL輪読会】Mastering Diverse Domains through World Models
Deep Learning JP
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
MasanoriSuganuma
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
Yusuke Uchida
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
報酬設計と逆強化学習
報酬設計と逆強化学習
Yusuke Nakata
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
[DL輪読会]World Models
[DL輪読会]World Models
Deep Learning JP
CycleGANで顔写真をアニメ調に変換する
CycleGANで顔写真をアニメ調に変換する
meownoisy
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
Graph Neural Networks
Graph Neural Networks
tm1966
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
La actualidad más candente
(20)
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
【DL輪読会】Mastering Diverse Domains through World Models
【DL輪読会】Mastering Diverse Domains through World Models
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
報酬設計と逆強化学習
報酬設計と逆強化学習
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]World Models
[DL輪読会]World Models
CycleGANで顔写真をアニメ調に変換する
CycleGANで顔写真をアニメ調に変換する
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
Graph Neural Networks
Graph Neural Networks
深層生成モデルと世界モデル
深層生成モデルと世界モデル
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Más de naoto moriyama
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
naoto moriyama
Dilated rnn
Dilated rnn
naoto moriyama
最近の自然言語処理
最近の自然言語処理
naoto moriyama
Deep forest
Deep forest
naoto moriyama
Differentiable neural conputers
Differentiable neural conputers
naoto moriyama
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
naoto moriyama
自然言語処理 Word2vec
自然言語処理 Word2vec
naoto moriyama
自然言語処理
自然言語処理
naoto moriyama
Más de naoto moriyama
(8)
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
Dilated rnn
Dilated rnn
最近の自然言語処理
最近の自然言語処理
Deep forest
Deep forest
Differentiable neural conputers
Differentiable neural conputers
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
自然言語処理 Word2vec
自然言語処理 Word2vec
自然言語処理
自然言語処理
Último
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
Último
(9)
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
ニューラルネットワーク入門
1.
ニューラルネットワーク入門 〜パーセプトロンから勾配降下法まで〜 森山直人
2.
パーセプトロン x z 人間の思考(脳)を構築する最小計算ユニッ トであるパーセプトロンを考える
3.
パーセプトロン 何かを入力 ゴニョゴニョ して 何かを出力 x z
4.
一般的な動作原理 入力が一定に 達すると そこで出力する x z
5.
バイアス 入力が一定に 達すると 出力する これをバイアスという bx z
6.
複数入力 入力は複数になる ※でも出力は1つ x2 z x1 x3
7.
複数入力 ここにもバイアスはある bx2 x1 x3
8.
重み b 入力の重みを変えてみる (太さが重みの度合い) x2 x1 x3
9.
重み b 入力の重みを変えてみる (太さが重みの度合い) x2 x1 x3 w1 w2 w3
10.
総入力 bx2・w2 入力の合計とバイアスを比較 ⇒出力 x3・w3 x1・w1
11.
活性化関数 x・w z b 出力の値をコントロールしたい Why? ただ一定の閾値を超えると発火するのでは、線 形分離しかできない 非線形性を持たすことで、表現の自由度を獲得 したい 多層になった場合にいろいろ都合が良い(後 述)
12.
活性化関数 x・w z b ここを関数化する
13.
活性化関数 x・w z b ここを関数化する ⇒ z
= f(x・w + b)
14.
活性化関数 ⇒ z =
f(x・w + b) この f() の中身の計算によって、出力されるzの値が変わってくる • シグモイド ⇒ 0 ~ 1 • 双曲線正接関数 ⇒ -1 ~ 1 • 正規化線形関数 ⇒ 0 ~ ∞
15.
ニューラルネットワーク 前述したパーセプトロンが多数積み重なったもの 出力は複数あるが、すべて同じ出力のコピー 入力層 隠れ層 出力層
16.
ニューラルネットワーク 入力層 隠れ層 出力層 活性化関数と誤差関数は基本的に単一 パーセプトロンと同じ考え ・活性化関数: ∟各層の各ニューロンごとに活性化関数を持つ ∟異なる層で異なる誤差関数を持つことができる ・誤差関数 ∟出力層と正解データ間にて誤差関数を計算 ∟後述の誤差逆伝搬を用いて、各ニューロンの微分
17.
f() ニューラルネットワークのフロー x x*w w x*w+b b 入力 重み付加
バイアス計算 活性化関数
18.
誤差 ここまでは、パーセプトロンの動作について考えてきたが、その パーセプトロンが正しく機能しているかを判断する必要がある そもそも、パーセプトロンを使う理由はその計算によって、意図す る値を出力させること 誤った値が出た場合は、正しい値を出力させるべく、本来出力させ たい値と比較させ、ずれた度合いに応じて、パーセプトロン内の値 を修正する必要がある
19.
誤差 修正箇所は重みとバイアス x・w z b
20.
誤差関数 bx・w z y パーセプトロンの計算結果 正しい値 ここの差分を 計算すれば良い
21.
誤差関数 bx・w z y パーセプトロンの計算結果 正しい値 E(w)
= ‖ y - f(w・x + b) ‖ 誤差関数 正解 活性化関数 入力値 2 (絶対値を取る)
22.
誤差関数 E(w) = ‖
y – f(w・x + b) ‖ 誤差関数 正解 活性化関数 入力値 この誤差関数が小さいほど、正解データと近い値が 出力されたことになる ⇒良い重みとバイアスが設定でいていることになる 2
23.
勾配降下 誤差を小さくしたい 誤差関数の最小化を図る
24.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい
25.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい 今こことする
26.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい 少しずつ誤差が小さくなるよう、 wを修正していく
27.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい 修正し過ぎると、意図しない 位置まで行ってしまう
28.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい この修正度合いを決めるのが とても重要
29.
勾配降下法 E(w) w 誤差が最小の値 このwの値を知りたい この修正度合いを決めるのが とても重要 この「修正度合い」は一般的に 学習率と呼ばれる。 この学習率は様々なアルゴリズム によって計算される。 例) ・AdaGrad ・RMSProp ・AdaDelta ・Adam
30.
次回はバッチ学習から解説します・・・
Descargar ahora