![今回取り上げるのはこれ
[1]H. V. Hasselt, et al. “Deep Reinforcement Learning with
Double Q-learning” arXiv:1509.06461, 2015.
と、そのもとになってる論文
[2]H. V. Hasselt. “Double Q-learning” Advances in NIPS,
23:2613-26212015.
DQNを改良し、ゲームでさらなる高得点を叩き出した！](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from WEBFARMER. ltd.
More from WEBFARMER. ltd. (20)
introduction to double deep Q-learning
- 2. 今回取り上げるのはこれ [1]H. V. Hasselt, et al. “Deep Reinforcement Learning with Double Q-learning” arXiv:1509.06461, 2015. と、そのもとになってる論文 [2]H. V. Hasselt. “Double Q-learning” Advances in NIPS, 23:2613-26212015. DQNを改良し、ゲームでさらなる高得点を叩き出した！
- 3. もともとのDQNはこれ [3]V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves I. Antonoglou, D. Wierstra, M. Riedmiller. “Playing Atari with Deep Reinforcement Learning” arXiv:1312.5602, 2013. もしくは [4]V. Mnih, et al. “Human-level control through deep reinforcement learning” nature, 2015.
- 4. DQNの解説は DQNの解説に関しては、[3]塚原裕史氏「論文紹介 Playing Atari with Deep Reinforcement Learning」 http://www.slideshare.net/htsukahara/paper-intoduction-playing-atari- with-deep-reinforcement-learning や[4]藤田康博氏「Playing Atari with Deep Reinforcement Learning」 http://www.slideshare.net/mooopan/ss-30336609 あるいは[5]私の「ディープラーニングの最新動向 強化学習とのコラボ 編① DQN」 http://www.slideshare.net/ssuser07aa33/introduction-to-deep-q-learning などを参考にして下さい
- 12. DQN（natureヴァージョン）のアルゴリズム [1] より よって行動を選択する ためのaction value（ ） と行動を評価するため のaction value（ ）は微 妙に違う Q ∧ Q actionの過大評価 は若干削減された？ もっと削減するには・・・ DDQN！
- 14. DDQNだとここを変更する [4] より rj +γ Q ∧ φj+1,argmax a' Q φj+1,a';θ( );θ−⎛ ⎝ ⎜ ⎞ ⎠ ⎟ こうする これを
- 15. まず に を入力して出た action value の中で最大となる を選択する 次に に を入力するして出た action value のうち、 に対応するものを選択す る に を入力して出た各 action value の中で最大のものを採用rj +γ max a' Q ∧ φj+1,a';θ− ( ) actionの評価を変更する rj +γ Q ∧ φj+1,argmax a' Q φj+1,a';θ( );θ−⎛ ⎝ ⎜ ⎞ ⎠ ⎟ φj+1 Q ∧ θ− φj+1 Q φj+1 a' a' Q ∧ θ θ− 過大評価はかな り削減される！？
- 16. 終わり