SlideShare una empresa de Scribd logo
1 de 141
HoloLens光学系の謎に迫る!
発表者:あるしおうね
自己紹介:あなた誰?
なまえ:あるしおうね (某車の名前から)
しごと:VR/ARエンジニア(自称)
しゅみ:ARでミクさんと色々やっています
だいがく:ちょっと変わったHMDを作っていました
ミクさんARフィギュア
ビデオシースルーAR+
口唇触覚デバイスで
ミクさんとキス
HoloLensで
ミクさんとARデート
入門:VR-HMDの光学系は?
VR-HMDの光学系:目
● まず目ありき
● 遠くに物があるとして
VR-HMDの光学系:目
● 物からの色んな角度の光が目に入って来て絵として見える
=現実環境を見ている
VR-HMDの光学系:目
● 簡単のために物は無限遠にあると仮定します
=ある角度からの光は全て平行光として目に入射する
言い訳:2m先に物体が存在する場合を考えても、瞳孔径が3mmとして両端の光線がなす角度は
わずかに0.086°なので、ほぼ無限遠の平行光に近い
VR-HMDの光学系:目
● 最も簡単なディスプレイ
VR-HMDの光学系:無限遠のディスプレイ
● 最も簡単なディスプレイ:映画館
でかくて頭に乗らない
VR-HMDの光学系:無限遠のディスプレイ
超巨大スクリーン
● レンズを間に置いて、平行光を近くの液晶パネルに収束させる
VR-HMDの光学系:最も簡単なHMD
レンズ
液晶パネル
● レンズを間に置いて、平行光を近くの液晶パネルに収束させる
=(無限遠の)現実環境と等価な物を見ている
VR-HMDの光学系:最も簡単なHMD
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
レンズ
液晶パネル
● 目をキョロキョロした場合
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 目が上下左右にずれた場合
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● メガネを入れた場合(=前後にずれた場合)
レンズ
液晶パネルメガネ
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ レンズと液晶パネルが大きければ十分な幅を確保できる
レンズ
液晶パネル
平行光の幅
瞳孔径
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ レンズと液晶パネルが大きければ十分な幅を確保できる
レンズ
液晶パネル
平行光の幅
瞳孔径
VR-HMDの光学系:HMD内で目が動くとどうなる?
レンズ
液晶パネル
平行光の幅
瞳孔径
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ レンズと液晶パネルが大きければ十分な幅を確保できる
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネルメガネ
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
角度α=視野角
α
VR-HMDの光学系:HMD内で目が動くとどうなる?
● それぞれの平行光の幅は瞳孔径よりずっと大きい
○ 全て角度の平行光を含む青い三角形の中に瞳孔があれば多少動いても同じ絵が見える
レンズ
液晶パネル
角度α=視野角なので、同じレンズ径なら広視野角ほど三角形は小さくなる
α
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 小さなレンズ&液晶ではどうなるか?
○ 青い三角形も小さくなる=目の動かせる範囲が狭くなる
○ 目とレンズが滅茶苦茶近い=メガネのスペースもない
レンズ 液晶パネル
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 小さなレンズ&液晶ではどうなるか?
○ 目が少し上下にずれると…?
レンズ 液晶パネル
像が一部消失
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 小さなレンズ&液晶ではどうなるか?
○ くしゃみをすると…
レンズ 液晶パネル
ぎゃああああ
VR-HMDの光学系:HMD内で目が動くとどうなる?
● VR-HMDの結論:大きなレンズと液晶は正義
レンズ
液晶パネル
VR-HMDはスマホ/タブレット向けサイズの液晶/有機ELの普及で高性能化した
VR-HMDの光学系:HMD内で目が動くとどうなる?
● 目が前後上下左右に動いていい範囲=アイボックス
○ 大きなレンズと液晶は広いアイボックスを確保しやすい
レンズ
液晶パネル
視野角と同じかそれ以上に重要な性能パラメータ
VR-HMDの光学系:HMD内で目が動くとどうなる?
光学シースルー方式の
AR-HMDではどうなる?
● 視界の確保には目の前のレンズと液晶が邪魔
AR-HMDの光学系:どうやって実視界を確保する?
レンズ
液晶パネル
● 視界の確保には目の前のレンズと液晶が邪魔
AR-HMDの光学系:どうやって実視界を確保する?
レンズ
液晶パネル
● 視界の確保には目の前のレンズと液晶が邪魔
○ 1.とりあえずレンズと液晶を少し離す
レンズ
液晶パネル
AR-HMDの光学系:どうやって実視界を確保する?
● 視界の確保には目の前のレンズと液晶が邪魔
○ 2.間にハーフミラーを差し込む
レンズ
液晶パネル
AR-HMDの光学系:どうやって実視界を確保する?
● 視界の確保には 目の前のレンズと液晶が邪魔
○ 3.光路を曲げる
レンズ
液晶パネル
AR-HMDの光学系:どうやって実視界を確保する?
● 視界の確保には 目の前のレンズと液晶が邪魔
○ 4.CGと実物体の
合成像が
得られる
レンズ
液晶パネル
実物体
合成像
AR-HMDの光学系:どうやって実視界を確保する?
● レンズと液晶が離れている=
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
AR-HMDの光学系:この光学系の課題は?その1
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ この配置がなす三角形は
AR-HMDの光学系:この光学系の課題は?その1
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ この配置がなす三角形はVR-HMDの三角形より鋭角になる
○ ハーフミラーもあるので一定以上近づけない=前後に動ける範囲に制限
AR-HMDの光学系:この光学系の課題は?その1
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
● 光学系が
AR-HMDの光学系:この光学系の課題は?その2
レンズ
液晶パネル
● 光学系が分厚い
AR-HMDの光学系:この光学系の課題は?その2
レンズ
液晶パネル
● みんなが望むAR-HMDは…
AR-HMDの光学系:この光学系の課題は?その2
● みんなが望むARグラスは…
AR-HMDの光学系:この光学系の課題は?その2
● みんなが望むARグラスは…
薄いメガネ型でこの辺に電子部品が内蔵されている(小学生並の妄想)
AR-HMDの光学系:この光学系の課題は?その2
● ARグラス型:薄くてコンパクト
● アイボックスの確保:多少目が動いてもOK
● 広い視野角:凄い没入感!
AR-HMDの光学系:要求まとめ
AR-HMDの光学系:要求まとめ
HoloLens光学系はこれらの両立を目指している(道半ば)
● ARグラス型:薄くてコンパクト
● アイボックスの確保:多少目が動いてもOK
● 広い視野角:凄い没入感!
HoloLensの光学系:コンパクトさの追求
● 小さいレンズと液晶を使用
レンズ 液晶パネル
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
HoloLensの光学系:コンパクトさの追求
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
レンズ 液晶パネル
像が一部
しか見えない
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
○ レンズと液晶を大きくする以外の解決法…石油王ならどうする?
レンズ 液晶パネル
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
○ レンズと液晶を大きくする以外の解決法…石油王ならどうする?
■ 石油王「小さいレンズと液晶をたくさん置けばいいじゃない」
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
● 小さいレンズと液晶を使用
○ 三角形も小さいので、余程目を近づけないと一部しか見えない
○ レンズと液晶を大きくする以外の解決法…石油王ならどうする?
■ 石油王「小さいレンズと液晶をたくさん置けばいいじゃない」
こうすると三角形は大きくできると覚えておいてください
HoloLensの光学系:コンパクトさの追求
小さい液晶(LCOS)パネル
写真は0.37インチ版
(Himax社公式ページより引用)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 分厚いハーフミラーは使いたくない
レンズ 液晶パネル
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ とりあえず上にずらしてみる
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光を目の前に導くWaveguide:導光素子=透明の薄い板を置く
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光を曲げて導光素子内に入れるDOE:回折光学素子(回折格子)を置く
液晶パネルレンズ
DOE(回折光学素子):隣り合う光との干渉で
特定方向への光を強めたり弱めたり(≒光を曲
げる事が)出来る素子。特性は光の波長に強
く依存する(写真はTomshardwareより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 曲がった光は導光素子内部で全反射を繰り返して下に向かう
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光が目の前に来たら、目の前にもDOEを置いて再び光を真っ直ぐに戻す
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ 光が目の前に来たら、目の前にもDOEを置いて再び光を真っ直ぐに戻す
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
像が一部
しか見えない
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像下側の光線…外れ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
レンズと液晶が小さい問題は変わらない
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
レンズと液晶が小さい問題は変わらない
ここで石油王の言葉
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ …が、このままでは真ん中しか見えない
液晶パネルレンズ
画像上側の光線…外れ
レンズと液晶が小さい問題は変わらない
ここで石油王の言葉
「小さいレンズと液晶をたくさん置けばいいじゃない」
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEで光を曲げて目に入射する前と後にも反射光がある
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
液晶パネルレンズ
液晶パネルレンズ
画像下側の光線…当たり!
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEを上下に広げて前後の反射光も曲げて光を複製する
HoloLensの光学系:薄さの追求
液晶パネルレンズ
画像上側の光線…当たり!
● 目の前の邪魔なレンズと液晶をどうするか?
○ 実質的に三角形を大きくできる=石油王的解決法!
液晶パネルレンズ
HoloLensの光学系:薄さの追求
● 目の前の邪魔なレンズと液晶をどうするか?
○ DOEには波長依存性があるので、実際はRGBの波長ごとに光を曲げている
液晶パネルレンズ
RGB
HoloLensの光学系:薄さの追求
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
米国特許:US 9513480 B2より引用
回折格子の配置(3つある)
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
■ 導光素子内の下側のDOEで、
目に入射する光を複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
■ 導光素子内の下側のDOEで、
目に入射する光を複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
● 二次元でのアイボックスの拡大
○ 上下だけでなく左右はどうなっている?(前から見てみる)
■ まず入射用のDOEで右に光が曲げられる
■ 導光素子内の上側のDOEで、光を下と右に複製する
■ 導光素子内の下側のDOEで、
目に入射する光を複製する
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
複製する回数を増やせば、薄型のまま
アイボックスを大きくできる
=目が多少動いても大丈夫
HoloLensの光学系:アイボックスの確保
米国特許:US 9513480 B2より引用
複製する回数を増やせば、薄型のまま
アイボックスを大きくできる
=目が多少動いても大丈夫
Exit Pupil Expander:射出瞳拡張光学系
射出瞳≒目が動いていい範囲
(E P E)
● 理想のARグラスへ
HoloLensの光学系:薄さとアイボックスの両立
米国特許:US 9513480 B2より引用
端から小さく光を入れるだけなので、
● 理想のARグラスへ
HoloLensの光学系:薄さとアイボックスの両立
米国特許:US 9513480 B2より引用
端から小さく光を入れるだけなので、
薄くて小さいARグラスが実現できる
薄いメガネ型でこの辺に電子部品が内蔵されている(小学生並の妄想)
● 薄くてアイボックスが大きいARグラスが出来る。しかし…
HoloLensの光学系:課題
● 薄くてアイボックスが大きいARグラスが出来る。しかし…
○ 視野角が小さい
○ 色ムラがある
HoloLensの光学系:課題
● 何故視野角が小さいの?
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ もっと光を複製すれば、
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ もっと光を複製すれば、三角形を大きく視野角も広くできるのでは?
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ もっと光を複製すれば、三角形を大きく視野角も広くできるのでは?
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
出来ない
● 何故視野角が小さいの?
○ 視野角は画像上端からの光線と
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 視野角は画像上端からの光線と下端からの光線がなす角度で決まる
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 視野角は画像上端からの光線と下端からの光線がなす角度で決まる
■ 三角形のαに等しい
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
α
● 何故視野角が小さいの?
○ 画像上端からの光線は導光素子内で反射を繰り返せる角度である必要がある
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
※実はこの図は不適切(導光素子が厚すぎる)
で、下端からの光線と同じ複製回数が
望ましい
● 何故視野角が小さいの?
○ 画像下端からの光線は導光素子から飛び出さないように全反射条件を満たす角度である必要がある
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
全反射:一定以下の浅い角度で入射した光が
透過せずに鏡の様に反射する現象。光を透過
する媒質の屈折率で角度の閾値は変わる
(写真はWikipediaより)
入射する角度が上端からの光線より深い
● 何故視野角が小さいの?
○ 導光素子で画像上端からの光線と下端からの光線の両方を導く角度の限界
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 導光素子で画像上端からの光線と下端からの光線の両方を導く角度の限界
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
導光素子を光を導くとき
● 各光線の複製回数を(大体)等しくする
● 全反射条件の維持
を両立する条件で限界が決まる
● 何故視野角が小さいの?
○ 一言で言うと…
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 一言で言うと…大体導光素子のせい
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
● 何故視野角が小さいの?
○ 一言で言うと…大体導光素子のせい
HoloLensの光学系:課題1 視野角
液晶パネルレンズ
特に全反射条件の制限は厳しく、HoloLensだけでなく
導光素子を使うAR-HMD全般の課題
● 光を複製するEPE光学系は三角形を大きくできるけど…
HoloLensの光学系:課題2 色ムラ(推測含)
液晶パネルレンズ
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
HoloLensの光学系:課題2 色ムラ(推測含)
液晶パネルレンズ
米国特許:US 9513480 B2より引用
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
■ それをRGB3色でやる必要がある
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用1ミクロン以下
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
■ それをRGB3色でやる必要がある
■ 上記は超精密なDOEをいじる必要がある
● 超細かい格子の表面での反射や、
溝の深さ、角度をも考慮する必要がある
HoloLensの光学系:課題2 色ムラ(推測含)
米国特許:US 9513480 B2より引用
一言で言うと、かなり大変では?
● 光を複製するEPE光学系は三角形を大きくできるけど…
○ ムラの無い表示=全ての角度の光を均一に複製する設計、製造が必要
■ 位置によって反射率を適切に変える必要がある
■ それをRGB3色でやる必要がある
■ 上記は超精密なDOEをいじる必要がある
HoloLensの光学系:まとめ
● 小さいレンズ&液晶と導光素子を使って薄くコンパクトに
● レンズ&液晶をDOEで複製するEPE光学系で
アイボックスを確保(目が動いても大丈夫)
HoloLensの光学系:まとめ
● 小さいレンズ&液晶と導光素子を使って薄くコンパクトに
● レンズ&液晶をDOEで複製するEPE光学系で
アイボックスを確保(目が動いても大丈夫)
● 主に導光素子による制約で視野角が限られている
● DOEでのレンズ&液晶の均一な複製は難しく
色ムラが出やすいのでは?(※推測)
HoloLensの光学系:まとめ
● 小さいレンズ&液晶と導光素子を使って薄くコンパクトに
○ 将来は本当の意味でのARグラスに!
● レンズ&液晶をDOEで複製するEPE光学系で
アイボックスを確保(目が動いても大丈夫)
● 主に導光素子による制約で視野角が限られている
○ 解決する特許が出ているので何とかなるかも?
● DOEでのレンズ&液晶の均一な複製は難しく
色ムラが出やすいのでは?(※推測)
○ 特許や製造工程の改善で何とかなるかも?
最後に一言
● HoloLensは複雑なデバイスですが、
特定の意図、思想に基づいて設計されています
● その意図、思想を読み解くと、視野が広がるかもしれません
● 魔法使いのエンジニアの皆さんにとって、
魔法の中身を垣間見る一助になれば幸いです
● 提案特許:光を左右二方向に分割して複製する
HoloLensの光学系:視野角の拡大手段は?
PCT特許:WO2017180403より引用
HoloLensの光学系:視野角の拡大手段は?
左側半分の視野の光線を担当 右側半分の視野の光線を担当
● 提案特許:光を左右二方向に分割して複製する
PCT特許:WO2017180403より引用
● 提案特許:光を左右二方向に分割して複製する
○ 真ん中から光を入れる必要があるのでちょっと格好悪くなる?
HoloLensの光学系:視野角の拡大手段は?
左側半分の視野の光線を担当 右側半分の視野の光線を担当
PCT特許:WO2017180403より引用
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
AR-HMDの光学系:視野角/アイボックスの確保手段
レンズ
液晶パネル
※光路を折りたたまなかった場合の配置
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ ハーフミラーとレンズを合体して近づける=曲面ハーフミラー化
レンズ
液晶パネル
AR-HMDの光学系:視野角/アイボックスの確保手段
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ ハーフミラーとレンズを合体して近づける=曲面ハーフミラー化
○ 曲面ミラーが目に近い分より広い三角形に
AR-HMDの光学系:視野角/アイボックスの確保手段
曲面ハーフミラー
液晶パネル
● レンズと液晶が離れている=視野角or/andアイボックスが小さくなる
○ ハーフミラーとレンズを合体して近づける=曲面ハーフミラー化
○ 曲面ミラーが目に近い分より広い三角形に
■ ただし薄くないし液晶も大きい
曲面ハーフミラー
液晶パネル
Meta Vision社のMeta2 HMD
(写真は公式ページより)
AR-HMDの光学系:視野角/アイボックスの確保手段
● 入射角が臨界角を超えて浅い角度になった時
屈折光が無くなって反射光のみになる事
全反射 is 何?
「分かりやすい高校物理の部屋」様より引用
● 入射角が臨界角を超えて浅い角度になった時
屈折光が無くなって反射光のみになる事
全反射 is 何?
「分かりやすい高校物理の部屋」様より引用
n1:水の屈折率(=導光素子)
n2:空気の屈折率(ほぼ1)
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
↓複数じゃ困る!
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
↓こうなって欲しい
● 光が波の性質によって干渉して、障害物の後ろ側に回り込む現象
○ 格子状の板に波長と位相が整った光を入れると、格子で分割された隣り合う光同士が干渉して、
方向によって光が強め合ったり弱め合ったりする
回折 is 何?
「分かりやすい高校物理の部屋」様より引用
強め合った結果、回折光として複数の点が現れる
↓こうなって欲しい
※単なる格子でなく斜めになって
いるのは、不要な0次+2次以降の
回折光を削減するため
● アイボックス拡大の点では非常に有利だと主張されています
○ 縦軸:接眼部の厚み、横軸:アイボックスサイズで、
EPEは厚みを変えずにアイボックス拡大が可能
HoloLensのEPE光学系は他と比べてそんなに有利?
Bernard Kress氏特別講義より引用
● 違います。特許は前身となるNokiaから引き継がれています
○ さらに射出瞳拡張の手法自体は1987年に特許が取られているそうです
元は飛行機などのヘッドアップディスプレイ:HUD向け
HoloLensのEPE光学系はMSの独自発明?
Bernard Kress氏特別講義より引用
● 接眼部周辺は厚いが、光学系自体はかなり薄い
○ 手前のモジュールだけで表示ができる
HoloLensの表示光学系は本当に薄いの?
Bernard Kress氏特別講義より引用
HoloLensと同じような光学系は他にないの?
EPSONのMoverio公式ページより引用
● DOEによるEPE光学系を使うものは市販されてません
○ 導光素子を使った例:EPSON Moverio BT-100/200/300
■ 導光素子内ではDOE/HOEでなく反射のみで光を曲げており、高画質
● DOEによるEPE光学系を使うものは市販されてません
○ 導光素子+HOEを使った例:Sony SmartGlass
■ 商用化されている単色版は非常に薄型(映画館で実体験済)
HoloLensと同じような光学系は他にないの?
Mukawa H., et al, A Full Color Eyewear Display using Holographic Planar Waveguides, SID 2008, Vol.39, Issue 1, pp-89-92 より引用
● DOEによるEPE光学系を使うものは市販されてません
○ 導光素子+HOEを使った例2:Konica Minolta ウェアラブルコミュニケーター
■ 三色の光路の折り曲げと色分離を1つのHOEで実現(縞模様のDOEでなくホログラムを使
用)
HoloLensと同じような光学系は他にないの?
稲垣義弘,ホログラフィック光学素子を用いたウェアラブルディスプレイの光学設計,KONICA MINOLTA TECH. REPORT Vol.13, pp.123-127, 2016より引用
● 「網膜上に直接像が形成される」という定義では異なります
○ LCOS上で既に画像が表示されていて、本質的にはそれを覗き込む光学系
○ 下記の様な本来の網膜投影の場合、網膜上以外どこにも像が存在しない
HoloLensは網膜投影方式じゃないの?
(QDレーザー公式ページより引用) QDレーザー Eyewear
VR-HMDの光学系:アイボックスの現実
● 本当に三角形になるの?
○ 液晶の出射光の拡散範囲的に、実際は多くの場合菱形になるようです
レンズ
液晶パネル
VR-HMDの光学系:アイボックスの現実
● 本当に三角形になるの?
○ 液晶の出射光の拡散範囲的に、実際は多くの場合菱形になるようです
■ つまりもっと小さくなる
レンズ
液晶パネル
VR-HMDの光学系:アイボックスの現実
レンズ
液晶パネル
結論:やっぱり大きなレンズと液晶は正義
● 本当に三角形になるの?
○ 液晶の出射光の拡散範囲的に、実際は多くの場合菱形になるようです
■ つまりもっと小さくなる

Más contenido relacionado

La actualidad más candente

コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィNorishige Fukushima
 
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII
 
BRDF レンダリングの方程式
BRDF レンダリングの方程式BRDF レンダリングの方程式
BRDF レンダリングの方程式康弘 等々力
 
[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...
[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...
[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...Deep Learning JP
 
フーリエ変換を用いたテクスチャ解像度推定とその応用
フーリエ変換を用いたテクスチャ解像度推定とその応用フーリエ変換を用いたテクスチャ解像度推定とその応用
フーリエ変換を用いたテクスチャ解像度推定とその応用Hajime Uchimura
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​SSII
 
【メタサーベイ】Neural Fields
【メタサーベイ】Neural Fields【メタサーベイ】Neural Fields
【メタサーベイ】Neural Fieldscvpaper. challenge
 
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII
 
30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusionHiroki Mizuno
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII
 
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)Tomohiro Motoda
 
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representationTakuya Minagawa
 
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向SSII
 
SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜
SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜
SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜SSII
 
BRDFモデルの変遷
BRDFモデルの変遷BRDFモデルの変遷
BRDFモデルの変遷Teppei Kurita
 
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングLiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングTakuya Minagawa
 
深層学習を用いたコンピュータビジョン技術とスマートショップの実現
深層学習を用いたコンピュータビジョン技術とスマートショップの実現深層学習を用いたコンピュータビジョン技術とスマートショップの実現
深層学習を用いたコンピュータビジョン技術とスマートショップの実現DeNA
 
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative ModelDeep Learning JP
 

La actualidad más candente (20)

コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
 
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
 
BRDF レンダリングの方程式
BRDF レンダリングの方程式BRDF レンダリングの方程式
BRDF レンダリングの方程式
 
[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...
[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...
[DL輪読会]Depth Prediction Without the Sensors: Leveraging Structure for Unsuper...
 
フーリエ変換を用いたテクスチャ解像度推定とその応用
フーリエ変換を用いたテクスチャ解像度推定とその応用フーリエ変換を用いたテクスチャ解像度推定とその応用
フーリエ変換を用いたテクスチャ解像度推定とその応用
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
 
【メタサーベイ】Neural Fields
【メタサーベイ】Neural Fields【メタサーベイ】Neural Fields
【メタサーベイ】Neural Fields
 
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
 
30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
 
LiDARとSensor Fusion
LiDARとSensor FusionLiDARとSensor Fusion
LiDARとSensor Fusion
 
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
 
NumPy闇入門
NumPy闇入門NumPy闇入門
NumPy闇入門
 
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation
 
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
 
SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜
SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜
SSII2020TS: 物理ベースビジョンの過去・現在・未来 〜 カメラ・物体・光のインタラクションを モデル化するには 〜
 
BRDFモデルの変遷
BRDFモデルの変遷BRDFモデルの変遷
BRDFモデルの変遷
 
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングLiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
 
深層学習を用いたコンピュータビジョン技術とスマートショップの実現
深層学習を用いたコンピュータビジョン技術とスマートショップの実現深層学習を用いたコンピュータビジョン技術とスマートショップの実現
深層学習を用いたコンピュータビジョン技術とスマートショップの実現
 
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
 

HoloLens光学系の謎に迫る