第21回画像センシングシンポジウム（SSII2015）論文

1. 対応点を用いないローリングシャッター歪み補正と映像の安定化
∼ 並進から回転へ
松永 力
株式会社朋栄アイ・ビー・イー
E-mail: matsunaga@for-a.co.jp
Abstract
ローリングシャッターに起因する映像の動き歪み変形
を隣接する画像間のグローバルな動きの変換としてモ
デル化する．そして，従来の並進動きの場合 [5] から，
回転を含む一般的な運動の場合に拡張する．動きパラ
メータを“ 逆結合 Lucas-Kanade アルゴリズム [1] ”の
更新量を 1 次近似した“ 近似逆結合 Lucas-Kanade ア
ルゴリズム [7] ”により推定する．動き歪み補正ととも
に，歪みのない基準フレームに対する映像の安定化を
同時に行うために，推定した隣接 2 画像間の動きパラ
メータを累積加算した結果で補正する．移動カメラの
場合に，推定した並進パラメータの時系列変化に対し
て，“巡回型バイラテラルフィルタ [5, 6]”により揺れ成
分を除去して，カメラの移動を保持したまま，映像中
の揺れのみを補正する．移動カメラから固定カメラへ
遷移する際にも，変化に忠実な安定化処理を実現する．
1 はじめに
近年，低価格な携帯電話カメラからハイエンドのデ
ィジタル一眼レフカメラ（Digital Single Lens Reflex
camera，DSLR）まで，CMOS センサが多く使われて
きている．CMOS センサは，低価格化，低消費電力化，
大判化が可能であるが，これが従来の CCD センサと大
きく異なる点は，ローリングシャッターと呼ばれる順次
露光機構であり，それに起因して映像に動き歪み変形
が生じる点である．
これまでのスタビライザ処理の多くは CCD センサ
によるカメラを前提としているが，CMOS センサにお
けるスタビライザ処理の研究もなされている．Ringaby
と Forss´en [8] は，携帯電話のカメラ映像を安定化する
ために，予めカメラの内部パラメータを校正した後，映
像中の特徴点を抽出し，それを追跡した．カメラの運
動を 3 次元回転モデルにより記述し，そのパラメータ
推定には，再投影誤差の最小化を行うために非線形最
適化を用いた．そして，推定したパラメータを平均化
することによって安定化を行った．Grundmann ら [2]
は，画面をブロック分割して，ブロック毎に隣接する 2
画像間の 2 次元射影変換を計算して，それらの空間的
な重み付け平均により動き歪みを補正したが，射影変
換を計算するためには，やはり，映像中の特徴点を用
いている．
松永 [5] は，CMOS センサを用いたカメラにより撮
影された映像における並進歪み変形と揺れの補正を同
時に行うために，ローリングシャッターに起因する並進
歪み変形を隣接する 2 画像間の 2 次元 4 パラメータア
フィン変換により記述して，勾配拘束条件の最小二乗
推定を反復することによって，その変換行列を最適に
推定した．推定したアフィン変換行列を解析的に分解
することにより並進パラメータを計算した．そして，移
動カメラの場合に，推定した並進パラメータの時系列
変化に対して，Tomasi と Manduchi によるバイラテラ
ルフィルタ [9] を拡張した巡回型バイラテラルフィルタ
を発見的に導入した．巡回型バイラテラルフィルタに
より揺れ成分を除去して，カメラの移動を保持したま
ま，映像中の揺れのみを補正した．移動カメラから固
定カメラへ遷移する際にも，変化に忠実な安定化処理
を実現した．
本論文では，並進動きによる歪み補正および安定化
処理を回転を含む一般の動き歪みの場合に拡張する．そ
の概要は，次の 3 つの項目に纏められる．
• 回転を含む剛体歪み変換モデルを定式化する．こ
れは，歪みのない画像と歪み画像間における歪み
変換と，歪みのない画像間における動き変換の合
成の 1 次近似によるものである．これによって，さ
らに高自由度な相似，アフィン，射影変換による
動き歪み変換のモデル化も可能となる．
• 剛体歪み変換の補正パラメータの推定には，“Lucas-
Kanade アルゴリズム [4]”を効率的に計算する“逆
結合 Lucas-Kanade アルゴリズム [1] ”の更新量を
1 次近似する“ 近似逆結合 Lucas-Kanade アルゴリ
ズム [7] ”の適用が可能なことを示す．
IS1 - 16 - 1
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月

2. 図 1 CMOS カメラの順次露光による動き歪み．縦
線が画像の右方向へ移動する場合（カメラが左を向く
場合）とその結果の歪み画像（上段），円が画像の下方
向へ移動する場合（カメラが上を向く場合）とその結
果の歪み画像（下段）．
• 隣接する剛体歪み 2 画像間における変換パラメー
タの推定結果による歪み補正処理と安定化処理を
導出するとともに，剛体歪み画像列に対しても，移
動カメラにおける安定化処理のために，推定した
並進パラメータに対する時系列フィルタ処理とし
て，レベル適応による“巡回型バイラテラルフィル
タ [5, 6] ”が有効であることを示す．
本論文の構成は，2 章で，CMOS 動き歪みモデルと
してローリングシャッター機構による動き歪みのモデル
について説明する．3 章で，CMOS 動き歪みモデルと
して，並進歪みモデルを記述して，その後，回転を含
む剛体歪みモデルに拡張する．4 章で，Lucas-Kanade
アルゴリズム，さらに，Lucas-Kanade アルゴリズムを
効率的に計算する逆結合 Lucas-Kanade アルゴリズム
の更新量を 1 次近似する近似逆結合 Lucas-Kanade ア
ルゴリズムによる剛体歪み変換のパラメータ推定につ
いて説明する．5 章で，推定した剛体歪み変換パラメー
タによる剛体歪み補正および揺れの安定化のための時
系列処理について説明する．6 章で人工画像および実画
像列によるシミュレーション実験を行い，本論文の手
法による結果を示して，7 章で纏める．
2 CMOS 動き歪みモデル
CMOS センサは CCD センサとは異なるシャッター
機構を持つ．CCD センサではすべての画素が同時に露
光されるが，CMOS センサの場合，小型，低価格を達
成するためにライン走査による順次露光を用いている．
したがって，カメラの動きが走査時間に比較して非常
に大きい場合，CMOS センサの最初と最後のラインの
時間差のために，CMOS カメラ映像はカメラの動きに
よって歪む．図 1 は，そのようなローリングシャッター
機構において，走査時間の間にシーン中の物体が動く
と，画像中では，どのように歪んで見えるのかを示し
ている 1
．
画像縦横サイズが V × H の CMOS カメラが動くと，
撮影されたシーン中の物体の任意の点 x が 1 フレーム
1 物体とカメラの動きは相対的である．
図 2 CMOS カメラの並進歪み．
期間中に画像の動き u によって動くとする．その速度
v は 1 フレーム時間 Tf で割ることによって得られる．
v(x) = u(x)/Tf . (1)
時刻 t = 0 で画面左上の画像原点から走査開始する画
像 In において，任意の点 xn = (xn, yn)⊤
が 1 フレーム
期間に un で動くとすると，画素位置 xd
n = (xd
n, yd
n)⊤
までの経過時間は，t = xd
nTf /HV + yd
nTf /V であり，
CMOS 歪み位置 xd
n は，歪みのない場合の位置 xn に動
き歪みによる変動項を加えた次のような CMOS 動き歪
みモデルを満たす．
xd
n = xn +
∫ t
0
vn(xn)dt′
= xn +
∫ t
0
1
Tf
un(xn)dt′
. (2)
t = yd
nTf /V と近似すると，
xd
n = xn + un(xn)
yd
n
V
, (3)
である．
3 並進歪みから回転歪みへ
3.1 並進歪みの場合
1 フレーム期間中の画像の動きを，並進動きと仮定す
ると，u(x) = t = (tx
, ty
)⊤
であり，これを式（3）に
代入すると，
xd
n = xn + un(xn)
yd
n
V
=
(
xn
yn
)
+
(
tx
n
ty
n
)
yd
n
V
=
(
xd
n
yd
n
)
. (4)
yd
n = yn + ty
nyd
n/V だから，yd
n について解くと，
yd
n =
V
V − ty
n
yn, (5)
xd
n = xn + tx
n
yd
n
V
= xn +
tx
n
V − ty
n
yn. (6)
したがって，(xn, yn)⊤
と (xd
n, yd
n)⊤
の間の並進動きに
よる歪み変換は次のようになる 2
．



xd
n
yd
n
1


 =






1
tx
n
V − ty
n
0
0
V
V − ty
n
0
0 0 1









xn
yn
1


 = Dnxn. (7)
2 ここでは，点の位置ベクトルを同次形式としている．
IS1 - 16 - 2
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月

3. したがって，並進歪みによる隣接する 2 画像 In(xd
n),
In+1(xd
n+1) の間の関係は次のようになる（図 2 参照）．
xd
n+1 = Dn+1T nD−1
n xd
n = Anxd
n. (8)
ここで，
T n =
(
I2×2 tn
0⊤
2×1 1
)
=



1 0 tx
n
0 1 ty
n
0 0 1


 . (9)
並進動きによる歪み変形を表す変換行列 An は 2 次元
アフィン変換になるが，その自由度（未知パラメータ
の個数）は 4 である．松永 [5] は，勾配拘束条件の最小
二乗推定を反復することによって，並進動きによる歪
み変形を表す 4 パラメータアフィン変換行列 An を最
適に計算して，それを解析的に分解することにより並
進パラメータ tn, tn+1 を求めた．
3.2 回転歪みの場合
本論文では，回転運動を含む，より高自由度な動き
歪みの場合に拡張する．純粋回転を仮定すると，
u(x) = Rx − x
=
(
cos θ − sin θ
sin θ cos θ
) (
x
y
)
−
(
x
y
)
=
(
−θy
θx
)
,
(10)
である．ただし，回転行列 R における回転角 θ は小さ
いものとして 1 次近似した．並進動きによる歪み同様，
これを式（3）に代入すると 3
，
xd
= x + u(x)
yd
V
=
(
x
y
)
+
(
−θy
θx
)
yd
V
=
(
xd
yd
)
. (11)
yd
= y + θxyd
/V だから，yd
について解くと，
yd
=
V y
V − θx
, (12)
xd
= x − θy
yd
V
= x −
θy2
V − θx
. (13)
式（12）（13）より，歪みのない場合の位置 x, y と
CMOS 歪み位置 xd
, yd
の関係は線形ではないことがわ
かる．しかし，式（12）（13）を x, y について解くこと
はできて，
x =
xd
V 2
+ θyd2
V
V 2 + θ2yd2 = xd
+
θyd2
V
, (14)
y =
yd
V 2
− θxd
yd
V
V 2 + θ2yd2 = yd
−
θxd
yd
V
, (15)
である．ただし，式（10）同様，θ は小さいとして，そ
の高次項を無視する近似を行った．
3 ここでの回転を含む歪み変換の式の導出では，添字の n を省略
している．
(a) (b) (c)
図 3 CMOS 回転歪み画像（シミュレーションによ
り生成）．(a) カメラ動きなし（基準画像），(b) カメラ
が 3 度回転（時計回りの回転）すると画像は左に変形
する，(c) カメラが −3 度回転（反時計回りの回転）す
ると画像は右に変形する．
したがって，回転歪み画像を生成することは可能で
ある．計算されるサブピクセル精度の画像位置におけ
る画素値は，ピクセル精度の近傍画素位置の画素値を
用いて内挿補間生成すればよい [5]．注意すべきは，回
転中心が左上画像原点になることである．図 3 に回転
歪み画像例を示す．
並進成分を加えた剛体歪みの場合は，式（10）に，t
= (tx
, ty
)⊤
を加えると，
yd
=
V y
V − (θx + ty)
, (16)
xd
= x + (−θy + tx
)
yd
V
= x +
(−θy + tx
)y
V − (θx + ty)
, (17)
であり，x, y について解くと，
x = xd
+
(θyd
− tx
)yd
V
, y = yd
+
(−θxd
− ty
)yd
V
.
(18)
これらの事実から，パラメータ同士の積項を無視す
る 1 次近似によって，回転を含む動きにおいても，歪
みのない画像と歪み画像の間の幾何学的な変換をパラ
メータに関して線形とすることができる．そこで，動
きによる変換と歪み変形による変換に分けてモデル化
して，それらを合成して，さらに 1 次近似する．
式（16）（17）の剛体歪み変換をパラメータ同士の積
項を無視する 1 次近似をすると，次のようになる．
yd
= y +
θxy + ty
y
V
, xd
= x +
−θy2
+ tx
y
V
. (19)
そ し て ，歪 み の あ る 隣 接 す る 2 画 像 In(xd
n),
In+1(xd
n+1) の間の動きを，仮想的な歪みのない隣接す
る 2 画像 In(xn), In+1(xn+1) との間の歪み変形による
変換と，歪みのない隣接する 2 画像間の動きによる変
換に分離すると，次のようになる（図 4 参照）．
xn = D−1
n (xd
n)
=
(
xd
n − tx
n/V yd
n + θn/V yd
n
2
(1 − ty
n/V )yd
n − θn/V xd
nyd
n
)
=
(
xn
yn
)
,
(20)
xn+1 = Mn(xn)
=
(
xn − θnyn + tx
n
θnxn + yn + ty
n
)
=
(
xn+1
yn+1
)
, (21)
IS1 - 16 - 3
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月

4. xd
n+1 = Dn+1(xn+1)
=
(
xn+1 + tx
n+1/V yn+1 − θn+1/V y2
n+1
(1 + ty
n+1/V )yn+1 + θn+1/V xn+1yn+1
)
=
(
xd
n+1
yd
n+1
)
. (22)
式（20）を式（21）に代入して，パラメータ同士の積
項を無視する 1 次近似を行う．
xn+1 = xd
n − (θn + tx
n/V )yd
n + θn/V yd
n
2
+ tx
n, (23)
yn+1 = θnxd
n + (1 − ty
n/V )yd
n − θn/V xd
nyd
n + ty
n. (24)
さらに，式（23）（24）を式（22）に代入して，パラメー
タ同士の積項を無視する 1 次近似を行う．
xd
n+1 = xd
n − (p2n + q3n)yd
n + q2nyd
n
2
+ p3n, (25)
yd
n+1 = p2nxd
n + (1 − q6n)yd
n − q2nxd
nyd
n + p6n. (26)
ここで，
pn = (p2n, p3n, p6n, q2n, q3n, q6n)⊤
≡ (θn, tx
n, ty
n, θn/V − θn+1/V,
tx
n/V − tx
n+1/V, ty
n/V − ty
n+1/V )⊤
. (27)
このようにすると，回転を含む剛体歪みのみならず，よ
り高自由度な相似，アフィン，射影変換による動き歪み
についても同様にモデル化を行うことが可能となる 4
．
4 CMOS 動き歪みの推定
剛体歪み変換 W (xd
n; pn) は，次のようになる．
W (xd
n; pn) =
(
1 −p2n − q3n q2n 0 p3n
p2n 1 − q6n 0 −q2n p6n
)








xd
n
yd
n
yd
n
2
xd
nyd
n
1








.
(28)
したがって，剛体歪み変換は xd
n, yd
n の高次項を含
む多項式変換である．剛体歪み変換パラメータ pn
= (p2n, p3n, p6n, q2n, q3n, q6n)⊤
を“ 近似逆結合 Lucas-
Kanade アルゴリズム [7] ”により推定する．これは，
Lucas-Kanade アルゴリズム [4] を効率的に推定する逆
結合 Lucas-Kanade アルゴリズム [1] における更新量を
1 次近似したものである [7]．Lucas-Kanade アルゴリズ
ムは画素を直接処理する領域ベースの手法であり，何
らの画像特徴や対応付けを必要としない．松永 [5] は，
勾配拘束条件の最小二乗推定を反復的に解くことによっ
て並進歪みによる 4 パラメータアフィン変換の最適化
を行ったが，それは，Lucas-Kanade アルゴリズムと等
価である．
4 当然ではあるが，並進歪みも同様である．並進歪みにおける 4
パラメータアフィン変換行列 An の各要素をパラメータ同士の積項
を無視する 1 次近似すると，式（25）（26）において，p2n = q2n
= 0 としたものと一致する．
図 4 CMOS カメラの剛体歪み．
第 n + 1 フレームの剛体歪み画像 In+1(xd
n+1) を第 n
フレームの剛体歪み画像 In(xd
n) に合わせる．xd
n+1 =
W (xd
n; pn) だから，Lucas-Kanade アルゴリズムによ
り，次の差分二乗総和を最小化する pn を推定する．
∑
xd
n
(
In+1(W (xd
n; pn)) − In(xd
n)
)2
. (29)
式（29）が，pn → pn + ∆pn と摂動したとする．それ
をテイラー展開して 1 次近似したものを ∆pn で微分し
て 0 と置く．∆pn について解くと次のようになる．
∆pn = H−1
n+1
∑
xd
n
(
∇In+1
∂W
∂pn
)⊤
(
In(xd
n) − In+1(W (xd
n; pn))
)
. (30)
ここで，∇In+1 = (∂In+1/∂x, ∂In+1/∂y) は第 n + 1 フ
レーム画像 In+1(xd
n+1) の W (xd
n; pn) での勾配である．
∂W /∂pn はヤコビ行列と呼ばれ，剛体歪み変換の場合
には，次のようになる．
∂W
∂pn
=
(
−yd
n 1 0 yd
n
2
−yd
n 0
xd
n 0 1 −xd
nyd
n 0 −yd
n
)
. (31)
Hn+1 は次のようなヘッセ行列である．
Hn+1 =
∑
xd
n
(
∇In+1
∂W
∂pn
)⊤(
∇In+1
∂W
∂pn
)
. (32)
したがって，pn は適当な初期値から ∆pn を反復的に
解くことによって，求めることができる．これは，ヘッ
セ行列を計算するのに 2 階微分を行わずに近似する“ガ
ウス・ニュートン法 [3] ”であるが，ヘッセ行列 Hn+1
（の逆行列）は，反復毎に計算しなければならない．
そこで，第 n フレーム画像と第 n + 1 フレーム画像
の役割を次のように交換する．
∑
xd
n
(
In(W (xd
n; ∆pn)) − In+1(W (xd
n; pn))
)2
. (33)
W (xd
n; 0) は ∆pn = 0 とした恒等変換であるとすると，
変化量 ∆pn は，
∆pn = H−1
n
∑
xd
n
(
∇In
∂W
∂pn
)⊤
(
In+1(W (xd
n; pn)) − In(xd
n)
)
, (34)
IS1 - 16 - 4
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月

5. であり，第 n フレーム画像 In(xd
n) のヘッセ行列は，
Hn =
∑
xd
n
(
∇In
∂W
∂pn
)⊤(
∇In
∂W
∂pn
)
, (35)
となる．ヤコビ行列 ∂W /∂pn は (xd
n; 0) で評価する．
これはパラメータによらず，予め計算しておくことが
できる．反復毎に第 n + 1 フレーム画像 In+1 を変換し
て，それから誤差画像 In+1(W (xd
n; pn))−In(xd
n) と第
n フレーム画像の最急降下画像 ∇In∂W /∂pn の積和を
計算する．そして，予め計算しておいた第 n フレーム
画像のヘッセ行列の逆行列 H−1
n を掛けたものを変化量
とするが，その更新方法が異なる．変化量を加算によ
り更新するのではなく，変化量による変換（の逆変換）
を合成することにより更新する．
W (xd
n; pn) ← W (xd
n; pn) ◦ W (xd
n; ∆pn)−1
. (36)
これは，逆結合 Lucas-Kanade アルゴリズム（Inverse
Compositional Algorithm）と呼ばれ，Lucas-Kanade
アルゴリズムの効率的な方法として提案されている [1]．
しかし，高次項を含む多項式変換である剛体歪み変
換の逆変換を解析的に求めることはできない．そこで，
逆変換を 1 次近似して，さらに，変換との合成結果を
1 次近似する．そのようにしても，通常は問題ないこと
が実験的に確認される [7]．すなわち，
pn ← pn − ∆pn, (37)
である．このような逆結合による更新を 1 次近似によっ
て，逆方向の加算とすることで Lucas-Kanade アルゴ
リズムの効率化が図れることから，これを“ 近似逆結
合 Lucas-Kanade アルゴリズム ”と呼ぶ [7]．
5 CMOS 動き歪み補正と安定化処理
5.1 固定カメラの場合
隣接する 2 画像間の動きを推定して，歪みのない第 1
フレーム基準画像に対して位置合わせを行うことによ
り，動き歪み補正とともに映像の安定化を行う．まず，
第 n + 1 フレーム歪み画像 In+1(xd
n+1) を仮想的な歪み
のない第 n フレーム画像 In(xn) に位置合わせする（図
4 参照）．
xn+1 = D−1
n+1(xd
n+1)
=
(
xd
n+1 − tx
n+1/V yd
n+1 + θn+1/V yd
n+1
2
(1 − ty
n+1/V )yd
n+1 − θn+1/V xd
n+1yd
n+1
)
,
(38)
xn = M−1
n (xn+1)
=
(
xn+1 + θnyn+1 − tx
n
−θnxn+1 + yn+1 − ty
n
)
. (39)
式（38）を式（39）に代入して，パラメータ同士の積
項を無視する 1 次近似すると，
xn = xd
n+1 +
(
p2n +
n∑
α=1
q3α
)
yd
n+1
−
n∑
α=1
q2αyd
n+1
2
− p3n, (40)
yn = −p2nxd
n+1 +
(
1 +
n∑
α=1
q6α
)
yd
n+1
+
n∑
α=1
q2αxd
n+1yd
n+1 − p6n. (41)
ここで，パラメータ pn の定義の式（27）より，q2n =
θn/V − θn+1/V だから，
n∑
α=1
q2α = −θn+1/V, (42)
である．ただし，α = 1 のとき，q21 = −θ2/V である
ことを用いた 5
．q3n, q6n についても，同様である．そ
して，歪みのない第 1 フレーム基準画像 I1(x1) に位置
合わせをするためには，
x1 = xd
n+1 +
( n∑
α=1
p2α +
n∑
α=1
q3α
)
yd
n+1
−
n∑
α=1
q2αyd
n+1
2
−
n∑
α=1
p3α, (43)
y1 = −
n∑
α=1
p2αxd
n+1 +
(
1 +
n∑
α=1
q6α
)
yd
n+1
+
n∑
α=1
q2αxd
n+1yd
n+1 −
n∑
α=1
p6α, (44)
である．したがって，動き歪み補正と安定化は，すべて
のパラメータの推定結果の累積加算により行えばよい．
5.2 移動カメラの場合
問題は，移動カメラの場合であり，映像に含まれる
動きが不要な揺れなのか，有意なカメラの動きなのか
を判別しなければならない．なぜなら，第 1 フレーム
を基準画像として固定すると，移動カメラの場合には，
カメラが移動するに従って，補正ができなくなる．
松永 [5] は，隣接する並進歪み 2 画像間の並進パラ
メータの推定結果に対して時系列フィルタ処理を行う
ことによって，移動カメラにおける安定化処理を行っ
た．時系列フィルタには，信号のレベル差に応じた重
み係数を導入した巡回型フィルタを用いた．低域通過
フィルタとして巡回型フィルタを用いると，現在と過
去のデータしか使わないので余分なフレーム遅延が発
生せず，処理全体の遅延量の観点から優位であり，レベ
ル適応により静止から移動，あるいは，移動から静止
へのカメラの状態の遷移にも追従が可能となる．
これは，バイラテラルフィルタ [9] の巡回型フィルタ
への拡張と見なすことができる（詳細は [5, 6] 参照）．
5 第 1 フレーム基準画像は歪みなしと仮定しているから．
IS1 - 16 - 5
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月

6. 図 5 CMOS カメラ映像の動き歪み補正および安定
化処理ブロック図．
松永は，これを“ 拡張バイラテラルフィルタ ”と呼ん
で，画像ノイズ除去処理にも用いた [6]．
図 5 は，CMOS カメラ映像の動き歪み補正および
映像安定化処理のブロック図である 6
．図中，動き推
定（Motion Estimaiton）により隣接する 2 画像 In,
In+1 の間の動き歪みパラメータを推定する．動き歪み
パラメータの内の並進成分 tn = (tx
n, ty
n)⊤
に対して，時
系列フィルタ処理（LPF）を行う．時系列フィルタ処理
結果 τn = (τx
n , τy
n)⊤
との差分 ∆tn を累積加算した並進
成分˜tn によって，動き歪み補正と安定化処理（Motion
Correction）を行う 7
．Z−1
は 1 フレーム遅延を表す．
時系列フィルタ処理が完全であれば，固定カメラの場
合の低域通過フィルタの出力は厳密に 0 となり 8
，フィ
ルタ処理結果との差分は並進パラメータそのものにな
る．しかし，実際にはそうとは限らないので，現在の
フレームと前フレームにおけるフィルタ出力結果の差
分絶対値のしきい値処理によって，固定／移動カメラ
の判別を行う．固定カメラと判定された場合には，並
進パラメータの累積加算値によって補正する．最終的
な補正パラメータによるサブピクセル精度の画素座標
における画素値は，近傍画素による内挿補間により計
算する [5]．
6 画像シミュレーション
6.1 人工画像シミュレーション
図 6 は，図 3 の格子画像を歪み変形させたシミュレー
ション画像において，カメラの動きなしの画像を基準
画像として，回転歪み補正した結果である．画像境界
は歪み変形の補正がわかりやすいように黒のままとし
ている．回転歪み変形が補正できているのがわかる．
6.2 実画像列シミュレーション（固定カメラの場合）
ディジタルカメラ（ニコン D40）で撮影した 3008 ×
2000 画素の画像に対して，剛体歪みパラメータを与え
て，その一部分を切り出して，剛体歪み画像を生成する．
水平および垂直方向にそれぞれ平均 0，標準偏差 1 画
素の正規乱数による並進パラメータ，平均 0，標準偏差
6 文献 [5] では誤りがあったので修正している．
7 その他の成分についても同様に累積加算したものを用いる．
8 不要な揺れによる移動量が期待値 0 の正規分布に従うと仮定す
る．
(a) (b) (c)
図 6 CMOS 回転歪み補正画像．(a) カメラ動きなし
（基準画像），(b)(c) は，図 3 のカメラの動きによる回
転歪み画像 (b)(c) の補正結果．画像境界は歪み変形の
補正がわかりやすいように黒のままとしている．
(a) (b)
図 7 (a) 剛体歪み画像列の加算平均画像（60 フレー
ム），(b) 剛体歪み補正結果の画像列の加算平均画像．画
像境界付近の黒は補正処理による見切れのためである．
0.2 度の正規乱数による回転パラメータを用いて剛体歪
み画像列を生成する．生成した画像サイズは 640 × 480
画素である．これは，固定カメラによる定点監視映像
と見なすことができる．
図 7 (a) はそのようにして生成した剛体歪み画像列の
加算平均画像である（60 フレーム）．歪み変形と揺れ
により輪郭が重なって見える．第 1 フレームを基準画
像として，第 2 フレーム以降，順次隣接する 2 画像間
の剛体歪みパラメータを推定した結果を用いて歪み補
正および安定化処理を行った．図 7 (b) は処理結果の画
像列の加算平均画像である．処理前の加算平均画像に
対して，安定化処理によって加算平均画像は明瞭に見
える．画像境界付近の黒は補正処理による見切れのた
めである．
図 8 (a)∼(c) は剛体歪み画像列の生成に用いたフレー
ムに対する並進および回転パラメータである．剛体歪
みパラメータの推定結果（estimate(rigid)）とともに，
真の値（true）も表示している．並進に関しては，並進
歪み補正モデルによる推定結果（estimate(trans)）も
表示している．剛体歪みパラメータの推定結果は，ほ
ぼ真の値に一致しているが，並進歪み補正モデルによ
る推定結果は，モデル化誤差のため十分ではない．
第 1 フレーム基準画像と補正画像の間の二乗誤差画
像のピーク SN 比により定量的に評価する．ピーク SN
比 PSNR は二乗誤差画像の平均輝度値（平均ノイズ電
力）MSE および最大輝度値（最大信号電力）I2
max から
次のように求められる 9
．
PSNR [dB] = 10 log10
(
I2
max
MSE
)
. (45)
9 実験では，Imax を 8 ビット最大画素値 255 とした．
IS1 - 16 - 6
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月

7. -18
-16
-14
-12
-10
-8
-6
-4
-2
0
0 10 20 30 40 50 60
tx
frame
true
estimate(rigid)
estimate(trans)
-16
-14
-12
-10
-8
-6
-4
-2
0
2
0 10 20 30 40 50 60
ty
frame
true
estimate(rigid)
estimate(trans)
-0.4
-0.2
0
0.2
0.4
0.6
0.8
0 10 20 30 40 50 60
θ
frame
true
estimate(rigid)
0
10
20
30
40
50
60
70
80
0 10 20 30 40 50 60
[dB]
frame
rigid
trans
(a) (b) (c) (d)
図 8 剛体歪み画像列の剛体歪みパラメータの推定結果．(a) 並進（水平方向）tx
，(b) 並進（垂直方向）ty
，(c) 回転
θ のフレームに対する推定結果（estimate(rigid)）および真の値（true）である．並進に関しては，並進歪み補正モデル
による推定結果（estimate(trans)）も表示する．(d) 第 1 フレーム基準画像と補正画像の間の二乗誤差画像のピーク SN
比の変化．剛体歪み補正モデル（rigid），並進歪みモデル（trans）の結果である．
図 9 移動カメラによる剛体歪み画像列の一部．画像は左から右の順に，カメラが左上方へパンアップしている．上段
は，原画像列，中段は，固定カメラとして補正した結果の画像列，下段は，移動カメラとして補正した結果の画像列．い
ずれも左の画像は歪みのない第 1 フレーム基準画像である．
補正画像の中央領域 90%におけるピーク SN 比の平均値
は，剛体歪み補正モデルの場合に 61.85(±1.18)[dB] で
あり，並進歪み補正モデルの場合に 46.31(±10.49)[dB]
であった（括弧内は標準偏差を表す）．図 8 (d) にフレー
ムに対するピーク SN 比の変化を示す．
6.3 実画像列シミュレーション（移動カメラの場合）
図 9 は，ディジタルカメラ（キヤノン IXY DIGITAL
500）で撮影した 2592 × 1944 画素の画像に対して，剛
体歪みパラメータを与えて，その一部分を切り出して
生成した剛体歪み画像列の一部である．水平および垂
直方向の基準となる並進パラメータ (tx
, ty
) = (10, 5)⊤
に対して，それぞれ平均 0，標準偏差 1 画素の正規乱数
を加えた並進パラメータ，平均 0，標準偏差 0.2 度の正
規乱数による回転パラメータを用いて剛体歪み画像列
を生成する．生成した画像サイズは 720 × 486 画素で
ある．図中，画像は左から右の順に，カメラが左上方
へパンアップしている等速直線運動する移動カメラに
よる映像と見なすことができる．同図上段は，そのよ
うにして生成した原画像列であり，中段は，固定カメ
ラとして補正した結果の画像列，下段は移動カメラと
して補正した結果の画像列である．
固定カメラとして行った歪み補正および安定化処理
の結果は，第 1 フレームを基準として安定しているが，
入力が移動カメラによる画像列のため，基準フレーム
から大きく移動すると，次第に見切れる領域が大きく
なって行く．一方，移動カメラとして行った歪み補正
および安定化処理の結果は，カメラの移動に伴い，補
正処理が追従しているのがわかる．ここでは，不要な
揺れ成分を除去して，カメラの軌跡を滑らかにするた
めに，隣接 2 画像間において推定した並進パラメータ
の時系列変化に対して 1 次バタワース巡回型バイラテ
ラルフィルタ処理 [5] を行い，その結果の並進パラメー
タを用いて各フレームを補正した．1 次バタワース巡回
型バイラテラルフィルタにおけるカットオフ周波数は
水平および垂直方向いずれも 0.01Hz，σ2
r をそれぞれ，
15，5 とした．図 10 は，隣接 2 画像間の並進パラメー
タの時系列変化のグラフである．上段が水平方向，下
段が垂直方向である．1 次バタワース巡回型バイラテラ
ルフィルタにより揺れ成分である高周波成分が除去さ
れて並進パラメータが滑らかになっているのがわかる．
IS1 - 16 - 7
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月

8. -5
0
5
10
15
20
0 10 20 30 40 50 60
t
x
, τx
frame
tx
IIR τx
IIRbilateral τx
-2
0
2
4
6
8
10
0 10 20 30 40 50 60
t
y
, τy
frame
ty
IIR τy
IIRbilateral τy
図 10 移動カメラによる剛体歪み画像列から推定した隣接 2 画像間の並進パラメータの時系列変化．並進パラメー
タの時系列変化（tx
, ty
）を 1 次バタワース巡回型低域通過フィルタ（fc = 0.75Hz）により平滑化した並進パラメータ
（IIR τx
, IIR τy
），1 次バタワース巡回型バイラテラルフィルタ（fc = 0.01Hz, σ2
r を水平および垂直方向でそれぞれ
15, 5）により平滑化した並進パラメータ（IIRbilateral τx
, IIRbilateral τy
）．上段が水平方向，下段が垂直方向．
さらに，並進パラメータを (tx
, ty
) = (0, 0)⊤
として，
同様に正規乱数を加えて，引き続き剛体歪み画像列を
生成する．すなわち，カメラが移動した後，静止して
固定カメラになる場合である．図 10 の 32 フレーム目
の移動カメラから固定カメラへの変化点において，カッ
トオフ周波数が 0.75Hz の 1 次バタワース巡回型フィル
タにより平滑化した並進パラメータは，平滑化作用に
よる減衰のためカメラが静止したフレームを越えても，
すぐには 0 にはならない．一方，1 次バタワース巡回バ
イラテラルフィルタによる平滑化の結果は，移動カメ
ラにおける揺れ成分を除去しつつ，変化点も保持して
おり，カメラが静止した後もほぼ 0 に近い平滑結果が
得られている．
7 まとめ
本論文では，CMOS センサを用いたカメラにより撮
影された映像における動き歪み変形と揺れの補正を同
時に行うために，ローリングシャッターに起因する動き
歪み変形を隣接する画像間のグローバルな動きの変換
としてモデル化し，回転を含む一般的な運動の場合に
拡張した．近似逆結合 Lucas-Kanade アルゴリズムを
用いて，何らの画像特徴や対応付けを用いることなく，
画素を直接的に処理することにより推定を行った．
画像シミュレーション実験を行い，固定カメラ，移動
カメラいずれの映像に含まれる剛体歪み変形を補正す
るとともに揺れを除去して安定化した．移動カメラの
場合には，推定した並進パラメータの時系列変化に対
して，巡回型バイラテラルフィルタにより揺れ成分を
除去して，カメラの移動を保持したまま，映像中の揺
れのみを補正した．移動カメラから固定カメラへ遷移
する際にも，変化に忠実な安定化処理を実現した．
今後の課題としては，次のものが挙げられる．
• 局所移動物体や輝度変動に対してロバストな推定
補正の実現
• マルチコア CPU ／ GPU による実時間処理の実現
謝辞： 本研究の機会を与えて下さった朋栄アイ・ビー・
イー和田社長に感謝します．
参考文献
[1] S. Baker and I. Matthews, Lucas-Kanade 20 years
on: A unifying framework, International Journal of
Computer Vision, 56-3 (2004), 221–255.
[2] M. Grundmann, V. Kwatra, D. Castro, and I. Essa,
Calibration-free rolling shutter removal, Proceedings
of IEEE Conference on Computational Photography
(ICCP2012), April, 2012.
[3] 金谷 健一, 「これなら分かる最適化数学 – 基礎原理から
計算手法まで –」, 共立出版, 2005 年 9 月.
[4] B. D. Lucas and T. Kanade, An iterative image regis-
tration technique with an application to stereo vision,
Proceedings of the 1981 DARPA Image Understand-
ing Workshop, April 1981, 121–130.
[5] 松永 力, 対応点を用いないローリングシャッタ歪み補
正と映像安定化, 第 19 回画像センシングシンポジウム
(SSII2013) 講演論文集, 横浜 (パシフィコ横浜), 2013 年 6
月.
[6] 松永 力, 無限インパルス応答システムによる拡張バイ
ラテラルフィルタ, 第 19 回画像センシングシンポジウ
ム (SSII2013) 講演論文集, 横浜 (パシフィコ横浜), 2013
年 6 月.
[7] 松永 力, 画像からの倍率色収差の自動推定補正, 第 20 回
画像センシングシンポジウム (SSII2014) 講演論文集, 横
浜 (パシフィコ横浜), 2014 年 6 月.
[8] E. Ringaby and P.-E. Forss´en, Efficient video rectifi-
cation and stabilisation for cell-phones, International
Journal of Computer Vision, 96-3 (2012), 335–352.
[9] C. Tomasi and R. Manduchi, Bilateral filtering for
gray and color images, Proceedings of the Sixth
IEEE International Conference on Computer Vision
(ICCV’98), Bombay, India, January, 1998.
IS1 - 16 - 8
IS1 - 16 第21回画像センシングシンポジウム，横浜，2015年6月