Digital Refocusing using Depth Estimation
plenoptic cameraやfocused plenoptic camera、heterodyned light field cameraはいずれも様々は形で4D light fieldを記録しており、その情報を活用してリフォーカスを実現しています。しかし、リフォーカスを行うだけであれば4D light fieldの全てを記録することは必須ではありません。一般的な光学系では4D light fieldがセンサで記録される際に2次元分の情報が畳み込まれてしまう訳ですが、この畳み込まれ方が既知であれば逆問題を解く要領で4D light fieldをある程度復元することが可能です。
4D light fieldの畳み込まれ方を知るには被写体までの距離を知ることが重要になります。画像処理を用いて距離を行う場合には、単眼カメラで行う方法と複眼カメラで行う方法とがありますが、ここでは単眼カメラを用いる手法に限定して紹介します。尚、単眼カメラによる多視点画像を用いる方法も除外します。
- ボケ量の解析を用いる方法 (Depth from Defocus, DFD)
メインレンズの焦点が合った位置に存在する被写体はセンサに正しく結像されます。一方で、焦点からずれた位置に存在する被写体は、そのずれ量に応じてぼやけて結像されます。この性質を用いることにより、1つのシーンを異なるボケ方で撮影した複数枚の画像において、同じ位置におけるボケ方の比から距離を推定することができます。ボケ方を制御する方法としては、例えば絞り値を変える方法が挙げられます。
文献[1]では距離の推定精度を向上させる目的で、特殊な絞り形状によりボケ方を制御する手法(Coded Aperture Pair)が提案されています。一般的な大小の円形の絞りで撮影した画像では被写体が焦点面の手前にあるのか奥にあるのかが区別できませんが、この手法ではその二つが区別できます。また、前者と比較してノイズの多い画像やコントラストの低い画像に対してロバストであると共に、撮影された画像から高周波成分を復元しやすいという特性も持っています。
Fig.1 estimating depth using coded aperture pair
(出展：文献[1])
depth from defocusの亜種とも呼べるかもしれませんが、ボケ方を絞りではなくディフューザを用いて制御する手法(文献[2])もあります。この手法はdepth from diffusion(DFDiff)と呼ばれ、被写体とカメラとの間にディフューザを挟んで撮影した画像と、挟まずに撮影した画像とのボケ方の差から距離を推定します。この手法のメリットはdepth from defocusと比較して、次のようなものが挙げられます。
・小さなレンズでも高精度の距離推定が可能
・遠距離の距離推定も可能
・レンズ歪の影響が小さい
一方で欠点として撮影時に被写体とカメラの間に拡散板を挟まなければならないことがあります。
- パターン投影を用いる方法 (Projection Defocus Analysis)
撮像系と光軸を合わせたプロジェクタを用いて被写体にパターン光(structured light)を投影し、そのボケ方を事前に距離と対応付けて記録しておいたボケのモデルに当てはめることにより距離を推定する手法です。
文献[3]ではライン・パターンを移動させながら投影し、そのボケ具合から距離を推定しています。この方法ではライン・パターンの投影領域全体に渡って密な深度マップが得られることが利点ですが、一方で画像の撮影と深度マップの推定とが別々に行われるため被写体が静止物に限定されるという欠点があります。
文献[4]ではプロジェクタによりドット・マトリックスを投影しながら撮影した画像の中からドットを抽出し、そのボケ具合から距離を推定しています。この方法ですと移動する物体に対しても適用可能ですが、ドット数は有限であるため得られる深度マップの密度が疎である(Fig.2(c))という課題があります。この課題への対策として、カラークラスタリングを用いて領域分割をして(Fig.2(d),(e))、先ほどの疎な深度マップと統合することにより密な深度マップを作成(Fig.2(f))しています。ただ、カラークラスタリングですので前景と背景とのコントラストが必要になり、条件によっては深度マップの作成に失敗することが想定されます。
Fig.2 Steps of refocusing method using projected dots
(出展：文献[4])
Fig.3 Geometric and radiometric properties of projected dots
(出展：文献[4])
- 単眼立体視を用いる方法 (Single-View Stereo)
文献[5]ではレンズの開口にカラーフィルタを追加することによって開口部を分割し、それぞれの開口を通過した光を異なるカラーチャンネルで記録しています。これにより単眼でありながら視差を持った画像を記録することができるので、視差を用いて被写体までの距離を推測することが可能となります。ただ、視差を用いる場合には深度マップの解像度は制限されるため、複雑な形状の被写体に対しては適さない恐れがあります。
Fig.4 estimating depth using color filters
(出展：文献[5])
depth from defocusを用いる方法は、複眼立体視(multi-view stereo)やパターン投影を用いる方法(projection defocus analysis)と比較して、オクルージョンや対応付けに対して相対的にロバストであるという特徴があります。一方で、テクスチャのない領域には適さない上に、距離の推定精度にもやや課題がありそうです。
[参考文献]
[1] C.Zhou, S.Lin, S.K.Nayar, "Coded Aperture Pairs for Depth from Defocus," IEEE International Conference on Computer Vision (ICCV), October (2009)
[2] C.Zhou, O.Cossairt, S.K.Nayar, "Depth from Diffusion," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun (2010)
[3] L.Zhang, S.K.Nayar, "Projection Defocus Analysis for Scene Capture and Image Display," ACM Trans. on Graphics, July (2006)
[4] F.Moreno-Noguer, P.N.Belhumeur, S.K.Nayar, "Active Refocusing of Images and Videos," ACM Trans. on Graphics, August (2007)
[5] Y.Bando, B.Y.Chen, T.Nishita, "Extracting Depth and Matte using a Color-Filtered Aperture," ACM Transactions on Graphics, Vol.27, No.5, Article 134, (2008)
