Focused Plenoptic Camera (4)
Todor Georgievらがfocused plenoptic cameraの新たな応用についての論文を公開したので紹介したいと思います。
従来のfocused plenoptic cameraはマイクロレンズ・アレイを構成する全てのレンズは同じ焦点距離を持っており、メインレンズにより結像された像に焦点が合うようにレイアウトが構成されていました。このため得られる画像の被写界深度はメインレンズのもの同等となり、リフォーカスできる範囲を制限していました。そこで、異なる焦点距離のレンズを組み合わせてマイクロレンズ・アレイを構成することにより、1台のカメラでありながら同じシーンの異なる深度に焦点が合った画像が得られるようにしたのが、multi-focus plenoptic cameraの特徴です。
Fig.1は文献[1]で使用された2種類の焦点距離を持つレンズから成るマイクロレンズ・アレイの写真です。ここではレンズの直径を変えることにより焦点距離を制御しているようです。
Fig.1 microlenses with different focal lengh
(出展：文献[1])
Fig.2はFig.1のマイクロレンズ・アレイを用いて撮影した画像です。くっきりとした画像とボケた画像とが交互に並んでおり、対応するマイクロレンズの焦点距離の差が見て取れます。
Fig.2 captured image with multi-focus plenoptic camera
(出展：文献[1])
このlight field dataから、それぞれの焦点距離のマイクロレンズに対応するmicro-imageを用いて画像を作成した例をFig.3とFig.4に示します。Fig.3は遠くにある車の領域を、Fig.4は近くにある花の領域をそれぞれ切り出したものです。いずれの図でも、左側は直径が相対的に大きいマイクロレンズの、右側は直径が相対的に小さいマイクロレンズのmicro-imageから作成されています。尚、この画像を撮影した時のメインレンズのフォーカスは花の領域に合っているようです。
Fig.3 rendered image (car)
(出展：文献[1])
Fig.4 rendered image (flower)
(出展：文献[1])
Fig.3の左側はボケていますが、右側は比較的くっきりと写っています。一方、Fig.4では左右共にくっきりと写っています。この差が生じた原因はマイクロレンズの大きさであり、直径が大きい方が絞りを開放して撮影した条件に相当し、直径が小さい方が絞って撮影した条件に相当するため、後者の方が被写界深度が深くなり広い深度に焦点が合うのです。
この特性を利用して、メインレンズのフォーカスを合わせた位置の近傍でリフォーカスをしたい場合には被写界深度の浅いマイクロレンズのデータを、そうでない場合には被写界深度の深いマイクロレンズのデータを、それぞれ利用することにより、従来よりもリフォーカスの範囲を広げることが可能となります。 リフォーカスされた画像の例をFig.5とFig.6に示します。Fig.5は車にリフォーカスをした画像で、Fig.6は花にリフォーカスをした画像になります。
Fig.5 rendered image car in focus
(出展：文献[]1)
Fig.6 rendered image flower in focus
(出展：文献[1])
確かにそれぞれの領域がくっきり見えているのですが、Fig.5は被写界深度が深いせいで花もはっきりと見えてしまい、個人的には物足りない感じがあります。このあたりは2種類のmicro-imageをうまく合成することにより改善できるのかもしれません。
用途をリフォーカスに限定しなければ、1台のカメラで1回の撮影で異なる被写界深度の画像が得られる分けですから、multi-focus plenoptic cameraはdual-focus stereo imaging(文献[2],[3])やfocus stacking(文献[4])などに利用できるかもしれませんね。
ところで、Todor Georgiev氏はAdobe Systems社からQualcomm社に移ったようです。Qualcomm社といえば携帯電話向けの電子デバイス大手ですので、同社の今後の動向にも注目したいところです。
[参考文献]
[1] T.Georgiev, A.Lumsdaine, "The Multi-Focus Plenoptic Camera," SPIE Electronic Imaging, January 2012
[2] F.Li, J.Sun, J.Wang, J.Yu, "Dual-focus stereo imaging," Journal of Electronic Imaging, Vol.19, No,4, October-December 2010
[3] 守田, セイ, "異なる絞りの2枚の写真からの奥行きマップの推定," 画像電子学会誌, Vol.40, No.6, 2011
[4] S.W.Hasinoff, K.N.Kutulakos, "Light-Efficient Photography," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.1, No.1, January 2011
