Focused Plenoptic Camera (3)
先日はFocused Plenoptic Cameraの原理と全焦点画像の作成、リフォーカス画像の作成について触れました。Todor Georgievらは更に、次のような応用についても提案してます。
- 超解像処理による高解像度化
- ハイダイナミックレンジ画像の作成
ここではこの二点について概要を紹介します。
1.超解像処理による高解像度化
Ren Ngらのplenoptic cameraと比較して、Todor Georgievらのfocused plenoptic camera (plenoptic camera 2.0)はlight fieldの記録方法を工夫することにより、高解像度の画像が得られることは先に触れました。しかしながら、4D light fieldを二次元のセンサで記録する都合上、光線の位置情報と方向情報との分解能のトレードオフが生じ、最終的に得られる画像の解像度は従来の光学系で得られる解像度よりも低下してしまいます。この課題を超解像技術を用いて克服しようというのが彼らの提案です。
超解像(Super-resolution)とは、(デジタル画像処理の分野では)入力画像の解像度を高める技術の総称で、大きく1フレーム(single-frame)超解像と複数フレーム(multiple-frame)超解像とに分類されます。ここでは詳述しませんが、前者は事前に学習された画像の生成モデルや劣化モデルに基づいて高解像度化する技術で、後者は1つのシーンを撮影した多数の画像間に生じるサブピクセル・オーダの変位に基づいて高解像化する技術です。
Todor Georgievらは文献[1]において、複数フレーム超解像を用いてfocused plenoptic cameraの画像を高解像度化した結果を示しており、その効果をFig.1で確認することができます。("plenoptic 1.0"が従来のplenoptic cameraを、"plenoptic 2.0"がfocused plenoptic cameraをそれぞれ表します)
Fig.1 focused plenoptic camera with super-resolution
(出展：文献[1]、画像の構成を変更)
focused plenoptic cameraの原理について説明した際に、マイクロレンズとその背後のセンサ領域とを仮想マイクロカメラに置き換え、この仮想マイクロカメラ群がメインレンズの画像平面を撮影することにより、それぞれ重なりを持ったmicro-image群が得られていると述べました。つまり、「1つのシーン(=メインレンズの画像平面上の像)」を多数のカメラ(=仮想マイクロカメラ群)で撮影して得られた「多数の画像(=micro-image群)」間に生じる「サブピクセル・オーダの変位(=仮想マイクロカメラ間の距離とカメラから被写体までの距離に依存する変位)」を用いて高解像化を図っている訳です。文献[1]では縦横の解像度を3倍にした結果が示されており、仮にこれが先日リフォーカスの実験で示した1200x900画素の画像に適用可能であれば3600x2700画素の画像が得られることになり、十分に実用的な解像度と言えるレベルに達しそうです。尚、超解像を行う場合には画像間にサブピクセル・オーダの変位が存在する必要があり、これがピクセル・オーダとなる条件下には適用できません。これは光学系の構成のほか、被写体までの距離にも依存するということに注意が必要です。
2.ハイダイナミックレンジ画像の作成
一般的なカメラの記録できるコントラスト比は1000:1のオーダですが、実世界のコントラスト比は優に100000:1を超えます。このような条件下で風景を撮影するためには実世界のダイナミックレンジをカメラで記録できる範囲まで圧縮する必要があります。これに伴い、実際に目で見た風景と写真として記録された風景とでは印象が異なってしまう他、明るい領域の白飛び、暗い領域の黒潰れなどが生じて被写体のディテールが失われてしまいます。このような問題を低減するために、様々な露出で撮影した画像を合成していいとこ取りをする技術がハイダイナミックレンジ合成です。
ハイダイナミックレンジ合成をするためには、上記のように様々な露出で同じシーンを撮影する必要があります。しかし、露出を変えて1枚ずつ撮影していたのでは時間がかかり、被写体が動くことによって合成がうまくいかない場合があります。そこでTodor Georgievらは、focused plenoptic cameraのマイクロレンズ・アレイにおいてマイクロレンズごとに開口の大きさを変えたり(文献[2])、透過率の異なるフィルタを挟んだり(文献[3])することにより露光量を制御し、一回の撮影で様々な露出の画像が得られるようカメラを構成しました。Fig.2には露光過多の画像と露光不足の画像、並びにそれらを合成した結果の例を示します。尚、前者二つはlight field dataから該当する露光量のmicro-imageを選択して作成されたものです。
Fig.2 high dynamic range image
(出展：文献[3]、画像の構成を変更)
Fig.2(a)を見ると背景の家ははっきり写っていますが、女の子の顔が白飛びしてしまっています。Fig.2(b)では逆に女の子の顔はしっかり写っていますが、背景の家が黒潰れしてしまっています。これらを合成したFig.2(c)は(ハイダイナミックレンジ画像特有の非現実感はありますが)被写体と背景が共にくっきりと表現されていることが分かります。従来のカメラで同様のことをやろうとすると、被写体が動いているために露出の異なる画像間の位置合わせが困難となってしまうことから、この光学系の構成によるメリットが見て取れます。尚、plenoptic cameraではありませんが、従来の光学系に対して画素単位に透過率を制御したフィルタを追加することにより、1回の撮影でハイダイナミックレンジ画像の合成を実現する技術もあります。(文献[4])
plenoptic cameraでもsub-image群を合成する過程で超解像を行うことは可能であると思われます。一方で、仮想マイクロカメラの露出を制御することによりハイダイナミックレンジ合成を実現することは恐らくできないでしょう。この特性から見ても、focused plenoptic cameraの光学系の構成は非常に有効なものであると改めて実感させられます。
[参考文献]
[1] T.Georgiev, A.Lumsdaine, "Superesolution with Plenoptic Camera 2.0," SRS, October, 2009
[2] T.Georgiev, A.Lumsdaine, S.Goma, "High Dynamic Range Image Capture with Plenoptic 2.0 Camera," Signal Recovery and Synthesis (SRS), Fall OSA Optics & Photonics Congress, 2009
[3] T.Georgiev, A.Lumsdaine, "Rich Image Capture with Plenoptic Cameras," ICCP, March, 2010
[4] S.K.Nayar, T.Mitsunaga, "High Dynamic Range Imaging: Spatially Varying Pixel Exposures," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vol.1, pp.472-479, Jun, 2000
