Heterodyned Light Field Camera
Ren Ngらのplenoptic cameraやTodor Georgievらのfocused plenoptic cameraは、4D light fieldを空間領域(spatial domain)で記録しているため、空間解像度(spatial resolution)と角度解像度(angular resolution)との間にトレードオフが生じます。これを解消すべく、Ramesh Raskarらは4D light fieldを周波数領域(frequency domain)で記録する方法の1つとしてheterodyned light field cameraを提案しています。
heterodyned light field cameraの特徴は、plenoptic cameraとは異なりレンズとセンサとの間にマイクロレンズ・アレイではなく特殊なマスクを挿入する点にあります。このマスクによって、周波数領域における4D light fieldのレイアウトを制御し、2Dのセンサで記録された際にも欠落する情報量を抑えることができるようです。
plenoptic cameraと比較した際のメリットは次の通りです。
- 光学レイアウトが容易で且つ安価に実現できる ：マスクを追加するだけなのでマイクロレンズ・アレイと比較して安価であると共に、マスクの設置位置に対する精度の要求が相対的に低い。
- 光学系に新たな収差や歪を導入しない ：マスクを追加しているためレンズ特有の球面収差、色収差、コマ収差、幾何学歪とは無縁である。
- 空間解像度と角度解像度とのトレードオフを自由に選択可能である ：光学系の設計にもよるが、ユーザがマスクを取り替えられるようにすれば、目的に応じてトレードオフの程度を選択できる。
一方で、デメリットは次の通りです。
- 画像が暗くなる ：マスクによって光の一部が吸収されることにより、利用できる光量が減少する。
- 顕微鏡などには向かない ：マスクにより開口を絞ってしまうため、顕微鏡など回折限界的(diffraction limited)な光学系ではリフォーカス能力が低下する。
ここからは、heterodyned light field cameraが4D light fieldを記録する仕組みについて見ていきたいと思います。尚、内容を理解しきれていない面もあり十分に説明できない部分もありますので、予めご了承ください。後日アップデートしていきたいと考えています。
Fig.1にレンズの開口部にマスクを配置した光学系の模擬図を示します。ここでは簡便のため空間を1次元に縮退しており、被写体平面をx、レンズ平面をθとし、被写体はランバート面(Lambertian surface、ランベルト面)を仮定しています。
焦点の合った被写体から照射された光線はレンズとマスクを通過してセンサ上で1点に集まります。一方で、焦点の合っていない被写体から照射された光線はセンサ上で1点に集まらずにマスクの模様を描きます。これを周波数領域で考えると、ランバート面において輝度は方向によらず一定であるため、θ方向に分布を持たずx方向のみに分布を持つスペクトルとして表現されます。(Fig.1 左下) 一方、レンズの開口部に設置されたマスクの変調関数(modulation function)は、x方向に分布を持たずθ方向のみに分布を持つスペクトルとして表現されます。(Fig.1 中央下) 最終的にセンサで記録されるlight fieldこの二つのスペクトルの重ね合わせとなり、レンズの焦点距離に存在するセンサでは水平な(x方向のみに分布を持つ)スペクトルとして、焦点距離から外れた位置に存在するセンサは所定の回転角を持ったスペクトルとして、それぞれ記録されます。(Fig.1 右下)
Fig.1 encoded blur camera
(出展:文献[1])
焦点距離から外れるとスペクトルが回転する理由について概念的に説明します。まず、センサがレンズの焦点距離にあれば被写体から照射された光線はセンサ上の1点に集まり、マスクパターンは全て1つの値に畳み込まれます。これはθ方向の情報が失われていることを表し、したがって記録されるスペクトルはθ方向の分布を持ちません。一方、センサがレンズの焦点距離から外れると、被写体から照射された光線はセンサ上に面として広がりを持ち、ここにマスクパターンが描かれます。これは即ちθ方向の情報が失われずに残っていることを表すので、スペクトルはθ方向に一定の分布を持つことになるので回転が生じます。尚、センサが焦点距離の前後で回転の方向が切り替わるのは、センサ上の像の上下が反転することに対応していると思われます。
次に、マスクをレンズとセンサの間に配置した光学系の模擬図をFig.2に示します。ここではFig.1と異なり、被写体のランバート反射を仮定していないため、被写体のスペクトルがθ方向にも分布を持っています。
Fig.2においてマスクの変調関数は、d=vの条件ではFig.1と同様のためθ方向のみに分布を持つ水平なスペクトルとなります。逆にd=0の条件では、既に集光された光線に対してマスクをかけているためθ方向に分布を持たない鉛直のスペクトルとなります。(Fig.2 中段の中央) これらの間の条件(0
Fig.2 heterodyned light field camera
(出展:文献[1])
センサ面でのlight fieldは上述の通りですが、センサが記録できるのは2次元の情報でありθ方向の情報は欠落してしまいます。言い換えれば、周波数空間でfx軸上の情報のみが記録されることになります。Fig.2の中段のようにlight fieldが鉛直方向に重なりを持って記録されてしまうと、fx軸上でのスライスは複数のθにおける情報が畳み込まれた状態となってしまいθ方向の情報の復元が困難になります。一方で、Fig.2の下段のようにlight fieldが斜めに重なりを持って記録されていると、重なっている部分は情報が畳み込まれてしまいますが、重なっていない部分の情報は保持されます。そこで、マスクの位置を適切に決定することによってこの重なりを制御し、θ方向の情報の欠落を防ぐことがこの方式のミソになります。
先述したように、周波数空間ではセンサは実際のlight fieldスペクトルのうちfx軸に沿った部分しか記録することが出来ません。(Fig.3 左) そこでマスクを用いることにより、マスクの変調関数によってlight fieldスペクトルを斜め方向に並べて記録し(Fig.3 中央)、記録した断片をつなぎ合わせることによって元のlight fieldスペクトルを復元することが出来ます。(Fig.3 右)
Fig.3 spectral slicing in heterodyned light field camera
(出展:文献[1])
従来の光学系とheterodyned light field cameraの光学系が光線やlight fieldをどのようにして記録するかを示した模擬図がFig.4です。従来の光学系で2段目にあるlight fieldを記録すると、本来は暗い背景と明るい前景とが明確な境界を持っているところがθ方向の情報は畳み込まれることにより境界がボケてしまいます。heterodyned light field cameraでは、マスクは異なる複数のcosineパターンを重ね合わせで出来ており、光線がマスクを通過することにより(光学的に)フーリエ変換が行われます。また、マスクのレイアウトによりFig.3のように斜めに並んだlight fieldスペクトルのfx軸上のスライスが、被写体の像に重畳されてセンサに記録されます。(Fig.4 中段下部 "Modulated Sensor Image") したがって、得られる画像は従来の光学系で得られる画像にlight fieldスペクトルが合成されたものとなります。
Fig.4 light field capture
(出展:文献[1])
このようにして得られた画像からlight fieldを復元するには次の手順を踏みます。
このようにして4D light fieldが復元できるようです。
尚、上記のデメリットの説明には記載していませんでしたが、この手法だとlight fieldの空間解像度が低いようなので、複雑なシーンのリフォーカスが苦手なようです。
データセットがリンク切れのため、今回はサンプルプログラムはありません。
別の機会に挑戦してみることにします。
[参考文献]
[1] A.Veeraraghavan, et.al., "Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing," ACM SIGGRAPH 2007
