Googleがライトフィールドで挑戦するVRの未来
3月14日にGoogleはVRデバイス用の体験アプリ「ライトフィールド（light fields）」をリリースしました。通常VRはUnityなどによって、VRヘッドセットで歩き回ることができるような仮想空間を構築します。実写を360度映像にするVRもあります。ライトフィールドでは、実写の映像で視点を移動してVRを体験できることが特長です。
360度カメラで撮影してVRを作成する場合の難点は、VRを体験しているときの視点が固定されてしまうことにあります。撮影するカメラが固定されているため、空間的な拡がりは体験できますが、視点の移動はできません。つまり立体的とはいえ、縛られた視点から仮想空間を眺めるだけになります。
ライトフィールドで注目すべき点は、顔を動かせば視点が移動して肉眼に近いリアリティが再現できることです。以下の映像はライトフィールドのデモです。
では、どのようにして、このような仮想空間を構築しているのでしょうか。
16個のGoProを半円形に配置した機材で撮影
実際にライトフィールドでは、かなり大掛かりな装置を用いています。16個のGoProを半円形に配置した専用のカメラリグを撮影装置として開発しました。この半月のようなリグを回転させながら撮影します。実際にどれぐらい大掛かりなものかということは、以下のサイトを見ると一目瞭然です。
参考（英語）：
Experimenting with Light Fields
3Dプリンターが登場して間もない頃、3Dスキャンをして自分のフィギュアを作ることが流行したことがありました。なんとなく当時の3Dスキャナーを彷彿とさせるイメージです。あるいは医療用のMRIでしょうか。
カメラを配置した半円形のカメラリグは、1回転する間に1,000以上の視点による撮影を行います。Googleはライトフィールドのために、高度なキャプチャ、ステッチング（画像をつなぎ合わせる技術）、レンダリングなどの技術を開発しました。肉眼で見たようなリアリティで再現できるのは、すべてのカメラが撮影した光の情報を記録しているからです。
たとえば鉢植えの花があったとします。このときに人間の視点が花に近づいているときには、花から反射された光が強くなります。しかし、顔の位置を移動して鉢植えを見るとき、今度は鉢植えから反射された光が強まります。このように光の反射が変わることで、リアルな立体感が再現されます。
ふと思い出したのは、アメリカの心理学者であるジェームス・ギブソンによる「アフォーダンス」という概念でした。彼は「光」に注目して、情報はすべて光の中にあるという考え方のもとに、世界を面（サーフェス）とキメ（テクスチャー）で構成されていると考え、人間が移動する感覚を得られるのは「動き」によって面とキメの情報が変化するからだ、という説を提示しました。
3D-CGでモデリングやVRを構築している方には常識かもしれませんが、３Dのリアリティを再現するには「光」は重要な要素です。光源の位置や強さはもちろん、マテリアル（質感）やテクスチャ（模様）によって光の反射が異なります。実写で現実の世界をVR化するには、この光の情報がとても重要ですが、同時に膨大な情報になります。
GoogleのVRが向かう未来
現時点では、ライトフィールドはHTC Vive、Oculus Rift、Windows MRに対応しています。VRヘッドセットを所有していれば、以下のSTEAMのサイトで無料公開されているので試すことができます。
現在、ライトフィールドのアプリは実験的なものとして位置づけられています。しかし、Daydream Viewのヘッドセットを発売し、Lenovo Mirage Solo with Daydreamとしてスタンドアロン型に加えて、Mirage CameraもリリースしているGoogleとしては、この実験は「見る」VRから「撮る」VRに領域を拡張するためのトライアルのひとつかもしれません。
そもそもGoogleのミッションは「世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすること」です。そのためにWebサイトはもちろん、地図情報や遺伝子情報などをあらゆる情報収集を手がけています。
「オープン・ヘリテージ・プロジェクト（遺産公開プロジェクト）」では、GoogleはCyArkとともに文化遺産を3Dデータ化し、VRヘッドセットやスマートフォンで再現できるアーカイブに取り組んでいます。絶滅の危機にある世界遺産が多い昨今、この取り組みは社会的意義があるものではないでしょうか。
ライトフィールドの半月型の撮影装置で、巨大な世界遺産をスキャンすることは相当無理があるかもしれません。CyArkによるスキャニングは、複数の写真をステッチングするようです。しかし、複数のドローンにカメラを積んで、AIで制御して世界遺産の周囲を一周させることができれば、建造物の3Dデータアーカイブも実現できそうです。
とはいえ、仮想ではないリアルな文化遺産や自然環境を大切にすることが先決ですね。
Error, group does not exist! Check your syntax! (ID: 1)
