English
KoreanSID Display Week 2021 聴講記 (3) 次世代ディスプレイ
UDDI Technical Writer Ph.D. 鵜飼育弘氏の特別寄稿
SID2021聴講 (3) はシンポジュームから次世代ディスプレイの講演を取り上げる。先ず「没入型ディスプレイとは」から始める。
没入型ディスプレイとは
IDW2020の基調講演で、ソニーR&Dセンターの野本氏から” Toward “KANDO” Creation with Immersive Visual Expression”と題した講演があった (1) 。ここでは論文を引用しながら講演概要を述べる。なお、図表の転載は許可を得ている。
TV用に代表される大画面ディスプレイとしてのLCDおよびOLEDは空間解像度が8kまで実用化され、画面サイズは120型まで開発実用化されている。一方、スマートフォンやスマートウオッチなどの携帯ディスプレイは、解像度800ppiが開発実用化されている。
近年、XR（仮想現実（VR : Virtual Reality）/拡張現実（AR：Augmented Reality）/複合現実（MR : Mixed Reality））ディスプレイ技術への関心が高まっている。従来のFPDを超える新しい視覚表現の媒体を提供し、没入型、感覚的、感情的な（日本語で「KANDO」）体験を提供する。
図１に空間及び時間の拡大を示す。大画面に対して没入感 (immersion) は、VR HMD、Edge Blended Projector、Tiled LED DisplayおよびVolumetric Displayで実現できる。携帯ディスプレイに対しての 拡張 (augmentation)は、AR/XRグラスや Transparent HUDで実現できる。
図1: Trend on Large and Mobile Display
これらのXRディスプレイによって提供される没入型のリアルな体験は、図2に示すように、パノラマXRエクスペリエンスとボリュームXRエクスペリエンスに分類できる。
図2: Geometrical Evolution of visual expression
没入感と存在感を高めるためのXRディスプレイの2つの主要なパラメータ
図3に没入感と存在感を呼び起こすために重要なXRディスプレイの主要評価指標を示す。人間の目では、視力は網膜の中心窩で最も高く、これは約1°20 'の視野の中心に対応する。視力は中心窩周辺で急速に低下し、視野は約120°（一時的なFOV: field of view）になる。 したがって、1.0の視力でフィールドをカバーするには、8Kを超える解像度が必要である。
フレーム周波数は時間分解能のパラメータになり、動画ぼやけやちらつきなどの要因に影響する。人間の視覚のダイナミックレンジは約8桁であり、XRの現在の目標は範囲を6桁に改善することである。さらに、グレースケールレベルの量子化を10〜12ビットに拡張することも検討されている。没入型の体験には、豊かな色も重要である。現在のDCI-P3規格はハイスペック製品の規格であり、自然な色域でポインターの色の約90％をカバーしているが、新しい規格BT.2020は99％をカバーする。
図3: Key Display Parameters for XR Expression
SID2021での没入型ディスプレイ
IDW2020の野本氏の講演で紹介された技術の詳細についてソニーグループから講演があった。ここでは論文を引用しながら紹介する。なお、図表の転載は許可を得ている。
・青山氏から”Eye-sensing Light Field Display for Spatial Reality Reproduction”と題した講演 (2)
・西山氏から” Omni-Directional Projection VR Systems Using Ultra-Short Throw Lenses”と題した講演 (3)
アイセンシングライトフィールドディスプレイ（ELFD: Eye-sensing Light Field Display）
ソニーは、まるで本物のように仮想空間を体験できるアイセンシングライトフィールドディスプレイ（ELFD: Eye-sensing Light Field Display）を開発・商品化 (商品名:空間再現ディスプレイELF-SR1)した。 これは、目の感知に基づく光学設計によるリアルタイムのライトフィールドレンダリングと、人間の知覚特性を考慮に入れることによって可能になる。図4にELFDのシステム構成を示す。以下に各構成要素技術について述べる。
図4: Eye-sensing Light Field Display
アイセンシング
表示された物体が実際にそこにあるように観察者に感じさせるためには、常に両目から正しく知覚される視点画像を表示する必要がある。これを実現するために、高速ビジョンカメラと高精度の顔パーツローカリゼーション技術を使用したアイセンシングシステムを開発した。
リアルタイムライトフィールドレンダリング
実空間は、すべての光線を表すライトフィールドとして定義できるが、実際には、すべての光線を再現することは不可能である。そこで、アイセンシングシステムで取得した観察者の視界から見える光線のみをリアルに再現することを目的に、再現する空間と対象物を3DCGデータとして表現する。
ELFDの光学設計
もう1つの重要な技術はシステムの光学設計である。これは、高速のアイセンシングとリアルタイムレンダリングを最大限に活用するように最適化している。レンチキュラーレンズを使用して、3Dディスプレイの光線を制御した。レンチキュラーレンズと視差バリアを使用する従来の自動立体視ディスプレイでは、複数の視点での光線生成による解像度の低下と、視点画像間のクロストークによる画質の低下を回避することはできない。さらに、観察者が観察位置を変えると、疑似画像が生成される傾向がある。
アイセンシングでは、観察位置に応じて表示画像を切り替えることで、疑似画像の生成を回避できる。一方、左右の視点に対応する2枚の画像のみを表示することで解像度を向上させることができる。さらに、アイセンシングに基づくレンチキュラーレンズの新しい設計方法を発見した。従来の設計では、対応する多視点画像に対して視点を作成する。対照的に、新設計では、画像の数をはるかに超える多数の疑似視点を設定し、次に左右の画像に割り当てる。
これにより、表示位置シフトのクロストークマージンが大幅に増加し、表示位置シフト時の画像の切り替えを劇的にスムーズにすることができる。
空間リアリティ強化のための設計
最後に説明する技術は、提案したディスプレイ設計である。これは、現実世界のディスプレイ内のオブジェクトをローカライズして、画像に存在感を与えるものである。従来の2D / 3Dディスプレイは、観察者がディスプレイ平面に直接面していることを前提としている。
図5左と中央は、3Dオブジェクトがそれぞれ前面と背面に配置されている通常の表示レイアウトの例を示す。この向きは、表示されるオブジェクトの両眼視が快適に融合するときに3D効果を高めるが、表示位置を上にシフトすると画像の欠落や3D効果の損失が発生する可能性があるため、使用可能な表示位置が制限される。そのため、表示するボックスの対角線上で表示パネルを傾けた。これにより、図5右に示すように、ボックス内のオブジェクトをレンダリングするときに、特に上から見たときの奥行きの視認性が向上する。
さらに、ディスプレイを傾けて配置することには、他に2つの大きな利点がある。 1つ目は、画像の視差誤差の量を抑えることができるということ。観察者の注意のほとんどが画面中央の画像に集中しているため、画面を斜めに配置することで、画面中央の視差誤差を抑え、クロストークの発生率と意識を低減することができる。また、完全に解決しなくても、輻輳と調節の競合を軽減することができる。ディスプレイを斜めに配置することの2つ目の利点は、画像が画面の表面に対して平らに見えなくなること。そのため、観察者は画像と画面表面の関係をあまり認識せず、図6に示すように、3D画像が画面とは独立して存在していると認識する。これにより、画像の存在感が劇的に向上する。
図5: Design for spatial reality enhancement
図6: Diagonal placement of the display
まとめ
このシステムには、15.6インチの4K LCDパネル、前述のレンチキュラーレンズが高精度で取り付けられた3Dパネル、および高速ビジョンカメラが装備されている。レンダリングは外部PCに実装されている。非常にわずかなクロストークで高解像度の裸眼立体視ディスプレイを実現した。
表示面の画像は、図7左に示すように、アナモルフォーシス(Anamorphsis)と呼ばれる一種のトロンプ・ルイユ錯視(trompe l'oeil illusion)である。このダイナミックステレオアナモルフォーシス技術は、トロンプ・ルイユの錯覚を動的に更新して、観察者の表示位置に一致させ、図7右に示すように、オブジェクトが実際にそこにあるかのように被験者に感じさせることに成功した。
前述のように、空間再生の知覚された現実を追跡し、強化することに基づく自動立体視ディスプレイ技術の開発に取り組んできた。その結果、3D効果の体験に寄与する生理的・心理的要因を大幅に改善することに成功した。開発したディスプレイは、これまでにない視覚体験を提供し、まるで実生活のように、立体感と臨場感をベースにした強い臨場感のある空間を誰もが体験できるようにする。リアルな体験を提供する3D画像の作成を可能にすることで、クリエイターやデザイナーの創造的な活動に貢献し、より洗練された医療および教育アプリケーションを可能にしたいと考えている。
図7: Effect of Dynamic Stereo Anamorphosis
著者所見
著者は神戸在住なので、このデモを大阪梅田のソニーストアーで見た。正しく、「百聞は一見に如かず」である。ELFDは展示会で見たことがあるが、一定の視線に限定されたものが多い。まるで本物のように仮想空間を体験できるこの技術は、前述のように目の感知に基づく光学設計によるリアルタイムのライトフィールドレンダリングと、人間の知覚特性を考慮に入れることによって可能になったとのこと。将来は更なるディスプレイの大型化を期待したい。
超短焦点レンズを使用した全方向プロジェクション VR システム
ソニーは、4K×2Kの解像度と120Hzのフレーム周波数を備えた0.74型のCMOS駆動反射型LCD（（SXRD））を使用した超短焦点プロジェクターを開発した。2018 年から、プロジェクターの数を最適化し、機器のサイズを縮小するために、曲面スクリーン (UST-CS：ultra-short throw lens with catadioptric relay for curved screens) 用の反射屈折リレーを備えた超短焦点レンズを開発してきた。UST-CSは、スローレシオ（投写距離対弧長）0.13：1、最大半画角114度を実現し、大きな曲率のある画面の近くから水平方向に大きな画像を投影すると同時に、解像度の低下を抑える。
図8に全方向性VR Pro用の反射屈折リレーを備えた超短焦点レンズを示す。同図表にUST-ODPSの仕様を示す。UST-CS は、画面上に不均一な 輝度分布（BD: Brightness Distribution） と ピクセルサイズ分布（PD : Pixel Size Distribution）を示した。 また、パネルを横置きにするとVFOVを大きくすることができなくなり、ODPSの実装が難しくなる。 以上の結果を踏まえ、BDとPDを均一化し、効果的に垂直視野（VFOB : Vertical Field Of View）を拡大するUST-ODPSを開発した。図左下に示す構造は、平面ミラーを使用して光線を曲げる。同図にイメージサークルとパネルの配置を示しす。 UST-ODPS はポートレート投影に適している。
図8: Ultra-Short Throw Lens with Catadioptric Relay for Omni-Directional VR Projection Systems (UST-ODPS)
Omni-directional VR Projection System（ODPS）
図9にODPSを示す。スクリーンは直径12mの球体である。スクリーン下部にはわずか8台のプロジェクターが配置されている。 DOS を高く設定しているので、ブレンディングの投影領域マージンを含めて屋根まで投影することができる。図9中央は球中心を含む水平方向の断面を示しており、ブレンド量は2160ピクセルで片側28.6%(18°/63°)である。上部のブレンディング量は19.4%(14×2/144°) アイポイント位置を球中心に設定すると、 水平視野（HFOV: Horizontal Field Of View）は+/-180°になり、VFOVは+90/-40°になる。上記ＰＤの影響を考慮しない場合の光学解像度は、水平方向が35画素PPD (pixels per degree)、垂直方向が28PPDである。光学解像度は焦点深度（DOS: Depth Of Focus)を小さくし、上部を別の投影システムのプロジェクターで投影することで上げることができる。図9右は、球の中心を含む断面に設置された 2つのプロジェクターからの光線のみの側面図を示す。白い点線で形成された三角形は光線のない領域であり、円錐形の空きスペースを示す。
図9: Omni-directional VR Projection System (ODPS)
ウォークスルー VR プロジェクション システム (WTPS):
深いDOFにより、解像度を低下させることなく、縦投影で画像の短辺の画面半径の大きな円筒スクリーンに画像を投影することができる。 図10は、円筒形スクリーンに画像が投影された WTPSの斜視図を示す。 左右に5台ずつ設置されたプロジェクターで、全長20mのトンネル全体を映すことができる。ODPSのように床にプロジェクターを設置することで、プロジェクターを上から吊るす必要のないシンプルなプロジェクションシステムを構築することができる。円筒形または球形のスクリーンに大きな損失はない。
図10: Walk-Through VR Projection System（WTPS)
結論
過去20年間、曲がったスクリーンでの短焦点投影で発生するBDおよびPDの劣化の問題は、光学の原理により解決されていなかった。反射屈折リレーを備えた曲面スクリーン用の超短焦点レンズを開発し、光学設計に歪みを補正する制約を導入することで、BDとPDをより均一にすることができることを示した。また、スクリーンの球中心位置を光学系の光軸から偏心させることで、投写距離を変えることなく投写画像サイズを拡大することができる。これにより、プロジェクターの数を減らすことができ、床から投写できるため、投写システムの設置が簡単になる。これらの驚くべき高画質を備えたコンパクトなVRプロジェクションシステムは、新しいVR没入体験を切り開き、将来的にさまざまな市場でのアプリケーションを拡大すると信じている。
著者所見
反射屈折リレーを備えた新しい超短焦点レンズの開発で全方位 VR 投影システム (UST-ODPS) を実現した。著者は、円筒型ウォークスルーVR投影システムのデモを見ていないが、実物を一日でも早く見たい気持ちである。今後、このようなシステムが広く採用され、我々の「ワクワク、ドキドキ感」を堪能させてくれるであろう。
【参考・引用文献】
(1) K.Nomoto, IＤＷ2020 Digest pp.5-8(2020)
(2) K.Aoyama, et al., SID2021 Digest pp.669-672 (2021)
(3) M.Nishiyama and J.Nishikawa, SID2021 Digest pp.683-686 (2021)
UDDI Technical Writer
Ph.D. 鵜飼育弘
yasuhiro.ukai@hotmail.co.jp
※ウェブサイト管理者より: 以下の「WRITTEN BY」表記は、システム上の都合により、DSCCウェブサイト編集者の情報となります。