拡張現実感（Augmented Reality：AR）は，現実世界を映した映像に仮想物体であるCGを合成することで，まるでその場にその物体が存在するかのように見せる技術です．最近では，ゲーム・ファッション・家具配置・観光などで実用化されてきていますが，特に観光地などでカメラ映像に人が写りこむような状況では，AR画像の見栄えが悪化したり，CG合成が正確にできなかったりすることがあります．これに対して，事前撮影画像を用いた拡張現実感（Indirect AR）では，そのような環境下でも，スマートフォンやタブレットといったモバイル端末で頑健で見栄えのいいARを実現します．
拡張現実感（AR）といえば，リアルタイムのカメラ映像を取得し，それにCGを合成することが一般的ですが，現実世界と3次元的に整合性がとれたCG合成を行うためには，カメラの位置・姿勢が重要です．スマートフォンやタブレットでこれを行う方法として，端末内部のGPS・ジャイロセンサ・eコンパスを用いる方法がありますが，精度の悪さからCGが3次元的に正しく描画されません．これに対して，画像内の特徴的な箇所をフレーム間でトラッキングすることで，カメラの位置・姿勢を推定するVisual SLAMが広く研究されており，CGを現実環境の中に三次元的に正しくピタッと表示することが可能になってきています．しかし，観光地のように多くの人が入り乱れる環境では，画面の大部分に人が写りこむため，カメラの位置・姿勢推定が破綻することも多いです．
この幾何学的な整合性問題を解決するARの方法として，Indirect ARがあります．拡張現実感といえば，リアルタイムのカメラ映像を使わないといけない！という固定概念を多くの人が持っていますが，そんなことはありません．
Indirect ARでは，事前にARを体験する場所において全方位画像を撮影しておきます．次に，全方位画像に対してCGを合成します．この処理はリアルタイムでやらなくてもいいので，時間をかけて手動でCGの位置・向き・大きさを調整することが可能です．最後に，全方位画像を撮影した地点において，モバイル端末のジャイロセンサ・eコンパスを用いて，CGを合成した全方位画像から端末の向いた方向に応じた画像を透視投影画像として切り出し，ユーザに提示します．
リアルタイムのカメラ画像で端末の位置・姿勢を計算しているわけではないので，前を人が横切ろうが，端末を激しく振ろうが，ARが破綻することはなく，頑健に動作します（下の動画参照）．また，人が写りこみ，見たいものが見えないということもありません．ただし，ジャイロセンサの誤差で多少，全方位画像からの切り出し位置がずれることもありますが，現実環境とCGとの相対位置は絶対にずれないので，ARの体験としては悪くはありません．
Indirect ARでは過去の画像を用いているため，現在の環境と画像の環境の差異があることが多いです．例えば，下の動画では，AR画像では壁際に傘が写っていませんが，実際には傘がかけられています．このような微小な差だとユーザはあまり気にすることはないかもしれませんが，例えば，時間・季節・天候が大きく異なると，現在とAR画像との差異が気になり，AR体験の品質が低下します．また，1地点で撮影した全方位画像を用いた場合は，ユーザがその場所から移動しても提示画像が変わりません．このため，より高品質なAR体験を実現するためにも，現在の環境と提示画像の差異の補償方法やユーザの移動に伴う提示画像の視点移動の方法を研究・開発していく必要があります．
論文
「Toward more believable VR by smooth transition between real and virtual environments via omnidirectional video」(2018)『International Symposium on Mixed and Augmented Reality』p.222-225.
「Indirect augmented reality without pre-capturing target environments」(2017)『Asia Pacific Workshop on Mixed and Augmented Reality』
「Motion parallax representation for indirect augmented reality」(2016)『International Symposium on Mixed and Augmented Reality』p.105-106.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2021 智と技術の見本市.
