SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス
学科の分類
情報科学部情報メディア学科

事前撮影画像を用いた破綻しない拡張現実感（Indirect AR）とVRとの融合

情報科学部

情報メディア学科

視覚情報処理研究室

河合紀彦 准教授

拡張現実感（Augmented Reality：AR）は，現実世界を映した映像に仮想物体であるCGを合成することで，まるでその場にその物体が存在するかのように見せる技術です．しかし，特に観光地などでカメラ映像に人が写りこむような状況では，AR画像の見栄えが悪化したり，CG合成が正確にできなかったりすることがあります．これに対して，事前撮影画像を用いた拡張現実感（Indirect AR）では，そのような環境下でも，スマートフォンやタブレットといったモバイル端末で頑健で見栄えのいいARを実現します．また，視点や天気・季節を仮想的に変えることでVRと融合することもできます．

拡張現実感におけるCGの整合性

拡張現実感（AR）といえば，リアルタイムのカメラ映像を取得し，それにCGを合成することが一般的ですが，現実世界と3次元的に整合性がとれたCG合成を行うためには，カメラの位置・姿勢が重要です．スマートフォンやタブレットでこれを行う方法として，端末内部のGPS・加速度センサ・ジャイロセンサ・eコンパスを用いる方法がありますが，精度の悪さからCGが3次元的に正しく描画されません．これに対して，画像内の特徴的な箇所をフレーム間でトラッキングすることで，カメラの位置・姿勢を推定するVisual SLAMが広く研究されており，CGを現実環境の中に3次元的に正しくピタッと表示することが可能になってきています．しかし，観光地のように多くの人が入り乱れる環境では，画面の大部分に人が写りこむため，カメラの位置・姿勢推定が破綻することも多いです．

Indirect AR

この幾何学的な整合性問題を解決するARの方法として，Indirect ARがあります．拡張現実感といえば，リアルタイムのカメラ映像を使わないといけない！という固定概念を多くの人が持っていますが，そんなことはありません．
Indirect ARでは，事前にARを体験する場所において全方位画像を撮影しておきます．次に，全方位画像に対してCGを合成します．この処理はリアルタイムでやらなくてもいいので，時間をかけて手動でCGの位置・向き・大きさを調整することが可能です．最後に，全方位画像を撮影した地点において，モバイル端末の加速度センサ・ジャイロセンサ・eコンパスを用いて，CGを合成した全方位画像から端末の向いた方向に応じた画像を透視投影画像として切り出し，ユーザに提示します．
リアルタイムのカメラ画像で端末の位置・姿勢を計算しているわけではないので，前を人が横切ろうが，端末を激しく振ろうが，ARが破綻することはなく，頑健に動作します（下の動画参照）．また，人が写りこみ，見たいものが見えないということもありません．ただし，ジャイロセンサの誤差で多少，全方位画像からの切り出し位置がずれることもありますが，現実環境とCGとの相対位置は絶対にずれないので，ARの体験としては悪くはありません．

ARとVRの融合

Indirect ARの方法はGoogle Street Viewのような全方位画像を用いたVRと同じなので，Indirect ARからVRにシームレスに遷移することもできます．下の動画は，大阪府枚方市にある特別史跡百済寺跡において，奈良時代の寺院を復元しIndirect ARで提示している例ですが，アイコンをタップすることで，天気・季節・視点を変更し，VRとして見ることもできます．単純にある位置から古代の建造物を鑑賞するだけでなく，様々な季節や天気での当時の風情を堪能することもできます．また，視点を高くして，当時の鳥しか見られなかったような景色を楽しむこともできます．

Indirect ARの問題と今後の課題

Indirect ARでは過去の画像を用いているため，現在の環境と画像の環境の差異があることが多いです．例えば，下の動画では，AR画像では壁際に傘が写っていませんが，実際には傘がかけられています．このような微小な差だとユーザはあまり気にすることはないかもしれませんが，例えば，時間・季節・天候が大きく異なると，現在とAR画像との差異が気になり，AR体験の品質が低下します．また，1地点で撮影した全方位画像を用いた場合は，ユーザがその場所から移動しても提示画像が変わりません．このため，より高品質なAR体験を実現するためにも，現在の環境と提示画像の差異の補償方法やユーザの移動に伴う提示画像の視点移動の方法を研究・開発していく必要があります．

論文

「Integrated System of Augmented and Virtual Reality for Ruins Tourism」(2023)SuganumaYuya『NICOGRAPH International』p.85.

「Indirect augmented reality without pre-capturing target environments」(2017)PipatanakulKunat『Asia Pacific Workshop on Mixed and Augmented Reality』

「Motion parallax representation for indirect augmented reality」(2016)OkuraFumio『International Symposium on Mixed and Augmented Reality』p.105-106.

研究者INFO: 情報科学部 情報メディア学科 視覚情報処理研究室 河合紀彦 准教授

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム