SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス
学科の分類
情報科学部情報メディア学科

映像中から物体をリアルタイムで除去する隠消現実感

情報科学部

情報メディア学科

視覚情報処理研究室

河合紀彦 准教授

隠消現実感（Diminished Reality）とは、映像中の不要物体の上に背景画像を重畳することで、不要物体をリアルタイムで視覚的に取り除く技術であり、映像中に仮想的な物体を重畳する拡張現実感（Augmented Reality）とは反対の概念を持ちます。本シーズでは、画像修復技術を用いて不要物体の周辺情報から尤もらしい背景画像を生成し、かつ背景の形状を推定することで、移動するカメラの映像から物体をリアルタイムで取り除きます。

画像修復

画像修復とは、画像中に不要な物体を視覚的に消す技術であり、実際に物体の背景を撮影しなくても、物体周辺の画像から尤もらしい背景画像を生成して合成することで、まるでその物体がはじめから無かったかのような画像を作り出します。このような機能は最近の画像処理ソフトウェアやスマートフォンアプリにも実装されていますが、動くカメラからリアルタイムで取得できる映像に単純に適用しても、時系列として違和感の少ない背景画像を生成することやリアルタイムでの動作が困難です。

画像修復のリアルタイム動画像への応用

画像修復技術をリアルタイム動画像へ応用するために、(1)背景形状の推定、(2)SLAM技術によるカメラの位置・姿勢の推定、を行います。これにより、カメラの位置・姿勢に応じて、画像修復で生成した背景画像の見え方を変形し、対象物体上に合成することで、時系列的にも違和感なく、またリアルタイムでの物体の視覚的な除去を実現します。

隠消現実感の応用例

リアルタイム映像から物体を除去できる隠消現実感には以下のような応用例が挙げられます。

(1) 家具配置シミュレーション
家具の買い替えや配置換えを考えているときに、実際に家具を動かさずとも映像中から既存の家具を取り除き、また拡張現実感技術により新しい家具を合成することで、家具配置のシミュレーションを行うことができます。

(2) 景観シミュレーション
建造物、看板、電柱などを映像中から取り除くことで、街中の雰囲気がどのように変わるかなどの景観シミュレーションを行うことができます。

(3) マーカの除去
拡張現実感では、カメラの位置・姿勢の推定やCG合成のために人工的なマーカがよく利用されています。しかし、マーカはアプリケーションによっては視覚的に邪魔な存在であり、マーカを視覚的に無くすことで、アプリケーションの価値を高めます。例えば、仮想家具の配置やゲームでのキャラクターの配置においてマーカを見えなくすることで、CGをより現実環境に溶け込ませることができます。

論文

「Diminished Reality Based on Image Inpainting Considering Background Geometry」(2016)KawaiNorihiko『IEEE Transactions on Visualization and Computer Graphics』22(3)p.1236-1247.

「Augmented Reality Marker Hiding with Texture Deformation」(2017)KawaiNorihiko『IEEE Transactions on Visualization and Computer Graphics』23(10)p.2288-2300.

「Reproduction of Specular Reflection using 3D gaussian Splatting in Diminished Reality for AR Marker Hiding」(2024)NarutomiIssa『Proceedings of Asia-Pacific Workshop on Mixed and Augmented Reality (APMAR』

研究者INFO: 情報科学部 情報メディア学科 視覚情報処理研究室 河合紀彦 准教授

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム