医師と協働する手術支援マニピュレータ
本研究室では，患者の傍から近接操作でき，医師と共存協調する手術支援ロボットを，医工・産学連携で研究しています．執刀医が一人で行えるロボット支援手術が実現すれば，少ない医療スタッフでの手術が可能となり（感染症対策，外科医の働き方改革，大規模災害），患者は地元病院で手術を受けられ，診療科の偏在の縮小，医療費の低減にもつながります．
隠消現実感(Diminished Reality)とは、映像中の不要物体の上に背景画像を重畳することで、不要物体をリアルタイムで視覚的に取り除く技術であり、映像中に仮想的な物体を重畳する拡張現実感(Augmented Reality) とは反対の概念を持ちます。本シーズでは、画像修復技術を用いて不要物体の周辺情報から尤もらしい背景画像を生成し、かつ背景の形状を推定することで、移動するカメラの映像から物体をリアルタイムで取り除きます。
画像修復
画像修復とは、画像中に不要な物体を視覚的に消す技術であり、実際に物体の背景を撮影しなくても、物体周辺の画像から尤もらしい背景画像を生成して合成することで、まるでその物体がはじめから無かったかのような画像を作り出します。このような機能は最近の画像処理ソフトウェアやスマートフォンアプリにも実装されていますが、動くカメラからリアルタイムで取得できる映像に単純に適用しても、時系列として違和感の少ない背景画像を生成することやリアルタイムでの動作が困難です。
画像修復のリアルタイム動画像への応用
画像修復技術をリアルタイム動画像へ応用するために、(1)背景形状の推定、(2)SLAM技術によるカメラの位置・姿勢の推定、を行います。これにより、カメラの位置・姿勢に応じて、画像修復で生成した背景画像の見え方を変形し、対象物体上に合成することで、時系列的にも違和感なく、またリアルタイムでの物体の視覚的な除去を実現します。
隠消現実感の応用例
リアルタイム映像から物体を除去できる隠消現実感には以下のような応用例が挙げられます。
(1) 家具配置シミュレーション
家具の買い替えや配置換えを考えているときに、実際に家具を動かさずとも映像中から既存の家具を取り除き、また拡張現実感技術により新しい家具を合成することで、家具配置のシミュレーションを行うことができます。
(2) 景観シミュレーション
建造物、看板、電柱などを映像中から取り除くことで、街中の雰囲気がどのように変わるかなどの景観シミュレーションを行うことができます。
(3) マーカの除去
拡張現実感では、カメラの位置・姿勢の推定やCG合成のために人工的なマーカがよく利用されています。しかし、マーカはアプリケーションによっては視覚的に邪魔な存在であり、マーカを視覚的に無くすことで、アプリケーションの価値を高めます。例えば、仮想家具の配置やゲームでのキャラクターの配置においてマーカを見えなくすることで、CGをより現実環境に溶け込ませることができます。
論文
「Diminished reality based on image inpainting considering background geometry」(2016)『IEEE Transactions on Visualization and Computer Graphics』22(3)p.1236-1247.
「Augmented reality marker hiding with texture deformation」(2017)『IEEE Transactions on Visualization and Computer Graphics』23(10)p.2288-2300.
「ARマーカ消去のための隠消現実感における3D Gaussian Splattingを用いた鏡面反射の再現」(2024)『2024年度 情報処理学会関西支部 支部大会 講演論文集』
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム