SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス
学科の分類
情報科学部情報メディア学科

VRのための360度全方位画像・映像からの撮影者や動物体の消去

情報科学部

情報メディア学科

視覚情報処理研究室

河合紀彦 准教授

手に持って簡単に撮影できる全方位カメラ（360度カメラ）が普及し、気軽に360度全方位画像・映像を取得できるようになってきました。このような画像や映像は、Googleストリートビューや不動産サイトでの物件内覧といったVRシステムに利用され、ユーザが好きな方向を見回すことができます。しかし、全方位カメラによる撮影では、その撮影者や周辺の動物体も画像・映像中に映り込んでしまうことが多く、そのままの画像をVR用途で使うことはできません。そこで本シーズでは、複数の画像を合成することで撮影者や動物体を全方位画像から消去します。

360度全方位カメラと360度全方位パノラマ画像

全方位カメラとして、RICOHのTHETAシリーズやInsta360シリーズなどがあり、一般的なデジタルカメラと同等の価格で手に入るようになってきています。このようなカメラを手に持って撮影すると、右図のような撮影者が映り込んだ360度全方位パノラマ画像が得られます。旅行などで自分を写したいときにはよいのですが、これをGoogleストリートビューや不動産サイトの内覧のようなVRシステムにそのまま用いることはできません。三脚上にカメラを設置し遠隔から撮影する方法もありますが、必ずしも三脚を設置できる環境であるとは限りませんし、遠隔撮影できたとしても三脚は映り込むことになります。

ある一地点での全方位画像からの撮影者の消去

撮影者を画像から消去するために、右図のように、カメラの位置をできるだけ動かさないように、カメラの周りを回りながら複数枚静止画像を撮影します。次に、複数枚の画像間でコンピュータビジョンの技術により対応付けを行ったうえで、撮影者以外の見え方が同一になるように画像を補正します。最後に、複数枚の画像の比較により撮影者が写っていない領域を自動的に抽出し、それらを色調を補正しながら統合することで撮影者が写っていない全方位画像を生成します。以下のYoutubeが、撮影者を消去した全方位画像をVRとして見たものです。

移動撮影した全方位映像からの撮影者・動物体の消去

移動しながら撮影した全方位映像から撮影者やその周辺の歩いている人などの動物体を消去する方法もあります。こちらでは、コンピュータビジョンのStructure-from-motion、Muti-view Stereo（最近ではフォトグラメトリ）の方法により、カメラの位置姿勢とその周辺の建物や道などの形状を推定します。その情報を用いて、映像の各フレームの見え方が同一になるよう補正し、複数のフレームから撮影者や動物体が写っていない領域を抽出し統合することで、撮影者・動物体が写っていない全方位映像を生成します。以下のYoutubeの映像が、動物体と全方位映像の死角領域（少し前のタイプの全方位カメラでは、画角に入らない死角領域が下部にありました。）を消去した全方位映像の結果例です。右の方の動画は、前半が地面方向の死角領域に穴がある場合、後半がその穴を消去した場合で、360度VR映像として見られます。

論文

「撮影者が写らない全方位画像生成のための撮影と合成」(2023)河合紀彦『画像電子学会誌』

「Background Estimation for a Single Omnidirectional Image Sequence Captured with a Moving Camera」(2014)KawaiNorihiko『IPSJ Transactions on Computer Vision and Applications』6p.68-72.

「Video Completion for Generating Omnidirectional Video without Invisible Areas」(2010)KawaiNorihiko『IPSJ Transactions on Computer Vision and Applications』2p.200-213.

研究者INFO: 情報科学部 情報メディア学科 視覚情報処理研究室 河合紀彦 准教授

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム