映像中から物体をリアルタイムで除去する隠消現実感
隠消現実感(Diminished Reality)とは、映像中の不要物体の上に背景画像を重畳することで、不要物体をリアルタイムで視覚的に取り除く技術であり、映像中に仮想的な物体を重畳する拡張現実感(Augmented Reality) とは反対の概念を持ちます。本シーズでは、画像修復技術を用いて不要物体の周辺情報から尤もらしい背景画像を生成し、かつ背景の形状を推定することで、移動するカメラの映像から物体をリアルタイムで取り除きます。
さまざまな画像認識AIが提案されていますが、画像のどこを見て認識しているのでしょうか？本研究ではAIの認識箇所を特定する技術であるGrad-CAMを利用して認識箇所を可視化し、どこを見て認識しているかを調べました！その結果から次の提案を考えています。1)画像認識AIの精度比較のために、人間が画像を認識している特徴的な箇所とAIの認識箇所を利用する。2)長年の経験や勘が必要な画像識別技術をAIで再現し、無意識に利用していた画像の特定箇所を明らかにする。
画像に対してAIが対象を判断した根拠となる箇所を可視化する技術があります。この技術を利用してAIが判断した根拠となる箇所と、人が画像から対象を認識する際に利用した箇所の比較評価したものはございません。
本研究の応用により例えば、従来は人が行っていた作業をAIで置き換える場合のツールとして、適切な判定基準や改良点の提案が可能になります。
一般的な画像認識AIについては膨大な量の画像データを利用して学習モデルを作成しており、画像データに対する人間の認識箇所の特定という前処理にコストがかかることが課題になります。
論文
「画像認識AIはどこを見ているの？」(2021)『MOBIO産学連携オフィス テーマ別合同シーズ発表会『情報処理・AI編』』
「Grad-CAMを利用した画像認識AIに対する注目箇所特定手法の提案と評価」(2021)『ソフトウェアエンジニアリングシンポジウム2021』p.1-2.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム