映像中から物体をリアルタイムで除去する隠消現実感
隠消現実感(Diminished Reality)とは、映像中の不要物体の上に背景画像を重畳することで、不要物体をリアルタイムで視覚的に取り除く技術であり、映像中に仮想的な物体を重畳する拡張現実感(Augmented Reality) とは反対の概念を持ちます。本シーズでは、画像修復技術を用いて不要物体の周辺情報から尤もらしい背景画像を生成し、かつ背景の形状を推定することで、移動するカメラの映像から物体をリアルタイムで取り除きます。
初等、中等教育の国語科においては、古典作品の歴史や背景を学びながらそれを楽しむ態度を育成することが求められているが、現実には古典に親しみを持つ児童や生徒は多くないのが現状である。そこで本発表では、我々が開発している絵巻物「伴大納言絵巻」の上巻の没入型インタラクティブコンテンツについて紹介する。このコンテンツでは、絵巻中の人物を切りだしてポリゴン化し、仮想空間内の絵巻に配置している。ユーザーはヘッドマウントディスプレイを通して絵巻を鑑賞し、仮想空間内で絵巻にユーザーが近づくと人物がアニメーションし、シナリオに従って発話できるようにすることで各々の人物が絵巻の物語の中で何をしているのかを理解できるようにした。このコンテンツを活用することで、絵巻物の内容理解、および興味関心が向上することが期待される。
伴大納言絵巻
日本の国宝。平安時代に起きた、応天門の変を題材にした絵巻物。
絵巻物の没入型インタラクティブコンテンツ化
絵巻全体の画像と人物画像のLive2Dモデルを仮想空間内に配置する．絵巻を「コ」の字型に配置し，プレイヤーは仮想空間内を移動しながら絵巻を最初から見ていくようにした。絵巻の中でLive2Dモデル化されている人物にはボタンを設定し，プレイヤーがボタンを押すと，Live2Dモデルが表示され，アニメーションが再生される．人物設定でセリフが指定されている場合は，音声合成エンジンVOICEROID2 琴葉 茜・葵を用いて合成した音声と字幕が同時に再生されるようにした．
仮想空間は，Vive Focus Plusなど位置トラッキング機能のあるヘッドマウントディスプレイを用いれば、歩き回りながら絵巻を見る体験ができる．また，Oculus Goなど位置トラッキング機能のないHMDで見る場合はコントローラーで仮想空間を移動できるようデザインした．
今後の課題
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム