ことばの伝達内容とそのプロセス
ことばにはさまざまな不思議がある。その中でもっとも関心があるのは、ヒトはどのように発話を理解するのか、である。ことばによって伝達される内容には明示的なものと非明示的なものがある。後者のように、ことばにされていないにもかかわらず、相手の言いたことを理解できることがある。ヒトは相手の発話をどのように理解しているのだろうか。このような問いに、認知語用論の関連性理論の枠組みで分析を行う。
初等、中等教育の国語科においては、古典作品の歴史や背景を学びながらそれを楽しむ態度を育成することが求められているが、現実には古典に親しみを持つ児童や生徒は多くないのが現状である。そこで本発表では、我々が開発している絵巻物「伴大納言絵巻」の上巻の没入型インタラクティブコンテンツについて紹介する。このコンテンツでは、絵巻中の人物を切りだしてポリゴン化し、仮想空間内の絵巻に配置している。ユーザーはヘッドマウントディスプレイを通して絵巻を鑑賞し、仮想空間内で絵巻にユーザーが近づくと人物がアニメーションし、シナリオに従って発話できるようにすることで各々の人物が絵巻の物語の中で何をしているのかを理解できるようにした。このコンテンツを活用することで、絵巻物の内容理解、および興味関心が向上することが期待される。
伴大納言絵巻
日本の国宝。平安時代に起きた、応天門の変を題材にした絵巻物。
絵巻物の没入型インタラクティブコンテンツ化
絵巻全体の画像と人物画像のLive2Dモデルを仮想空間内に配置する．絵巻を「コ」の字型に配置し，プレイヤーは仮想空間内を移動しながら絵巻を最初から見ていくようにした。絵巻の中でLive2Dモデル化されている人物にはボタンを設定し，プレイヤーがボタンを押すと，Live2Dモデルが表示され，アニメーションが再生される．人物設定でセリフが指定されている場合は，音声合成エンジンVOICEROID2 琴葉 茜・葵を用いて合成した音声と字幕が同時に再生されるようにした．
仮想空間は，Vive Focus Plusなど位置トラッキング機能のあるヘッドマウントディスプレイを用いれば、歩き回りながら絵巻を見る体験ができる．また，Oculus Goなど位置トラッキング機能のないHMDで見る場合はコントローラーで仮想空間を移動できるようデザインした．
今後の課題
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム