二次元画像1枚からの表情変化動画像のリアルタイム生成
深層生成モデルを用いて，1枚の二次元顔画像から表情変化動画像の自動生成を行った．現状，動画像のサイズは500×500pixel程度だが、超解像度、ネットワーク規模削減手法を組み合わせることでリアルタイムの生成を実現した．本研究はビデオ会議システムにおけるアバターの自動生成を想定して行っており、今後は応用システムの開発に取り組む予定である．
人同士のコミュニケーションを支援する 場の雰囲気や人の気持ちを汲み取る仕組みを実装
会話時の声の音響的特徴（ピッチ、パワー、周波数特性など）及びしぐさの動的特徴の時間変化度合いを観察することで、会話が楽しく進行しているかそれともギクシャクしているかなどの会話の雰囲気を推定できることがわかってきました。この技術を用いた会話支援システムを構築中ですが、他にも、高齢者の理解度衰え推定、場の雰囲気盛り上げシステム、学習支援システムなど、幅広いアプリケーション展開を図っています。
音声の音響的特徴やしぐさの動的特徴から場の雰囲気を推定
会話音声の音響やしぐさの動的パラメータを抽出し、れらの平均と標準偏差の時間変化から会話の雰囲気をリアルタイムで判定。ギクシャクした会話だと判断したら、いろんなトピックを投げて場を和ませる。
会話の雰囲気推定は、会話音声のピッチ周波数の時間変化量が有効
会話発声ごとに、ピッチ周波数解析を行いその標準偏差値をプロットする．うまく進んでいる会話は、ギクシャクしておる会話より標準偏差が高い傾向
会話が上手く進んでいる時のピッチの標準偏差（赤）とギクシャクしている時のピッチの標準偏差（青）の比較
会話者が相手の話をどれだけ理解しているかは、頷き動作の分布範囲で判断
頷きしぐさのオプティカルフロー特徴量の時間変化量から、会話者の話の理解度を定量化する仕組みを構築中。理解度が高い頷きは垂直動作の変化が大きい傾向
会話者が相手の話を理解していない時（青）と理解している時（赤）のオプティカルフロー値の比較
ガヤガヤした場所でも、目標音声のみを正しく抽出
会話支援システムを公共の場で使用する際には、目標の音声だけではなく様々な周辺の会話音声がマイクロホンに入力される．様々な音声からマイクロホン近くの目標音声のみを見極めるため、入力音声のパワーの分散を用いた目標音声判別方法を研究中．
マイクロホン近くの音声とマイクロホンから離れている音声のパワー変化量の比較
本技術を用いたアプリケーションの構築
- 初対面向け会話支援システム
- ブレーンストーミングのファシリテータシステム
- 高齢者の衰え推定し、さり気なく気づきを与えるシステム
- ゲームへの夢中度合いを測定し、ゲーム評価をするシステム
- 学生の集中度合いを測定できるオンライン学習支援シス
論文
「Identification of target speech utterances from real public conversation」(2020)『Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. Human Communication, Organization and Work』12199p.52-63 .
「Estimating Age-Dependent Degradation using Nonverbal Feature Analysis of Daily Conversation」(2019)『DHM 2019, Part II, LNCS』12199p.222–231.
「F0 Feature Analysis of Communication Between Elderly Individuals for Health Assessment」(2018)『DHM 2017, Part II, LNCS』 10287p. 195–205.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム