会話時の声の音響的特徴（ピッチ、パワー、周波数特性など）及びしぐさの動的特徴の時間変化度合いを観察することで、会話が楽しく進行しているかそれともギクシャクしているかなどの会話の雰囲気を推定できることがわかってきました。この技術を用いた会話支援システムを構築中ですが、他にも、高齢者の理解度衰え推定、場の雰囲気盛り上げシステム、学習支援システムなど、幅広いアプリケーション展開を図っています。
会話音声の音響やしぐさの動的パラメータを抽出し、れらの平均と標準偏差の時間変化から会話の雰囲気をリアルタイムで判定。ギクシャクした会話だと判断したら、いろんなトピックを投げて場を和ませる。
会話発声ごとに、ピッチ周波数解析を行いその標準偏差値をプロットする．うまく進んでいる会話は、ギクシャクしておる会話より標準偏差が高い傾向
頷きしぐさのオプティカルフロー特徴量の時間変化量から、会話者の話の理解度を定量化する仕組みを構築中。理解度が高い頷きは垂直動作の変化が大きい傾向
会話支援システムを公共の場で使用する際には、目標の音声だけではなく様々な周辺の会話音声がマイクロホンに入力される．様々な音声からマイクロホン近くの目標音声のみを見極めるため、入力音声のパワーの分散を用いた目標音声判別方法を研究中．
論文
「Identification of target speech utterances from real public conversation」(2020)『Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. Human Communication, Organization and Work』12199p.52-63 .
「Estimating Age-Dependent Degradation using Nonverbal Feature Analysis of Daily Conversation」(2019)『DHM 2019, Part II, LNCS』12199p.222–231.
「F0 Feature Analysis of Communication Between Elderly Individuals for Health Assessment」(2018)『DHM 2017, Part II, LNCS』 10287p. 195–205.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム
