人同士のコミュニケーションを支援する

音声の音響的特徴やしぐさの動的特徴から場の雰囲気を推定

会話音声の音響やしぐさの動的パラメータを抽出し、れらの平均と標準偏差の時間変化から会話の雰囲気をリアルタイムで判定。ギクシャクした会話だと判断したら、いろんなトピックを投げて場を和ませる。

会話の雰囲気推定は、会話音声のピッチ周波数の時間変化量が有効

会話発声ごとに、ピッチ周波数解析を行いその標準偏差値をプロットする．うまく進んでいる会話は、ギクシャクしておる会話より標準偏差が高い傾向

会話が上手く進んでいる時のピッチの標準偏差（赤）とギクシャクしている時のピッチの標準偏差（青）の比較

会話者が相手の話をどれだけ理解しているかは、頷き動作の分布範囲で判断

頷きしぐさのオプティカルフロー特徴量の時間変化量から、会話者の話の理解度を定量化する仕組みを構築中。理解度が高い頷きは垂直動作の変化が大きい傾向

会話者が相手の話を理解していない時（青）と理解している時（赤）のオプティカルフロー値の比較

ガヤガヤした場所でも、目標音声のみを正しく抽出

会話支援システムを公共の場で使用する際には、目標の音声だけではなく様々な周辺の会話音声がマイクロホンに入力される．様々な音声からマイクロホン近くの目標音声のみを見極めるため、入力音声のパワーの分散を用いた目標音声判別方法を研究中．

マイクロホン近くの音声とマイクロホンから離れている音声のパワー変化量の比較

本技術を用いたアプリケーションの構築

• 初対面向け会話支援システム
• ブレーンストーミングのファシリテータシステム
• 高齢者の衰え推定し、さり気なく気づきを与えるシステム
• ゲームへの夢中度合いを測定し、ゲーム評価をするシステム
• 学生の集中度合いを測定できるオンライン学習支援シス