教師役のロボット・バーチャルエージェントのデザイン
オンライン授業や教室で、人間の教師に代わって授業を行うロボット・バーチャルエージェントのデザインについて、探索的に実験研究を行う。特に、教師役のロボット・バーチャルエージェントの「外見」「発話」と、「教える科目」との相互関係に着目し、教える科目に応じてロボット・バーチャルエージェントをデザインするためのメソッドを提案することを目指す。
カメラの映像から顔や顔のパーツ，身体の動きを検出して生体信号を計測したり，計測した情報を応用するシステムを作成しています．また，計測したデータが，実際のセンサで計測したデータとどのくらい一致するのか，どんな風に違っているのかについて比較，解析しています． カメラを用いたウェアレス（非接触）での計測とその応用について検討しています．
【基本構成】
- 被測定者の正⾯にRGBカメラまたはRGB-Dカメラ（距離の計測が可能なカメラ）を設置します．
- 顔検出ライブラリを⽤いて顔の検出および顔のパーツを検出します．
- 顔の位置から被測定者との距離，体の部位の位置などを推定します．
計測しているもの
・脈波（脈拍）
ヘモグロビンの吸光特性を利用し，肌の緑成分の変化をとらえることで脈波の計測（映像脈波）が計測できます．この結果と従来型の心電や脈波のセンサとの比較・検討を進めています．また，マスク着用時の検出への対応も進めています．
課題は環境光の変化や被測定者の動きに弱いこと，時間分解能がカメラのフレームレートに依存し遅いことです．
・瞬目／視線
顔のパーツの検出点のうち眼瞼の上部と下部の距離の変化を目尻と目頭の距離で正規化した値から瞬目を検出することができます．瞬目は開眼～閉眼～開眼の時間や開眼～閉眼の距離（長さ）によって分類でき，その出現頻度が覚醒状態と関係していることが示唆されています．
また，瞳の位置を検出することで，汎用カメラからの視線の推定にも取り組んでいます．
課題は脈波と同様です．
・呼吸
Intel社のRealsense2やMicrosoft社のAzure Kinect DKといった近赤外線を利用して距離を計測できるカメラを利用し，顔の位置から推定した胸部領域とカメラとの距離の変化を計測すると，呼吸による胸部の動きを計測することができます．この結果は，ベルトを装着することで胸郭の周長変化から呼吸波形を計測する呼吸ピックアップと類似した波形を得ることができます．
課題は被測定者の動きに弱く手などの動きによって胸部が隠される場合も計測ができないことです．
・姿勢／体の動き／表情
顔と顔のパーツが検出できることから，「顔の向き」や「表情の変化」などをとらえられないかについて検討しています．その結果と上記の生理計測データを複合することで被測定者の（心理）状態の推定に用いることができないかを検討しています．
また，距離計測結果を利用した「ジェスチャー」の検出などについても取り組んでいます．
応用先・課題
・ドライバモニタリング
（企業などとの共同研究）
・入院患者等の遠隔授業支援
・コロナ禍でのテレワーク支援
・集中度や疲労度の推定
・日常生活での健康管理
・状態に適応したサービスの提供
・エンターテイメント
-呼吸合わせゲーム
-瞬目/呼吸を使ったゲーム
-表情利用，顔パーツの変形，合成
論文
「Contactless and Low-Burden Measurement of Physiological Signals and Comparison of Obtained Indices」(2021)『Proceedings of the 21st Congress of the International Ergonomics Association (IEA 2021)』IVp.615-619.
「非接触計測法の拡張と低負担計測による生理信号との比較」(2021)『人間工学』57 (Supplement)p.2G2-3-2G2-3.
「Estimation of driver’s arousal state using multi-dimensional physiological indices」(2011)『International Conference on Engineering Psychology and Cognitive Ergonomics』p.176-185.
特許
特願2006-142582特許第4864541号
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム