カメラの映像から顔や顔のパーツ，身体の動きを検出して生体信号を計測したり，計測した情報を応用するシステムを作成しています．また，計測したデータが，実際のセンサで計測したデータとどのくらい一致するのか，どんな風に違っているのかについて比較，解析しています． カメラを用いたウェアレス（非接触）での計測とその応用について検討しています．
【基本構成】
ヘモグロビンの吸光特性を利用し，肌の緑成分の変化をとらえることで脈波の計測（映像脈波）が計測できます．この結果と従来型の心電や脈波のセンサとの比較・検討を進めています．また，マスク着用時の検出への対応も進めています．
課題は環境光の変化や被測定者の動きに弱いこと，時間分解能がカメラのフレームレートに依存し遅いことです．
顔のパーツの検出点のうち眼瞼の上部と下部の距離の変化を目尻と目頭の距離で正規化した値から瞬目を検出することができます．瞬目は開眼～閉眼～開眼の時間や開眼～閉眼の距離（長さ）によって分類でき，その出現頻度が覚醒状態と関係していることが示唆されています．
また，瞳の位置を検出することで，汎用カメラからの視線の推定にも取り組んでいます．
課題は脈波と同様です．
Intel社のRealsense2やMicrosoft社のAzure Kinect DKといった近赤外線を利用して距離を計測できるカメラを利用し，顔や姿勢の検出結果から胸部領域とカメラとの距離の変化を計測すると，呼吸による胸部の動きを計測することができます．この結果は，ベルトを装着することで胸郭の周長変化から呼吸波形を計測する呼吸ピックアップと類似した波形を得ることができます．
課題は被測定者の動きに弱く手などの動きによって胸部が隠される場合も計測ができないことです．
その他にも，加速度センサを胸部や腹部に直接当てることで呼吸を計測することにも取り組んでいます．
これらの計測結果をもとにFB（フィードバック）を行い，目的とする呼吸状態に誘導するシステムの開発にも取り組んでいます．
顔と顔のパーツが検出できることから，「顔の向き」や「視線」，「表情の変化」などをとらえられないかについて検討しています．その結果と上記の生理計測データを複合することで被測定者の（心理）状態の推定に用いることができないかを検討しています．
手指や姿勢の検出ライブラリを利用し
・「指文字」や「手話」の翻訳
・「姿勢」や「歩行」の評価
・「ジェスチャ」によるリアクション解析や入力インタフェース開発
などを行っています．
・ドライバ，運転士，乗員のモニタリング
（企業などとの共同研究）
・入院患者等の遠隔授業支援
・コロナ禍でのテレワーク支援
・集中度や疲労度の推定
・日常生活での健康管理
・状態に適応したサービスの提供
・エデュテインメントへの応用
-既存ソフトのボットライブラリ開発や
ジェスチャコントローラ
-呼吸合わせゲーム
-瞬目/呼吸を使ったゲーム
-表情利用，顔パーツの変形，合成
論文
「Contactless and Low-Burden Measurement of Physiological Signals and Comparison of Obtained Indices」(2021)『Proceedings of the 21st Congress of the International Ergonomics Association (IEA 2021)』IVp.615-619.
「非接触計測法の拡張と低負担計測による生理信号との比較」(2021)『人間工学』57 (Supplement)p.2G2-3-2G2-3.
「Estimation of driver’s arousal state using multi-dimensional physiological indices」(2011)『International Conference on Engineering Psychology and Cognitive Ergonomics』p.176-185.
特許
特願2006-142582特許第4864541号
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2025 智と技術の見本市.
