日本語機能表現解析技術
私たちの研究室では、複数の形態素から構成され，一つの機能語として働く表現である日本語機能表現について、入力文中の機能表現と特定と意味解析を行う技術の精度向上に取り組んでいます。
カメラの映像から顔や顔のパーツ，身体の動きを検出して生体信号を計測したり，計測した情報を応用するシステムを作成しています．また，計測したデータが，実際のセンサで計測したデータとどのくらい一致するのか，どんな風に違っているのかについて比較，解析しています． カメラを用いたウェアレス（非接触）での計測とその応用について検討しています．
【基本構成】
- 被測定者の正⾯にRGBカメラまたはRGB-Dカメラ（距離の計測が可能なカメラ）を設置します．
- 顔検出ライブラリを⽤いて顔の検出および顔のパーツを検出します．
- 顔の位置から被測定者との距離，体の部位の位置などを推定します．
計測しているもの
・脈波（脈拍）
ヘモグロビンの吸光特性を利用し，肌の緑成分の変化をとらえることで脈波の計測（映像脈波）が計測できます．この結果と従来型の心電や脈波のセンサとの比較・検討を進めています．また，マスク着用時の検出への対応も進めています．
課題は環境光の変化や被測定者の動きに弱いこと，時間分解能がカメラのフレームレートに依存し遅いことです．
・瞬目／視線
顔のパーツの検出点から抽出した眼瞼領域の面積を目尻と目頭の距離で正規化した値から瞬目を検出することができます．瞬目は開眼～閉眼～開眼の時間や開眼～閉眼の距離（長さ）によって分類でき，その出現頻度が覚醒状態と関係していることが示唆されています．
また，瞳の位置を検出することで，視線方向，汎用カメラとの位置関係から視線（注視位置）の推定にも取り組んでいます．
課題は脈波と同様です．
・呼吸
Intel社のRealsense2やMicrosoft社のAzure Kinect DKといった近赤外線を利用して距離を計測できるカメラを利用し，顔や姿勢の検出結果から胸部領域とカメラとの距離の変化を計測すると，呼吸による胸部の動きを計測することができます．この結果は，ベルトを装着することで胸郭の周長変化から呼吸波形を計測する呼吸ピックアップと類似した波形を得ることができます．
課題は被測定者の動きに弱く手などの動きによって胸部が隠される場合も計測ができないことです．
その他にも，加速度センサを胸部や腹部に直接当てることで呼吸を計測することにも取り組んでいます．
これらの計測結果をもとにFB（フィードバック）を行い，目的とする呼吸状態に誘導するシステムの開発にも取り組んでいます．
・姿勢／体の動き／表情
顔と顔のパーツが検出できることから，「顔の向き」や「視線」，「表情の変化」などをとらえられないかについて検討しています．その結果と上記の生理計測データを複合することで被測定者の（心理）状態の推定に用いることができないかを検討しています．
手指や姿勢の検出ライブラリを利用し
・「指文字」や「手話」の翻訳
・「姿勢」や「歩行」の評価
・「ジェスチャ」によるリアクション解析や入力インタフェース開発
などを行っています．
応用先・課題
・新生児の表情評価
（他大学医学部との共同研究）
・新生児の呼吸計測
（他大学医学部との共同研究）
・ドライバ，運転士，乗員のモニタリング
（企業などとの共同研究）
・入院患者等の遠隔授業支援
・コロナ禍でのテレワーク支援
・集中度や疲労度の推定
・日常生活での健康管理
・状態に適応したサービスの提供
・エデュテインメントへの応用
-既存ソフトのボットライブラリ開発や
ジェスチャコントローラ
-呼吸合わせゲーム
-瞬目/呼吸を使ったゲーム
-表情利用，顔パーツの変形，合成
論文
「Contactless and Low-Burden Measurement of Physiological Signals and Comparison of Obtained Indices」(2021)『Proceedings of the 21st Congress of the International Ergonomics Association (IEA 2021)』IVp.615-619.
「非接触計測法の拡張と低負担計測による生理信号との比較」(2021)『人間工学』57 (Supplement)p.2G2-3-2G2-3.
「Estimation of driver’s arousal state using multi-dimensional physiological indices」(2011)『International Conference on Engineering Psychology and Cognitive Ergonomics』p.176-185.
特許
特願2006-142582特許第4864541号
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム