ホーム選択的汎化作用を有する強化学習

SDGsの分類

研究テーマ: IT・IoT・AI・ロボティクス

学科の分類: 情報科学部ネットワークデザイン学科

選択的汎化作用を有する強化学習

情報科学部

ネットワークデザイン学科

学習モデリング研究室

平嶋洋一准教授

強化学習最適化配置問題

強化学習における学習効率改善手法として，価値関数を構成するために関数近似手法を利用する方法が知られています．これらは，関数近似手法が持つ汎化作用を利用して，価値関数に対する複数の入力間で学習効果を共有します．しかし，関数近似手法の汎化作用を問題に応じて適切に設定することは難しく，特に，汎化を設定した複数入力に対して異なる対応が必要になる場合に学習効率が低下します．そこで本技術では，汎化作用が機能する領域が選択可能なSG-CMAC(Cerebellar Model Articulation Controller with Selective Generalization)を提案しています．提案手法では，汎化不要な一部入力に対し，CMACとは独立に参照表を構成し，量子化したこれら入力の各値に対して，CMACモジュールを割り当てます．

従来のCMACによる汎化

SG-CMAC（CMAC with Selective Generalization）

例題：７要素化学プラント最適配置問題

2次元空間上のフィールドに，化学プラントの構成要素を配置します．要素間距離の制約を満たしつつ，総パイプ長を最小化することが目的です．

SG-CMACによる汎化

方法(A)はすべてのシミュレーションで最適解を導出しました．また，方法(B)より少ない試行回数で最適解を導出していることがわかります．

学習性能の比較

横軸は試行回数，縦軸は導出した総パイプ長の最小値を表しています．各結果は，異なる初期値に対して10回の独立したシミュレーション行い，これらの空間平均をとっています．

研究者INFO: 情報科学部ネットワークデザイン学科学習モデリング研究室平嶋洋一准教授

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム

同じカテゴリーの研究シーズ

プログラム実行時の変数値変動履歴からのバグ原因の可能性がある変数の推測

プログラムにバグがあっても、命令文は走ってしまえば終わりでバグの足跡を残さない。一方、バグの足跡は変数に残っていることがある。そこで、プログラム実行時の変数値の履歴をログとして収集し、これを解析することで怪しい変数を見つけ、この変数に書き込みを行った命令文の周辺にバグがあるのではとの目星をつけることができないかと考えた。そこでまず第一段階として、全ての変数に代入される値をログとして保存し、障害が発生した実行時のログと正常動作したログで異なる値を出力している変数を怪しい変数と判断する手法を考えた。本手法を１つのオープンソースプロジェクトに適用した結果、代入命令 32861 箇所中、怪しい代入命令を 270 個まで絞り込む事ができ、確かにこの中にバグ原因となる代入命令が含まれていることを確認できた。この結果、提案手法によりバグ原因となる代入命令及び変数を推測できる可能性のあることがわかった。

ドローンの閉ループシステム同定によるモデリングと飛行制御

幅広い産業でビッグデータの活用が進んでいるが，予測・診断・制御・意思決定の精度向上に際してモデルの重要性が近年ますます高まっている．データエンジニアリングのひとつの分野として，システム同定法によるデータ駆動モデリングについて紹介する．具体例として，MOESP型閉ループ部分空間同定法(CL-MOESP)によるドローンの閉ループ同定と，得られた同定モデルを利用した最適制御器設計の事例研究を紹介する．

宇宙機の地上試験用重力補償ロボットシステムの開発

宇宙機用の展開構造物は、地上施設にて展開挙動の性能評価が義務づけられている。近年の宇宙機は大型化、多様化が進む一方、我が国の地上試験施設は過密スケジュールに加えて、試験に要する人件費の増加が宇宙計画の一つのボトルネックになっている。本研究では、下方支持型群ロボットシステムを用いて宇宙機の展開構造物の挙動試験時の重力補償、および挙動の精密計測を実現することを目標とする。これにより、多様化する宇宙機の試験には群ロボットシステムの規模変更のみで対応でき、コスト削減と高い汎用性が期待される。

IoTとAIを活用したネットワークデザイン手法

　情報通信ネットワーク研究室では、IoTネットワーク技術や機械学習、AIを活用したネットワークデザイン手法の研究に取組んでいます。本サイトでは次の各テーマの概要を説明させて頂きます。 (1) 深層学習を活用した屋内位置検出：　GPSなどの電波受信が難しい屋内で位置情報を利用するサービスの需要が拡大しています。BLE の電波強度（RSSI）を深層学習により分析して位置検出を行う手法を研究しています。　(2) AIを活用した局地的豪雨予測方式：　降雨観測レーダや雲画像等の気象データを活用した局地的豪雨の予測方式を研究しています。　(3) その他の研究課題：　IoT と AI を活用したドローン自律制御方式や可視光LED通信の応用システム等も進めています。

映画・洋楽の英語教育への活用

英語の運用能力向上には、英語に接する時間の増加が必須である。たしかに、学習時間の増加がそのまま英語運用能力の向上につながるとも限らない。しかし，学習量を増やすことは不可欠である。これには、苦にせず接することができる素材が必要となる。元来、娯楽用に制作された映画や洋楽は、楽しみながら本物の英語に接することができるという点で優れている。ただ、本物であるからこそ、学校の英語との橋渡しの工夫が必要となってくる。

医師と協働する手術支援マニピュレータ

執刀医が手術を一人で行える，安全性に優れるソロサージェリー手術支援ロボットを研究しています．人と同じ空間に存在し，共存協調して作業を行えるロボット技術の確立を目指して，内視鏡下手術におけるカメラと鉗子の助手をマニピュレータが担えるよう，医工・産学連携で取り組んでいます．医師のハイエンドツールであるオールインワンシステムのリモート(遠隔)操作型ロボットに対して，アシスタントツールであるローカル操作型ロボットLODEM(Locally Operated Detachable Endo-effector Manipulator)群は，センシング能力に優れる人と，安定した作業に優れるロボットが補完しあう，インテグレーションです．

植物画像を対象とした枝の構造復元

近年，農家の高齢化や減少に伴い，カメラを用いた植物の自動監視技術が注目されている．しかし，植物の成長具合を判断する指標である枝構造の情報を取得する場合，葉によって枝が隠れてしまうため枝の情報を取得することが困難である．そこで，本研究では対象の植物を多視点から撮影し，多視点からの植物画像を入力として，枝の三次元構造を復元する．はじめに，多視点から撮影した植物画像に対して，深層学習による画像変換を行い，枝の存在確率画像を生成する．枝の存在確率画像とは，枝の存在確率を画素値で表した画像のことを指す．そして，多視点での枝の存在確率画像を用いて，三次元構造の復元を行うことで枝の構造復元を実現する．

レーダ画像から物体の誘電率が分かる?!

地球上の殆どの物体を占める誘電体の誘電率情報はあらゆる分野での基本量です。通常は伝送線路内に小試料を充填し、その前後の変化から誘電率を算出します。問題は木などの空間内に誘電体が分布している場合、どう計測するかです。これに対し、レーダ画像位置の変位と物体の誘電率の関係に着目した新しい計測法を考案しました。壁などの均一に材料が配分されている場合(図2)は材料の誘電率分だけ、空間内に分布している場合(図3)は等価的な誘電率分の位置が変位します。誘電率(水分)と森林バイオマスの相関より、地球規模の環境計測にも応用性があります。

フリーWiFi接続サービス監視方式と監視装置

集客施設などで来訪者向けのフリーWiFi接続サービスを提供する機会が増えている。ところが大規模通信事業者のサービスを用いず、主たる事業に付随して開設する形態のフリーWiFi接続サービスでは設置者がその稼働状況を気にせず放置したままで必要な時に利用できない場合や、悪意ある利用者がフリーWiFi接続用アクセスポイント(AP)になりすましたAPを設置し、盗聴や中間者攻撃を行う場合がある。本研究では「ダミークライアント」と呼ぶ簡易な装置を開発し、フリーWiFi接続サービスを遠隔地から総合的に監視するとともに、悪意ある攻撃者の出現を迅速に発見可能なシステムサービスが提供可能となった。本研究の成果は地方自治体の公共施設で数年に亘って安定的に稼働しており、トラブルの迅速な発見に貢献している。

非把持双腕ロボットによる摩擦力補償無しでの抱きかかえ制御

本研究では，力学的な本質を失わず，3次元運動を2次元運動に簡略化し，要介護者を一つの関節を持った2リンクの物体とみなす．そして，非把持双腕ロボットアームとリンクの間の静止摩擦を利用し，リンクがロボットアームから滑り落ちないための安定領域を求め，最も滑り落ちにくい角度を求める．得られたロバスト角度を用いて，ロボットの抱きかかえ制御を行い，リンクが動いてもリンクの安定支持が実現できることを示す．

生体電位計測を用いたアプリケーションの創出

ヒトの体からは臓器の活動や筋の収縮に伴い微弱な電気信号（生体電位）が発生しています．医療現場で病気の判断等に用いられていたこれらの電気信号は，近年の計測技術の発展によりより日常での計測が可能になりつつあります．生体電位の計測結果からはユーザの状態，例えばどのくらい心拍が変動しているか？どのくらい筋力が発揮されているか，などが定量化できるため，この定量値を基づいて自然な形でユーザを「推定・理解・予測」する様々なユーザ支援アプリケーションの実現が可能となります．

生体の運動制御メカニズムを取り入れた人と親和性の高い介護支援ロボット

人間の神経系や筋骨格系の構造は長い進化の過程で日常生活を行うのに適した形に最適化されてきたものと考えられています。本研究では進化の過程で生物が獲得してきた運動制御メカニズムをロボットに取り入れることにより，動力を使用せずに人やモノの自重を支持できる機械式自重補償装置や，脳の運動制御メカニズムを取り入れた環境適応制御，小脳－大脳基底核をモデル化したニューラルネットワークによる予測的な環境認識・最適行動生成を実現する研究を行っています。

医療素材を作製するために必要な色々な技術開発

医療用素材の中で特に移植や生体と接触する生体材料において、動物の組織を利用するための加工技術として脱細胞化技術が近年注目されています。脱細胞化された生体組織は様々な場所で用いられています。加えて、組織の保存法やこの組織を異所性に用いることで得られる有効性などを引き出すための組織の加工技術など周辺技術の開発もまた盛んにおこなわれております。

照明変化に頑強な小型知能ビジョンシステム

本技術のコアは，視覚神経系が行っている情報処理（視覚信号の対数変換や空間バンドパスフィルタ等）を実装した回路にある．本回路は，視覚神経系を模倣した並列演算を活用して，省電力で，照明強度や照明色の変化にほとんど影響されることなく多数の視覚特徴（色・方位別輪郭等）を検出することが出来る．この回路を実装したFPGAとイメージセンサからなるロボットビジョンシステムは，1辺4cm程度の小さなサイズで，多数の視覚特徴を実時間で出力できる．

並列処理の初学者のための図形アニメーションに基づく並列化フレームワークの提案

マルチコアCPUを用いてプログラムの実行性能を上げるためには並列プログラムを作成する必要がある。一般に、並列プログラミングの学習は初学者にとっては容易ではない。その理由として、数値計算問題を題材とすること、および大規模な計算でない限り並列化の効果を実感できないことから、初学者の興味を維持しにくいことが考えらえる。本研究では、並列化の効果を体感しやすく、かつ、平易な教材を扱える並列プログラミングの学習環境として、Processing言語を用いた図形アニメーションプログラムのための並列化フレームワークを提案する。

カメラを用いた人の非接触状態計測

カメラの映像から顔や顔のパーツ，身体の動きを検出して生体信号を計測したり，計測した情報を応用するシステムを作成しています．また，計測したデータが，実際のセンサで計測したデータとどのくらい一致するのか，どんな風に違っているのかについて比較，解析しています．カメラを用いたウェアレス（非接触）での計測とその応用について検討しています．

インタラクタを用いた線形制御系の解析・設計

追従制御系を構成する際、制御対象の伝達関数に対して、その逆数を前置補償器として用いる方法が考えられる。この補償器は微分器を含み、その部分をインタラクタという。一入出力系では、インタラクタは伝達関数の相対次数を有する多項式とすればよい。しかし、多入出力系においてはインタラクタは多項式を要素とする行列になり、伝達関数の相対次数以外に、そのパラメータにも依存するため導出も難しい。本研究では、出力数が入力数よりも多い系に対してインタラクタに関連する様々な問題、例えば特異な重みを有するLQ問題の解の陽表現、最大非可観測化問題、状態フィードバックにより逆インタラクタ化、不変零点の計算法などを考える。

壁の向こうに何がある?!

一つ目は電波の透過性に関する研究です。医療機関におけるX線CTとかMRIで想像できるように、電磁波は誘電体内を通過します。この性質から、建物内の様子を画像化する近距離レーダが考えられます。セキュリティ用の壁透過レーダ、水道管、ガス管、地雷などの地中埋設物探知レーダ、空港での危険物検知用レーダなどに応用できます。このレーダは一つ使い勝手の悪いところがあり、画像を作るために、送受信アンテナを規則的に走査する必要があります。そこで、オペレータがアンテナを自由に移動させても画像が得られる処理法を考案し確認中です(図1)。

量子幾何学の応用研究

数理物理学の研究分野の一つに量子幾何学があります．量子幾何学は理論物理学のアイデアを基に表現論や代数幾何，位相幾何といった数学の諸分野を結びつける研究分野です．この研究分野の応用研究の一つとして，ファットグラフに基づくRNAおよびタンパク質の構造分類問題に取り組んでいます．

組合せデザインの深層学習への応用

深層学習においてドロップアウトと呼ばれる手法が用いられている. これは多層型ニューラルネットワークにおいて, その層ごとに一定の確率でノードを無効にして学習を行う手法である. 訓練データに過度に適応した学習をしてしまう過学習と呼ばれる現象に対して有用であるとされ広く使用されている. ドロップアウトを用いたとき, 各ノードの使用頻度のばらつきは小さくなるが, 層間の辺の使用頻度のばらつきは大きくなる. 本研究では, ドロップアウト法において辺の使用頻度を一定にするような組合せデザイン (dropout design) を定義し, 関連する組合せ構造についてまとめ, その構成法について提案する.