ホーム選択的汎化作用を有する強化学習

SDGsの分類

研究テーマ: IT・IoT・AI・ロボティクス

学科の分類: 情報科学部ネットワークデザイン学科

選択的汎化作用を有する強化学習

情報科学部

ネットワークデザイン学科

学習モデリング研究室

平嶋洋一准教授

配置問題強化学習最適化

強化学習における学習効率改善手法として，価値関数を構成するために関数近似手法を利用する方法が知られています．これらは，関数近似手法が持つ汎化作用を利用して，価値関数に対する複数の入力間で学習効果を共有します．しかし，関数近似手法の汎化作用を問題に応じて適切に設定することは難しく，特に，汎化を設定した複数入力に対して異なる対応が必要になる場合に学習効率が低下します．そこで本技術では，汎化作用が機能する領域が選択可能なSG-CMAC(Cerebellar Model Articulation Controller with Selective Generalization)を提案しています．提案手法では，汎化不要な一部入力に対し，CMACとは独立に参照表を構成し，量子化したこれら入力の各値に対して，CMACモジュールを割り当てます．

従来のCMACによる汎化

SG-CMAC（CMAC with Selective Generalization）

例題：７要素化学プラント最適配置問題

2次元空間上のフィールドに，化学プラントの構成要素を配置します．要素間距離の制約を満たしつつ，総パイプ長を最小化することが目的です．

SG-CMACによる汎化

方法(A)はすべてのシミュレーションで最適解を導出しました．また，方法(B)より少ない試行回数で最適解を導出していることがわかります．

学習性能の比較

横軸は試行回数，縦軸は導出した総パイプ長の最小値を表しています．各結果は，異なる初期値に対して10回の独立したシミュレーション行い，これらの空間平均をとっています．

研究者INFO: 情報科学部ネットワークデザイン学科学習モデリング研究室平嶋洋一准教授

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム

同じカテゴリーの研究シーズ

非平面アレイの放射電磁界を机上PCで計算?!

実装先プラットフォームの形状を損なわずにアレイ素子を配置することをコンフォーマルアレイと呼んでいますが、素子数が大きくなると、電磁界シミュレータでは計算時間の面で実用的でありません。そこで、コンフォーマル形状が多項式で表される場合を数学的に解析し、様々なパラメータを一元的に扱うGUIを開発しています。

セーフティ・セキュリティ統合分析技術

人やモノ、システムが多様に連携するIoTでは、新たな連携が事故を引き起こし、「セーフティ」だけではなく「セキュリティ」の観点からも対策が必要です。しかし、「セーフティ」と「セキュリティ」は独立に発展してきており、統合的なアプローチが確立できていないことから、システム理論に基づく安全分析手法 STAMP/STPA を拡張し、双方の観点からを同一フレーム上で統合分析する手法を提案しています。

IoTを活用した子育て支援に関する研究

我が国では，少子高齢化が進み，介護や子育ての肉体的，心理的，経済的な負担感の増大が課題となっている．中でも，排泄時のおむつ交換は，不定期に発生することと衛生面の問題から早期に解消することが必要であり，そのタイミングを検出することが求められている．こうした背景の下，本研究では，IoTデバイスと空気の成分を計測する臭気センサを用いて，おむつ交換のタイミングの検出と可視化を試みる．

井上裕美子

VR空間における位置把握と視線との関係

　道に迷いやすい人と，1度で道順を覚えて目的地に移動できる人がいる．道に迷わない空間把握能力の高い人は，実空間においても，VR空間においても，同じように目的地まで迷わず行ける傾向がある．このような人は，どのように視覚情報を得て，道順を記憶し，移動しているのだろうか．これまでの研究で，この点について詳細は明らかではない．そこで本研究では，看板等のある都市部の街並みを模したVR空間内を移動し，目的地まで到達する間の視線を検討した．また，心理的指標の1つとして，移動中の心拍数の変化についても検討した．将来的には，実空間においても，記憶に残りやすい街並みや，空間を移動しながら行う探索型の教育コンテンツやゲームのVR空間において，迷わず進める空間作りの1つの基礎データとなることを期待し，本研究を行った．

医師と協働する手術支援マニピュレータ

執刀医が手術を一人で行える，安全性に優れるソロサージェリー手術支援ロボットを研究しています．人と同じ空間に存在し，共存協調して作業を行えるロボット技術の確立を目指して，内視鏡下手術におけるカメラと鉗子の助手をマニピュレータが担えるよう，医工・産学連携で取り組んでいます．医師のハイエンドツールであるオールインワンシステムのリモート(遠隔)操作型ロボットに対して，アシスタントツールであるローカル操作型ロボットLODEM(Locally Operated Detachable Endo-effector Manipulator)群は，センシング能力に優れる人と，安定した作業に優れるロボットが補完しあう，インテグレーションです．

ROSを基盤とした研究、開発用の移動ロボット

移動ロボットの開発では、信頼性確保のために新規モジュールの開発は上位の各種ソフトウェアモジュール、スタック、ツール群を含めると膨大なコストとなる。ROSを活用することで、きちんと動作する、独自ハードウェアロボットの実装が容易となる。なお、移動ロボットの独自のハードウェアとロボットシステムとの間のドライバは、当然開発が必要となる。PSOCによりその部分の抽象化共通化を目指す。

二次元画像1枚からの表情変化動画像のリアルタイム生成

深層生成モデルを用いて，1枚の二次元顔画像から表情変化動画像の自動生成を行った．現状，動画像のサイズは500×500pixel程度だが、超解像度、ネットワーク規模削減手法を組み合わせることでリアルタイムの生成を実現した．本研究はビデオ会議システムにおけるアバターの自動生成を想定して行っており、今後は応用システムの開発に取り組む予定である．

意思決定支援向けAI・マルチエージェント・シミュレーション技術

近年、交通・監視・管制・指揮等の分野では、AI（人工知能）技術の適用により、システムの自動化・高性能化が推進されています。このようなシステムでは、現況を正確に「認識」し、次に起こる状況を高速に「予測」して、「実行」に移すことが求められています。しかし、危機管理などのミッションクリティカルなシステムでは、「実行」（意思決定）までを全てAIに託すには多くの技術的・運用的課題があります。このため、このようなシステムでの意思決定を支援するための研究開発に挑んでいます。

壁の向こうに何がある?!

一つ目は電波の透過性に関する研究です。医療機関におけるX線CTとかMRIで想像できるように、電磁波は誘電体内を通過します。この性質から、建物内の様子を画像化する近距離レーダが考えられます。セキュリティ用の壁透過レーダ、水道管、ガス管、地雷などの地中埋設物探知レーダ、空港での危険物検知用レーダなどに応用できます。このレーダは一つ使い勝手の悪いところがあり、画像を作るために、送受信アンテナを規則的に走査する必要があります。そこで、オペレータがアンテナを自由に移動させても画像が得られる処理法を考案し確認中です(図1)。

インタラクタを用いた線形制御系の解析・設計

追従制御系を構成する際、制御対象の伝達関数に対して、その逆数を前置補償器として用いる方法が考えられる。この補償器は微分器を含み、その部分をインタラクタという。一入出力系では、インタラクタは伝達関数の相対次数を有する多項式とすればよい。しかし、多入出力系においてはインタラクタは多項式を要素とする行列になり、伝達関数の相対次数以外に、そのパラメータにも依存するため導出も難しい。本研究では、出力数が入力数よりも多い系に対してインタラクタに関連する様々な問題、例えば特異な重みを有するLQ問題の解の陽表現、最大非可観測化問題、状態フィードバックにより逆インタラクタ化、不変零点の計算法などを考える。

双児宮の名称変化

語彙の変化をヒトが意図的に起こすことは一般的にはない。自然に変化していくものである。しかし、十二宮の名称は明治になってから学術的に変化する。これはギリシア神話とも密接に結びつくかとも思われるが、何よりも世界基準に合わせるということもあると思われる。ここでは、双児宮の名称変化について、幕末から明治にかけて陰陽宮・双兄宮・双女宮が双児宮へと変化する過程を記述的に確認しつつ、双児宮へと名称変化した背景について考察する。本研究では、理科学語彙の歴史的な変化を取り上げているが、それは生活語彙・教育語彙の変化ともいえる。多方面に派生する研究の一側面である。

非把持双腕ロボットによる摩擦力補償無しでの抱きかかえ制御

本研究では，力学的な本質を失わず，3次元運動を2次元運動に簡略化し，要介護者を一つの関節を持った2リンクの物体とみなす．そして，非把持双腕ロボットアームとリンクの間の静止摩擦を利用し，リンクがロボットアームから滑り落ちないための安定領域を求め，最も滑り落ちにくい角度を求める．得られたロバスト角度を用いて，ロボットの抱きかかえ制御を行い，リンクが動いてもリンクの安定支持が実現できることを示す．

実行不要な命令を動的に排除する効率的なプロセッサ

プロセッサの命令実行の効率性を妨げる要因の1つとして，ロード命令の実行にかかる時間が大きいことが挙げられる。この研究の目的は，不要なロード命令の一部を動的に排除(スキップ)するようなプロセッサの構成を提案し，命令実行の効率性をあげようとするものである。予備評価によりおおよそ15%程度のロード命令がスキップできる可能性があり、プロセッサ全体の性能を向上させることが期待できる。

単一画像からの露出補正

HDRは露光の異なる複数枚の画像を用いることで視認性を回復する手法であり，広く利用されている．しかし，移動する被写体において不向きであるとともに，過去に撮影された画像に使用することができない．そこで本研究では，一枚の画像から疑似的に多重露光画像を生成し，それらを合成することで視認性の回復を行う手法を提案する．本手法は，自然界の色情報を完全に損失していない画像を対象とし，エッジ情報を用いて明度を自動調整することで，疑似多重露光画像を生成する．

話者の意図を適切に伝達可能な多言語間対話支援手法

医療従事者と外国人患者の間の対話支援を目的とした，多言語対話支援手法について述べる．医療現場において母語が異なるために意図の伝達が円滑に行えない問題を解決するために，用例対訳と機械翻訳を併用した多言語間対話支援技術の開発を行っている．本技術では，用例対訳や回答候補などの概念を用いて正確な意図の伝達を支援している．

リッチインターネットアプリケーション

ファッション，グルメ，エンタメ，トラベル，スポーツ，流通，eラーニング，流通，医療・福祉，通信など我々の生活や社会インフラに関わるアプリケーションのプロトタイピングをし，新コンセプトを発信．役に立つ，便利，面白いを目標にシステム構築します．

学習済みディープニューラルネットワークモデルの権利保護に関する研究

学習済みディープニューラルネットワーク(DNN)モデルの権利保護のために、電子透かしをモデル内へ埋め込む技術が注目されている。本研究では、画像分類型DNNモデルを対象とし、その内部パラメータは観測できず、入力画像と出力ラベル値のみが観測できる場合でも、そのDNNモデルを学習させた著作権者の情報を視覚的に取り出すことを実現する。

皆川健多郎

ものづくり人材育成のための教材開発とその検証

生産性向上はモノづくり現場のみならず、多くの現場における喫緊の課題となっている。かつてはこれらの課題に取り組む人材育成は、小集団活動やOJTも含め活発におこなわれていたが、長引く景気低迷、生産の海外移転などにより、近年ではその取り組みは必ずしも十分とは言えない。特にモノづくり現場では人口減少に伴う人手不足、またその対応としての外国人労働者の受け入れなど、生産性向上への対応は急務といえる。本研究代表者は、これまで1,000回を超える製造現場訪問を通じて、現場での実態を把握するとともに、問題解決のための教材開発ならびに教材を活用したセミナーの実施を進めてきた。さらにここにIoTも融合し、さまざまな現場にて自律的に生産性向上を実現する取り組みの推進と、経営工学（管理技術）の普及を目的としている。

移動体の制御に関する研究

自動車や飛行機などの移動体の制御に関する位置計測システム，誘導制御システムの構築を目指して研究を行っている．位置計測システムについては，加速度計，ジャイロ，画像処理を用いた計測を融合し，移動体の位置を瞬時に計測することを目標にしている．誘導制御については，移動体の３次元的位置姿勢を制御するため，制御システムの動的特性を推定する同定を行ない，安定化制御を実現することを目標にしている．

ことばの伝達内容とそのプロセス

ことばにはさまざまな不思議がたくさんある。その中でもっとも関心があるのは、ヒトはどのように発話を理解するのか、である。ことばによって伝達される内容には明示的なものと非明示的なものがある。特に後者のように、ことばにしていないにもかかわらず、相手の言いたことを理解できるのはなぜだろうか。ヒトは相手の言葉の何を理解し、それはどのように行われるのだろうか。このような問いに、認知語用論の関連性理論の枠組みで分析を行う。