エネルギー物質科学
新エネルギー・省エネルギーを物質科学の観点から創造します。
近年，人工知能・機械学習技術の発展もあり，これらの知能化技術をロボットの環境適応能力や自律性の付与の手段として用いることが期待されています．しかし，強化学習を含む機械学習は，一般的に多くの学習時間を必要とする根本的な問題を抱えています．従って，学習時間を短縮することが，実時間で学習する実ロボットにとって，特に解決すべき重要な課題です．私達は，遺伝的アルゴリズムの概念で説明した学習高速化手法を開発し，より高度なロボットの知能化の実現を目指しています．
研究背景と目的
人手不足の問題解消や危険な環境下で人に代わって作業するために，ロボットを活用することが期待されています．これを実現する方法として，環境に応じた行動を自律的に学習する人工知能・機械学習技術の一つである強化学習を用いたアプローチが考えられます．
強化学習は，エージェントと呼ばれる学習主体が，環境から得られる報酬を最大化するような行動を自律的に学習する手法です．
強化学習の問題点と転移学習
- 強化学習（RL）だけでは，個々のタスクを個別に学習するため，全てのタスクに対して，同じコストをかけて試行錯誤で学習します．また，獲得した知識は互いに独立しており，利用できません（図左）．
- 提案手法では，強化学習に転移学習（TL）を加えることで，獲得した知識の中から使えるものを利用できるようになります．また，不要な知識を削除して計算量を減らすことも可能です（図右）．
提案する学習手法
強化学習の一手法であるActor-Criticをベースにした学習アルゴリズム
環境から得られる状態は，ニューラルネットワークの1つであるFuzzy ARTでクラスタリングしながら状態空間を構築
ロボットの行動を表す政策はガウス分布で表現
知識の転移・消去・ランダムな政策を遺伝的アルゴリズムの交叉・淘汰・突然変異の概念で表現
学習性能検証実験：6リンクロボットアームの軌道学習問題
実験目的
強化学習のみの従来法と知識の転移が可能な提案手法の学習性能を比較
学習条件
- 障害物の位置が異なる10個のタスクを学習
- 1万試行ごとに障害物の位置を変える
- 1試行50step以内で，アームの先端がゴール内に入れば報酬+10，失敗時の報酬はなし
- エージェントは，アームの関節の動かし方を学習する
実験結果
提案手法を用いて学習した結果（赤）と，強化学習のみを用いた結果（青）を示します．提案手法の方が，ゴールへ到達する成功率が高く，知識転移によって，早期に学習可能であることが分かります．また，提案手法は短い時間で学習できており，従来手法と比べると提案手法が優れていることが分かります．
シミュレーション実行時間比較
提案手法：10.2 h
- 従来手法：86.5 h
ヒューマノイドロボットの知能化に向けた研究
提案手法を実際のロボットに適用することを目指して研究を行っています．写真は，小型のヒューマノイドロボットです．現在，このヒューマノイドロボットを使って，動作生成実験に取り組んでいます．提案手法の有効性の評価だけでなく，実環境下での学習における課題の抽出も行っています．
論文
「学習時間の短縮に向けた状態価値を用いた知識転移手法」(2017)『電気学会論文誌Ｃ』137(9)p.1171-1176.
「知識の転移と選別機能を備えた強化学習手法の複数タスク下における性能検証」(2016)『システム制御情報学会論文誌』p.152-154.
「転移学習における価値に基づく知識の選別」(2015)『システム制御情報学会論文誌』28(6)p.275-283 .
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム