近年，人工知能・機械学習技術の発展もあり，これらの知能化技術をロボットの環境適応能力や自律性の付与の手段として用いることが期待されています．しかし，強化学習を含む機械学習は，一般的に多くの学習時間を必要とする根本的な問題を抱えています．従って，学習時間を短縮することが，実時間で学習する実ロボットにとって，特に解決すべき重要な課題です．私達は，遺伝的アルゴリズムの概念で説明した学習高速化手法を開発し，より高度なロボットの知能化の実現を目指しています．
人手不足の問題解消や危険な環境下で人に代わって作業するために，ロボットを活用することが期待されています．これらを実現する方法として，環境に応じた行動を自律的に学習する人工知能・機械学習技術の一つである強化学習を用いたアプローチが考えられます．
強化学習は，エージェントと呼ばれる学習主体が，環境から得られる報酬を最大化するような行動を自律的に学習する手法です．
強化学習（RL）だけでは，個々のタスクをバラバラに学習するため，全てのタスクに対して，同じコストをかけて試行錯誤で学習します．また，獲得した知識は互いに独立しており，利用できません（図中左）．
提案手法では，強化学習に転移学習（TL）を加えることで，獲得した知識の中から使えるものを利用できるようになります．また，不要な知識を削除して計算量を減らすことも可能です（図中右）．
強化学習の一手法であるActor-Criticをベースにした学習アルゴリズム
環境から得られる状態は，ニューラルネットワークの1つであるFuzzy ARTでクラスタリングしながら状態空間を構築
ロボットの行動を表す政策はガウス分布で表現
知識の転移・消去・ランダムな政策を遺伝的アルゴリズムの交叉・淘汰・突然変異の概念で表現
提案手法を用いて学習した結果（赤）と，強化学習のみを用いた結果（青）を示します．
提案手法の方が，ゴールへ到達する成功率が高く，知識転移によって，早期に学習可能であることが分かります．特に，提案手法は，タスクが切り替わった直後においても成功率を100%に保っているタスクの数が2つから5つに増えました．
また，提案手法は，従来手法では学習に１時間程度必要としていたタスクを半分以下の時間で学習が完了することも確認しました．
提案手法を実際のロボットに適用することを目指して研究を行っています．写真は，小型のヒューマノイドロボットです．現在，このヒューマノイドロボットや２輪ロボット，ロボットアームなどを使って，動作学習実験に向けて取り組んでいます．
ロボットに提案手法を適用することを通して，その有効性を評価するだけでなく，実環境下での学習における現実的な課題の抽出も行い，それらの知見も反映しながら，より良い学習手法に発展させていくために研究を進めています．
論文
「実時間学習に向けた知識転移による二輪ロボットの学習時間の削減」(2020)『システム制御情報学会論文誌』33(12)p.317-319.
「学習時間の短縮に向けた状態価値を用いた知識転移手法」(2017)『電気学会論文誌Ｃ』137(9)p.1171-1176.
「転移学習における価値に基づく知識の選別」(2015)『システム制御情報学会論文誌』28(6)p.275-283 .
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2022 智と技術の見本市.
