ソフトウェアエージェントによる社会シミュレーション
複雑な社会の動きの完璧な予測や、瞬間的な社会の状態の正確な把握は、AIを用いても極めて困難である。一方で、生物や人間など多くのシステムは、動的かつ予測不能な局面において極めて柔軟に対処している。 本研究では、様々な生物や物体を模擬したソフトウェア（エージェント）を作成し、エージェントの自律行動や相互作用によって、社会に実在する問題や、現実では実現しにくい社会環境での生物の振る舞いなどを検証する。
近年，人工知能・機械学習技術の発展もあり，これらの知能化技術をロボットの環境適応能力や自律性の付与の手段として用いることが期待されています．しかし，強化学習を含む機械学習は，一般的に多くの学習時間を必要とする根本的な問題を抱えています．従って，学習時間を短縮することが，実時間で学習する実ロボットにとって，特に解決すべき重要な課題です．私達は，遺伝的アルゴリズムの概念で説明した学習高速化手法を開発し，より高度なロボットの知能化の実現を目指しています．
研究背景と目的
人手不足の問題解消や危険な環境下で人に代わって作業するために，ロボットを活用することが期待されています．これらを実現する方法として，環境に応じた行動を自律的に学習する人工知能・機械学習技術の一つである強化学習を用いたアプローチが考えられます．
強化学習は，エージェントと呼ばれる学習主体が，環境から得られる報酬を最大化するような行動を自律的に学習する手法です．
強化学習の問題点と転移学習
強化学習（RL）だけでは，個々のタスクをバラバラに学習するため，全てのタスクに対して，同じコストをかけて試行錯誤で学習します．また，獲得した知識は互いに独立しており，利用できません（図中左）．
提案手法では，強化学習に転移学習（TL）を加えることで，獲得した知識の中から使えるものを利用できるようになります．また，不要な知識を削除して計算量を減らすことも可能です（図中右）．
提案する学習手法
強化学習の一手法であるActor-Criticをベースにした学習アルゴリズム
環境から得られる状態は，ニューラルネットワークの1つであるFuzzy ARTでクラスタリングしながら状態空間を構築
ロボットの行動を表す政策はガウス分布で表現
知識の転移・消去・ランダムな政策を遺伝的アルゴリズムの交叉・淘汰・突然変異の概念で表現
学習性能検証実験：2輪ロボットによる経路学習実験
実験目的
- 物理シミュレータを用いて，実環境（フィジカル空間）下での学習を想定した学習時間の削減効果を検証
学習条件
- 0.5m四方の領域内での経路学習実験
- 障害物の位置が異なる10個のタスクを学習
- 500試行ごとに障害物の位置を変更
- 1試行20 step (1 step = 512 ms) 以内でロボットの中心がゴール領域に入れば報酬+10，失敗時の報酬なし
- 知識転移は，価値の高い方向へ遷移する確率が高いと思われる政策を強く反映
- 価値に基づき，不要な知識を消去
- エージェントは，2輪ロボットのモータの動かし方を学習
実験結果
提案手法を用いて学習した結果（赤）と，強化学習のみを用いた結果（青）を示します．
提案手法の方が，ゴールへ到達する成功率が高く，知識転移によって，早期に学習可能であることが分かります．特に，提案手法は，タスクが切り替わった直後においても成功率を100%に保っているタスクの数が2つから5つに増えました．
また，提案手法は，従来手法では学習に１時間程度必要としていたタスクを半分以下の時間で学習が完了することも確認しました．
今後の展開：実世界で動くAI搭載ロボットの実現に向けた研究
提案手法を実際のロボットに適用することを目指して研究を行っています．写真は，小型のヒューマノイドロボットです．現在，このヒューマノイドロボットや２輪ロボット，ロボットアームなどを使って，動作学習実験に向けて取り組んでいます．
ロボットに提案手法を適用することを通して，その有効性を評価するだけでなく，実環境下での学習における現実的な課題の抽出も行い，それらの知見も反映しながら，より良い学習手法に発展させていくために研究を進めています．
論文
「実時間学習に向けた知識転移による二輪ロボットの学習時間の削減」(2020)『システム制御情報学会論文誌』33(12)p.317-319.
「学習時間の短縮に向けた状態価値を用いた知識転移手法」(2017)『電気学会論文誌Ｃ』137(9)p.1171-1176.
「転移学習における価値に基づく知識の選別」(2015)『システム制御情報学会論文誌』28(6)p.275-283 .
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム