SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス
学科の分類
情報科学部ネットワークデザイン学科

選択的汎化作用を有する強化学習

情報科学部

ネットワークデザイン学科

学習モデリング研究室

平嶋洋一 准教授

強化学習における学習効率改善手法として，価値関数を構成するために関数近似手法を利用する方法が知られています．これらは， 関数近似手法が持つ汎化作用を利用して，価値関数に対する複数の入力間で学習効果を共有します． しかし，関数近似手法の汎化作用を問題に応じて適切に設定することは難しく，特に，汎化を設定した複数入力に対して異なる対応が必要になる場合に学習効率が低下します． そこで本技術では，汎化作用が機能する領域が選択可能なSG-CMAC(Cerebellar Model Articulation Controller with Selective Generalization)を提案しています．提案手法では，汎化不要な一部入力に対し，CMACとは独立に参照表を構成し，量子化したこれら入力の各値に対して，CMACモジュールを割り当てます．

従来のCMACによる汎化

SG-CMAC（CMAC with Selective Generalization）

例題：７要素化学プラント最適配置問題

2次元空間上のフィールドに，化学プラントの構成要素を配置します．要素間距離の制約を満たしつつ，総パイプ長を最小化することが目的です．

SG-CMACによる汎化

方法(A)はすべてのシミュレーションで最適解を導出しました．また，方法(B)より少ない試行回数で最適解を導出していることがわかります．

学習性能の比較

横軸は試行回数，縦軸は導出した総パイプ長の最小値を表しています．各結果は，異なる初期値に対して10回の独立したシミュレーション行い，これらの空間平均をとっています．

研究者INFO: 情報科学部 ネットワークデザイン学科 学習モデリング研究室 平嶋洋一 准教授

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム