強化学習における学習効率改善手法として，価値関数を構成するために関数近似手法を利用する方法が知られています．これらは， 関数近似手法が持つ汎化作用を利用して，価値関数に対する複数の入力間で学習効果を共有します． しかし，関数近似手法の汎化作用を問題に応じて適切に設定することは難しく，特に，汎化を設定した複数入力に対して異なる対応が必要になる場合に学習効率が低下します． そこで本技術では，汎化作用が機能する領域が選択可能なSG-CMAC(Cerebellar Model Articulation Controller with Selective Generalization)を提案しています．提案手法では，汎化不要な一部入力に対し，CMACとは独立に参照表を構成し，量子化したこれら入力の各値に対して，CMACモジュールを割り当てます．
2次元空間上のフィールドに，化学プラントの構成要素を配置します．要素間距離の制約を満たしつつ，総パイプ長を最小化することが目的です．
方法(A)はすべてのシミュレーションで最適解を導出しました．また，方法(B)より少ない試行回数で最適解を導出していることがわかります．
横軸は試行回数，縦軸は導出した総パイプ長の最小値を表しています．各結果は，異なる初期値に対して10回の独立したシミュレーション行い，これらの空間平均をとっています．
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム
