選択的汎化作用を有する強化学習

強化学習における学習効率改善手法として，価値関数を構成するために関数近似手法を利用する方法が知られています．これらは， 関数近似手法が持つ汎化作用を利用して，価値関数に対する複数の入力間で学習効果を共有します． しかし，関数近似手法の汎化作用を問題に応じて適切に設定することは難しく，特に，汎化を設定した複数入力に対して異なる対応が必要になる場合に学習効率が低下します． そこで本技術では，汎化作用が機能する領域が選択可能なSG-CMAC(Cerebellar Model Articulation Controller with Selective Generalization)を提案しています．提案手法では，汎化不要な一部入力に対し，CMACとは独立に参照表を構成し，量子化したこれら入力の各値に対して，CMACモジュールを割り当てます．