SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス自然科学
学科の分類
情報科学部情報システム学科

組合せデザインの深層学習への応用

情報科学部

情報システム学科

離散数理研究室

地嵜頌子 講師

共同研究者

宮本暢子
藤原良

深層学習においてドロップアウトと呼ばれる手法が用いられている. これは多層型 ニューラルネットワークにおいて, その層ごとに一定の確率でノードを無効にして学習 を行う手法である. 訓練データに過度に適応した学習をしてしまう過学習と呼ばれる 現象に対して有用であるとされ広く使用されている. ドロップアウトを用いたとき, 各 ノードの使用頻度のばらつきは小さくなるが, 層間の辺の使用頻度のばらつきは大きく なる. 本研究では, ドロップアウト法において辺の使用頻度を一定にするような組合せデザイン (dropout design) を定義し, 関連する組合せ構造についてまとめ, その構成法について提案する.

研究背景

研究内容

Dropout designの定義​

Dropout designの例

直交配列を用いた構成法

アフィン空間を用いた構成法

射影空間を用いた構成法

まとめと今後の課題

参考文献

[1] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov (2014), Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15:1929–1958.

発表論文

[2] S. Chisaki, R. Fuji‐Hara, N. Miyamoto (2020), Combinatorial designs for deep learning. Journal of Combinatorial Designs, 28(9) : 633– 657. https://doi.org/10.1002/jcd.21720

研究者INFO: 情報科学部 情報システム学科 離散数理研究室 地嵜頌子 講師

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム