オクシモロンの謎―意味の矛盾と伝達効果
オクシモロンとは「小さな巨人」のように反対の意味が同じ対象に適用されるレトリックである．「小さくて大きいものは何だ？」とすれば「なぞなぞ」にもなり得るが，字義通りに考えれば反対語が共起しているのだから矛盾することになる．しかし，実際には意味解釈に支障は来さない．それどころかこのレトリックならではの伝達効果がある．オクシモロンの構造，伝達効果は私の研究テーマの一つである．
深層学習においてドロップアウトと呼ばれる手法が用いられている. これは多層型 ニューラルネットワークにおいて, その層ごとに一定の確率でノードを無効にして学習 を行う手法である. 訓練データに過度に適応した学習をしてしまう過学習と呼ばれる 現象に対して有用であるとされ広く使用されている. ドロップアウトを用いたとき, 各 ノードの使用頻度のばらつきは小さくなるが, 層間の辺の使用頻度のばらつきは大きく なる. 本研究では, ドロップアウト法において辺の使用頻度を一定にするような組合せデザイン (dropout design) を定義し, 関連する組合せ構造についてまとめ, その構成法について提案する.
研究背景
研究内容
Dropout designの定義
Dropout designの例
直交配列を用いた構成法
アフィン空間を用いた構成法
射影空間を用いた構成法
まとめと今後の課題
参考文献
[1] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov (2014), Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15:1929–1958.
発表論文
[2] S. Chisaki, R. Fuji‐Hara, N. Miyamoto (2020), Combinatorial designs for deep learning. Journal of Combinatorial Designs, 28(9) : 633– 657. https://doi.org/10.1002/jcd.21720
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム