2017年より, 組合せ構造の深層学習への応用を研究している. 本シーズでは, ドロップコネクト法に適用される組合せ構造であるspanning bipartite block designの構成法について紹介する.
深層学習において，汎化性能が下がる現象を引き起こす過学習を避けるための代表的な手法としてドロップアウト法やドロップコネクト法がある. これらはランダムにノード (もしくは辺) を選び，モデル学習の際に無効化することで汎化性能を高める手法である.
これまでに, ドロップアウト法に適用させるため，統計的実験計画法の 2 因子実験の最適計画 (balanced split block design) を拡張し, dropout design と呼ばれる組合せ構造の提案を行ってきた [1,2]. これらの先行研究を踏まえ， ドロップコネクト法に対しても, 実験計画法や組合せ理論で得た理論や技法を導入し, 新しい組合せ構造(spanning bipartite block design, SBBD)の提案と構成法を与え，その最適性に関して議論した [4].
さらに，SBBDの既存の組合せ構造と同値な条件を与え，そのようなSBBDの構成法を与えた [5].
ドロップアウト法では，各層のノードの一部を無効化し，残ったノード間で完全 2 部グラフを構成する形でスパース化を図ってきた. 一方，ドロップコネクト法[3]はノードではなく，2 層間のコネクション (辺) を直接ランダムに無効化する手法，つまり，2 層ごとに独立してランダムに辺を選び，その辺もしくは選ばれなかった辺を不活性化することにより多層ニューラルネットのスパース化を図る.
一般的に実験計画法において，品種の効果の推定量の分散は任意の2つの効果の会合数が一定であるとき，等分散になりかつ最小になる.統計モデルでは推定すべき品種の効果は単純な集合として表現する.しかし深層学習では 2 部グラフの辺に推定すべき重みが対応しているため，辺集合を品種の集合と考え，その会合数をバランスさせることを考える.
完全二部グラフ\(K_{v_{1},v_{2}}\)の2つの頂点集合を\(V_1,V_2\)とし，以下の5つの条件を満たす部分グラフの集合\(\mathbf{B}=\{B_1,B_2,\ldots, B_N \}\)を考える.
[SBBDの条件]
(1) \(\mathbf{B}\)のどの部分グラフ\(B_i\)も\(V_1,V_2\)の点をすべて含む（全域条件）.
(2) \(\mathbf{B}\)の中に\(K_{v_1,v_2}\)のすべての辺はちょうど\(\mu\)回ずつ現れる.
(3) 任意の2つの辺 \(e_{ij}, e_{ij’}\), \(i \in V_1\), \(j, j’ \in V_2, (j \ne j’)\) が同時に含まれる部分グラフは\(\mathbf{B}\)内に必ず\(\lambda_{12}\)個存在する.
(4) 任意の2つの辺 \(e_{ij}, e_{i’j},\ i, i’ \in V_1, (i \ne i’), \ j \in V_2\) 同時に含まれる部分グラフは\(\mathbf{B}\)内に必ず\(\lambda_{21}\)個存在する.
(5) 任意の2つの辺 \(e_{ij}, \ e_{i’j’}, \ i, i’ \in V_1, (i \ne i’),\ \, j, j’\in V_2, (j \ne j’)\)が同時に含まれる部分グラフは\(\mathbf{B}\)内に必ず\(\lambda_{22}\)個存在する.
これらの条件を満たす\(K_{v_1,v_2}\)の部分グラフの集合\(\mathbf{B}=\{B_1,B_2,\ldots, B_N \}\)をとし，\((K_{v_1,v_2} , \mathbf{B} )\)をSpanning Bipartite Block Design (SBBD)と呼ぶ.
二部グラフの中の任意の2辺の選び方は，その共有点の状況により図1のように3通り考えられるため，それら3つに関する条件が(3,4,5)である.
さらに，\(\lambda_{21} = \lambda_{22}\) を満たすSBBDをGDD type といい，[5]では, GDD type SBBDの構成法や最適性について議論する. また，GDD type SBBDはGroup Divisible Designと呼ばれる組合せデザインと同値である.
Group Divisible Designの定義は以下の通りである.
[Group Divisible Design (GDD)の定義]
点集合\(V\)は\(v_1\)個の\(v_2\)-部分集合(グループ) \(G_1, G_2,
\ldots, G_{v_1}\)に分割されているとする.
また, ブロック集合を\(\mathbf{B}=\{B_1,B_2,\ldots, B_N\}\), ただし\(B_i\)は\(V\)の\(k\)-部分集合であるとする.
\( (V, \mathbf{B})\)が次の条件を満たすとき, Group Divisible Design (GDD)といい, パラメータ\(v_1, v_2, k, r, \lambda_1, \lambda_2, N\)をもつ.
(1) \(V\)の任意の点はちょうど\(r\)個のブロックに含まれる.
(2) 同一グループ内の任意の2点に対し, それらを含むブロックは\( \mathbf{B}\)にちょうど\(\lambda_1\)個存在する.
(3) 異なるグループに含まれる任意の2点に対し, それらを含むブロックは\(\mathbf{B}\)にちょうど\(\lambda_2\)個存在する.
GDDの点集合\(V = \{p_{11}, p_{12},\ldots, p_{v_1v_2}\}\)を完全二部グラフ\(K_{v_1,v_2}\)の辺\(e_{ij}\)と1対1に対応させることで，GDDのブロックをSBBDのブロック\(B_i\)とみなすことができる. このとき，以下の系が得られる.
系. \((V, \mathbf{B})\)がパラメータ\(v_1, v_2, k, r, \lambda_1, \lambda_2, N\)を持つGDDであるならば，\(V, \mathbf{B}\)は全域条件を除くSBBDの条件を満たし，そのパラメータは\(\mu = r, \lambda_{12} = \lambda_1, \lambda_{21} = \lambda_{22} = \lambda_2 \) を満たす.
[5]では，\((r,\lambda)\)-designやdifference matrixといった既存の組合せ構造からGDD type SBBDを構成する方法や，GDDの持つE-最適性について紹介している.
[1] S. Chisaki, R. Fuji-Hara & N. Miyamoto: Combinatorial Designs for Deep Learning, Journal of Combinatorial Designs, 28(9),633 – 657, 2020. https://doi.org/10.1002/jcd.21720
[2] S. Chisaki, R. Fuji-Hara & N. Miyamoto: N. A construction for circulant type dropout designs. Designs, Codes and Cryptography, 89, 1839–1852 (2021). https://doi.org/10.1007/s10623-021-00890-8
[3] L. Wan, M. Zeiler, S. Zhang, Y. Le Cun, and R. Fergus. Regularization of neural networks us- 26 ing dropconnect. In International conference on machine learning, 1058–1066, 2013.
[4] S. Chisaki, R. Fuji-Hara, and N. Miyamoto. Optimality and constructions of spanning bipartite block designs, Metrika, 1-24, 2024. https://doi.org/10.1007/s00184-024-00963-3
[5] S. Chisaki, R. Fuji-Hara, and N. Miyamoto. GDD type spanning bipartite block designs. arXiv:2308.16401.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2025 智と技術の見本市.
