多目的な深層学習モデルの構造最適化

工学部

電子情報システム工学科

最適化アルゴリズム研究室

谷垣勇輝 講師

近年,大規模言語モデルをはじめとした深層学習技術に注目が集まり,多くのアプリケーションが性能を競い合っている.構造に複雑化した深層学習モデルの構造を人の手で設計することは困難なため,モデル構造の最適化を意味するNeural Architecture Search(NAS)手法が数多く開発されている.一般的にNASでは推論性能を最大化するようにモデル構造を作成する.しかし,ハイエンドな深層学習モデルは,非常に高コストな計算処理を要求するため,個人の所有するロースペックな計算機では高度なAIアプリケーションを利用することはできない.今後,AI技術が広く普及していくため,ユーザの持つ計算機スペックと推論性能のトレードオフを考慮した多目的NASアルゴリズムの開発を行っている.

ニューラルネットワークの学習プロセス

重み共有による学習コスト圧縮

複数スーパーネットを併用する多目的な重み共有

提案手法で得られたモデル構造

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム