二次元画像1枚からの表情変化動画像のリアルタイム生成
深層生成モデルを用いて,1枚の二次元顔画像から表情変化動画像の自動生成を行った.現状,動画像のサイズは500×500pixel程度だが、超解像度、ネットワーク規模削減手法を組み合わせることでリアルタイムの生成を実現した.本研究はビデオ会議システムにおけるアバターの自動生成を想定して行っており、今後は応用システムの開発に取り組む予定である.
本技術のコアは,視覚神経系が行っている情報処理(視覚信号の対数変換や空間バンドパスフィルタ等)を実装した回路にある.本回路は,視覚神経系を模倣した並列演算を活用して,省電力で,照明強度や照明色の変化にほとんど影響されることなく多数の視覚特徴(色・方位別輪郭等)を検出することが出来る.この回路を実装したFPGAとイメージセンサからなるロボットビジョンシステムは,1辺4cm程度の小さなサイズで,多数の視覚特徴を実時間で出力できる.
論文
「FPGA implementation of an algorithm that enables color constancy」(2020)『Proceedings of the IEEE/SICE International Symposium on System Integration』p.991-995.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム