SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス
学科の分類
情報科学部情報知能学科

エッジAIで高精度画像認識・物体検出 低消費電力，手のひらサイズのMPSoCボードで高精度物体認識・物体検出を実現

情報科学部

情報知能学科

システムアーキテクチャ

中西知嘉子 准教授

組み込み市場では，運用コストやセキュリティー，リアルタイム性などの問題から，エッジ（端末側）で単独処理できる「エッジAI」が期待されている．その実現方法であるFPGAによるエッジAIは根強いニーズがありながら，デバイスが高価格，実装が難しい，量子化による性能劣化という問題点があった．そこで，我々は，低価格のデバイスをターゲットにし，推論アルゴリズムを解析することで，効率よくアクセラレートする回路をFPGAで実装，処理を最適化することで，低消費電力で高速な推論処理を実現している．

背景

　組み込み市場では，運用コストやセキュリティー，リアルタイム性などの問題から，エッジ（端末側）で単独処理できる「エッジAI」が期待されている．各種の端末自体にAIを搭載すれば，その場で複雑な処理を行えるようになる．その実現方法であるFPGAによるエッジAIは根強いニーズがありながら，高価格FPGAデバイスが必要，FPGA専用のネットワークで学習しないとうまく実装できない，量子化による精度劣化という問題点があった．

　一方，エッジデバイスの候補になりうる，名刺サイズのFPGA開発プラットフォーム「Ultra96」というボードが発売された． Ultra96は、ザイリンクスの最先端のプログラマブルSoCである「Zynq UltraScale+ MPSoC（以下、MPSoC）」を搭載する開発ボードで，数万円という手の届くの値段で買えるようになっている．

画像認識

　画像認識技術は，顔認証，監視などのセキュリティー分野，医療現場での画像診断や工場における不良品は判定や故障予兆など，様々な場面で用いられ始めている．画像認識は、以下のようなより詳細なタスクに分けられる．

  • 画像分類：画像が何の画像であるかを識別する
  • 物体検出：画像内の対象物の場所を検出する
  • 異常検知：画像の中から異なる状態を検出する
  • 姿勢推定：画像内の人間などの姿勢を推定する．

　人工知能による画像認識の事例は今後ますます増えてくることが予想される．我々は，これらの画像認識に注目し，エッジデバイス(MPSoC)への実装にチャレンジしている．

実現手法

　下左図が実現フローを表している．まず，実装する物体認識や物体検出，異常検知のアルゴリズムを解析し，C言語の標準ライブラリのみでの推論処理を作成する．これは，ニューラルネットワークライブラリであるkerasやpytorch, ONNXの学習済みデータからC言語プログラムを作成している（自動生成）．そして，生成したプログラムをMPSoCに適したアルゴリズムに変更し，FPGA部にアクセラレータを作成する．アクセラレータの作成には，高位合成を用いる．高位合成により，短期間にさまざまな構成の検討を可能になる．そして，MPSoC内のCPU(Linux)とFPGAの協調動作によって，システム全体の高速化を行っている．

プロファイル

特徴

　物体認識，検出などの画像系AIのプログラムコードは，９割はシーケンシャルな処理で１割が演算処理であることが多い．しかし，その１割が全体のパフォーマンスの８～９割ぐらいを占める．上右図に物体認識プログラムの１つであるYoloV3のプロファイリングの結果を示す．このように１つの関数が実行時間の9割を占めている．

そこで，パフォーマンスの8～9割を占める処理をFPGAで実装し，他の処理は，MPSoC内蔵のCPUで実行する．CPUで実行する処理は，推論部分のみを切り出し，C言語の標準ライブラリのみで作成しているため(※1)，負荷が軽い．また，アクセラレータの機能を，推論部分の一部とすることで，高価なFPGAが必要ない．さらに，アクセラレータを有効に使えるように，CPUとFPGAが協調動作するアルゴリズムに変更しているため，推論処理を高速に実行できる．

（※1）kerasやpytorch，ONNXで学習した重みから推論処理を自動作成するツールを用いて作成．

VGG16という「ImageNet」という大規模画像データセットで学習された16層からなるCNNモデルにBatch Normalizationを付加したネットワークを用い，エッジAIの効果を試してみた結果が，右図である．データセットにはCifar10を用いた．推論時間は，GPUを用いた処理時間の52%を達成している．一方，消費電力は，数ワットであり，低消費電力を実現していることが確認できる．高精度な画像認識であるEfficientNetや，regnetについて，回路を適応したモデル，適応していないモデルを実行し，それぞれの処理時間を右表に示す．それぞれ6.6倍～12.8倍の性能を達成している．

現在，YoloXなどのソフトアンカーを利用した物体検出，異常検知，姿勢推定などの画像系AIの実装を行っている．

今後の課題としは，FPGA内のメモリ量やメモリの割り当てなど効率よいメモリの使用方法，アルゴリズム内のデータの並列性の検出などがあげられる

研究者INFO: 情報科学部 情報知能学科 システムアーキテクチャ 中西知嘉子 准教授

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム