学習済みディープニューラルネットワークモデルの権利保護に関する研究
学習済みディープニューラルネットワーク(DNN)モデルの権利保護のために、電子透かしをモデル内へ埋め込む技術が注目されている。本研究では、画像分類型DNNモデルを対象とし、その内部パラメータは観測できず、入力画像と出力ラベル値のみが観測できる場合でも、そのDNNモデルを学習させた著作権者の情報を視覚的に取り出すことを実現する。
本技術のコアは，視覚神経系が行っている情報処理（視覚信号の対数変換や空間バンドパスフィルタ等）を実装した回路にある．本回路は，視覚神経系を模倣した並列演算を活用して，省電力で，照明強度や照明色の変化にほとんど影響されることなく多数の視覚特徴（色・方位別輪郭等）を検出することが出来る．この回路を実装したFPGAとイメージセンサからなるロボットビジョンシステムは，1辺4cm程度の小さなサイズで，多数の視覚特徴を実時間で出力できる．
背景
色情報は，物体認識等を行うための重要な手がかりとして，ロボットビジョンなどの様々な工学的視覚システムにおいて，広く用いられている．しかしながら，イメージセンサに入射する光強度は，照明光強度と物体反射率の積で表されるため，物体そのものの色を決定する反射率のみを計測することは原理的に不可能であり，物体の色を知るためには，照明光の影響をキャンセルする機構が必要である．
一方，我々ヒトをはじめとした生体の視覚系は，照明光の影響を最小限に抑えて，物体そのものの色を知覚する事が出来る．このような性質は色恒常性と呼ばれており，我々の視覚認識を支えている．生体の色恒常性実現手法は，ロボットビジョンに色恒常性を実装する際の大きな手掛かりとなる．
本研究の目的は，生体視覚系が色恒常性を実現するために行っている処理のモデルを，小型の field-programmable gate array (FPGA) に実装し，このFPGAとイメージセンサを組み合わせることにより，コンパクトサイズな照明光の色や強度に影響しない色情報符号化システムを開発することである．
処理の流れ
図1は，本研究で提案する色恒常性アルゴリズムの処理の流れを表したフロー図である．本アルゴリズムは，生体視覚系の処理をモデルにして提案されたcenter / surround retinex アルゴリズムを基にして提案された．
本アルゴリズムの全体の流れは以下の通りである．まず，R（赤），G（緑），B（青）の三つの波長帯域に分けられた入力画像(I_R，I_G，I_B) に対して対数圧縮がなされ，対数画像(L_R，L_G，L_B) が生成される．次に，この対数画像が，二つの異なる標準偏差σ_1，σ_2 (σ_1 < σ_2とする) を持ったガウシアンフィルタによりフィルタリングされ，2 種類のガウシアン画像群(C_R，C_G，C_B) と(S_R，S_G，S_B) が得られる．これら2 種類のガウシアン画像群C，S の差分から，照明光の影響を減じた明るさ恒常性画像（X_R，X_G，X_B）が得られる．最後に，この出力情報を利用して色の評価が行われる．
システム構成
図2に，前節の色恒常性アルゴリズムを実装したイメージセンサシステムの構成を示す．本システムは，主にCMOS イメージセンサ（OmniVision, OV7725) とFPGA（Intel, Cyclone V 5CEBA4）から構成される．
イメージセンサで取得されたRGB画像は，8 bit のディジタル情報としてFPGA に入力される．このディジタル画像が，FPGA内部の回路によって各種処理（対数変換やガウシアンフィルタリング等）を受けることによって，照明の影響を減じた出力信号となる．
色恒常性アルゴリズムの中でも負荷の大きな演算がFPGA内で行われるため，色を用いた画像処理における後段の処理装置への負荷を大きく軽減できる．
評価
提案システムの出力と，照明の影響を打ち消す目的で従来用いられている手法であるグレーワールドアルゴリズムの出力を比較することにより，評価を行った．
図3に実験環境（LED照明が，赤，緑，青，黄の4 つの色付き物体を赤，緑，青の三色の照明で照らす．）を示す．この実験環境下で室内の蛍光灯のみに照らされている4 つの色付き物体に対するそれぞれのアルゴリズムの出力と，LED による付加的な色照明に照らされた4 つの色付き物体に対するそれぞれのアルゴリズムの出力を比較した．
上記の実験環境において，蛍光灯照明下で指定した色域が，異なる色の照明下でどのように変化するのかを検証した．図4，5はそれぞれ，蛍光灯照明下において，グレーワールドアルゴリズムと提案手法によって赤色域を抽出した結果である．いずれの手法においても，赤色の飲料の箱が適切に抽出されている．
図6，7はそれぞれ，LEDによる緑色照明を付加した状態において，グレーワールドアルゴリズムと提案手法によって赤の色域を抽出した結果である．指定した色域は，蛍光灯照明のみの状況から変更していない．グレーワールドアルゴリズムでは，赤色飲料の領域がほとんど抽出できていないのに対し，提案手法では，赤色の飲料の箱が蛍光灯照明のみの時とほとんど変わらず抽出できている．
論文
「FPGA implementation of an algorithm that enables color constancy」(2020)『Proceedings of the IEEE/SICE International Symposium on System Integration』p.991-995.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム