エッジAIで高精度画像認識
組み込み市場では，運用コストやセキュリティー，リアルタイム性などの問題から，エッジ（端末側）で単独処理できる「エッジAI」が期待されている．その実現方法であるFPGAによるエッジAIは根強いニーズがありながら，デバイスが高価格，実装が難しいという問題点があった．そこで，我々は，低価格のデバイスをターゲットにし，推論アルゴリズムを解析することで，効率よくアクセラレートする回路をFPGAで実装，処理を最適化することで，低消費電力で高速な推論処理を実現している．
HDRは露光の異なる複数枚の画像を用いることで視認性を回復する手法であり，広く利用されている．しかし，移動する被写体において不向きであるとともに，過去に撮影された画像に使用することができない．そこで本研究では，一枚の画像から疑似的に多重露光画像を生成 し，それらを合成することで視認性の回復を行う手法を提案する．本手法は，自然界の色情報を完全に損失していない画像を対象とし，エッジ情報を用いて明度を自動調整することで，疑似多重露光画像を生成する．
研究背景と目的
写真技術の問題点として，デジタルカメラのダイナミックレンジが自然界のダイナミックレンジよりも狭いことが挙げられる．このダイナミックレンジの差によって色情報の損失が起き，自然界の色を表現できなくなる白飛びや黒つぶれといった現象が発生する．この問題の解決策として，High Dynamic Range（以下 HDR）が提案され，広く利用されている．HDRに必要な多重露光画像の撮影条件として，画角が固定で，かつ被写体に動きが無いことが挙げられる．この条件が満たされていなかった場合，多重露光画像間における被写体位置の不一致により，合成後の画像にゴーストが発生する．そのため，多重露光画像の撮影時に三脚または，高性能な手振れ補正が必要である．また，複数の写真が必要なため，単一画像を入力とした場合，改善することはできない．
そこで，本研究は，単一画像の入力から露出補正を行うことで，HDRと同等以上に視認性を向上する手法を提案する．提案手法では，単一の入力から三枚の疑似多重露光画像を生成する．生成した疑似多重露光画像をHDR合成することで，露出補正を行い，画像の視認性を大幅に向上させる．
提案手法
提案手法では，単一の入力から疑似高露光画像，疑似低露光画像，疑似中露光画像の三枚の疑似多重露光画像を生成する．生成した三枚の画像を HDR合成することで，入力の視認性とコントラストを向上させた画像を出力する．提案手法のフローチャートをFig.1に示す．
疑似高露光画像の生成
疑似高露光画像は，ガンマ補正を用いて生成する．はじめに入力画像から，一定の明度以下の領域のみを抽出した暗所領域画像を生成する．生成した暗所領域画像のエッジ情報から最も暗所の視認性が向上するガンマ値を決定し，入力画像に対してガンマ補正を適用する．以上により生成した疑似高露光画像をFig.3に示す．
疑似低露光画像の生成
疑似低露光画像生成は，はじめに入力画像から，明度が一定の値より大きい領域のみを抽出した明所領域画像を生成する．生成した明所領域画像のエッジ情報から最も明所の視認性が向上するガンマ値を決定し，入力画像に対してガンマ補正を適用する．以上により生成した疑似低露光画像をFig.4に示す．
疑似中露光画像の生成
疑似中露光画像は，入力画像にヒストグラム平坦化を行うことで生成する．ヒストグラム平坦化とは，画像の明るさを均一にする手法である．入力画像にヒストグラム平坦化を行い，生成した疑似中露光画像をFig.5に示す．
HDR合成
HDR合成とは，異なる露光量で撮影された複数の画像から，各画像のコントラスト，視認性が良い部分を一枚の画像に合成することで，視認性・コントラストが高い，高品質な画像を得る技術である．当研究ではこの技術を応用して，一枚の画像から生成した疑似多重露光画像を用いて，疑似的にHDR合成することで，高性能な露出補正を行う．提案手法の適用結果をFig.6に示す．
実験結果
実験では，複数の画像に対し提案手法を適用し，手法の有用性を検証した．
Fig.7～10より，提案手法による露出補正が効果的に視認性を向上させていることが確認できる．
また，移動物体を含んだ場合における，通常のHDRと提案手法の比較画像をFig.11およびFig.12に示す．Fig.11とFig.12を比較すると，移動物体を撮影した際に，通常のHDRではゴーストが発生してしまうが，提案手法では，ゴーストを避けて露出補正が行えている．これは，提案手法では入力を単一画像にしたためである．これにより，提案手法が移動物体を撮影する場合の露出補正として優れていることが分かる．
まとめ
本研究では，単一画像からの露出補正を行う手法を提案した．提案手法は，単一画像からエッジ情報とヒストグラムを用いて，疑似多重露光画像を生成し，HDR合成を行うことで，高度な露出補正を実現した．実験により，提案手法は，単一画像から視認性の向上を行えるだけでなく，HDR技術と比較して，ゴーストを回避できる点で優れていることが確認できた．このことから，提案手法は露出補正手法として，補正性能および汎用性が高いといえる．
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム