容易に構築できる球面ディスプレイ環境
球面型没入ディスプレイ環境構築をサポートするシミュレータを開発した．球面ディスプレイを作る際には，ドームスクリーンへの特殊な歪み補正を考慮した投影系の光学設計を行う必要がある．しかし，実際に製作される光学系はシミュレーション通りの精度が保証されるわけではない．使用する際に改めて光学系の微調整が必要となる．本研究では，投影系の光学設計と同時に，光学系の微調整や歪み補正が実行可能な投影シミュレータを開発している．
近年，農家の高齢化や減少に伴い，カメラを用いた植物の自動監視技術が注目されている．しかし，植物の成長具合を判断する指標である枝構造の情報を取得する場合，葉によって枝が隠れてしまうため枝の情報を取得することが困難である．そこで，本研究では対象の植物を多視点から撮影し，多視点からの植物画像を入力として，枝の三次元構造を復元する．はじめに，多視点から撮影した植物画像に対して，深層学習による画像変換を行い，枝の存在確率画像を生成する．枝の存在確率画像とは，枝の存在確率を画素値で表した画像のことを指す．そして，多視点での枝の存在確率画像を用いて，三次元構造の復元を行うことで枝の構造復元を実現する．
研究背景と目的
近年，農業人口の減少や農家の高齢化が問題視される中，カメラを用いた植物の自動監視技術や自動収穫ロボットの開発が注目されている．しかし，植物の成長具合を判断する指標である枝構造の情報を取得する場合，葉によって枝が隠れてしまうため枝の情報を取得することが困難である．そこで本研究では，対象の植物を多視点から撮影して取得した植物画像群を入力として，枝の三次元構造を復元する．入力の植物画像から深層学習によって枝領域を推定し，推定した枝領域を用いて枝の三次元構造の復元を行う．
提案手法
提案手法の処理フローをFig.1に示す．はじめに，対象の植物を撮影して取得した植物画像を入力として，深層学習を用いた枝領域推定を行う．枝領域推定により，植物画像から枝領域のみを抽出した枝画像を生成する．次に，多視点での枝画像を用いて，三次元空間上に点群を生成する．最後に，生成した三次元点群から有効な点群を判定し，各点群を接続することで枝の構造復元を行う．
枝領域推定
枝領域推定では，各植物画像から深層学習による画像変換を行い，枝画像を生成する．枝領域推定には，深層学習の一種であるpix2pixを用いる．pix2pixは，事前に植物画像と枝画像のペアを学習器に複数枚入力することで，画像間の対応関係を学習し，植物画像から枝画像に変換を行う学習器を作成することができる．この学習器を用いて，Fig.2に示す植物画像からFig.3に示す枝画像に変換される．この処理を全ての植物画像に行い，多視点からの枝画像を生成する．
３次元点群の生成
三次元点群の生成では，多視点での枝画像群を用いて，三次元空間上に点群を配置する．三次元点群の生成手法として逆投影法を用いる．逆投影法は，三次元空間上に画像内の画素値を投影し，投影結果から三次元構造を出力する手法である．本手法では，逆投影法を用いて枝画像の画素値を三次元空間上に投影し，この投影処理を全ての枝画像で行うことで三次元点群を生成する．生成される三次元点群の例をFig.4に示す．
枝の構造復元
枝の構造復元では，逆投影法によって生成した三次元点群に対して細線化を行い，細線化後の三次元点群に接続処理を行うことで枝の構造を復元する．細線化を行うことで，Fig.5のような三次元点群からFig.6のように形状を維持したまま三次元点群を削減することができる．最後に，点群間の距離が閾値以下である頂点同士を接続することで，枝の構造復元結果として出力する．
実験結果
実験では，植物画像群を入力として三次元構造が正しく復元されているかを確認した．また，実験で用いる対象の植物は3DCGソフトウェアによって作成した植物モデルを用いており，枝領域の推定に用いる学習器には，植物画像と枝画像のペアを780枚作成し，学習を行った．実験により出力した枝の構造復元結果をFig.7に，真値をFig.8に示す．
まとめ
本研究では，対象の植物を多視点から撮影した植物画像群から枝の三次元構造の復元を行う手法を考案した．植物画像から深層学習により枝領域を推定し，推定結果から生成した三次元点群を用いて枝の三次元構造の推定を行った．今後の課題として，復元された枝構造は途切れた箇所や閉路が存在するため，枝構造の復元手法の改善と，実植物での実験を行うための，実植物の画像を取得するカメラ環境の検討が挙げられる．
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム