社会インフラを支える情報システム
無人運転等の自動化技術の変革期にあって、交通、電力、金融、農業、メディア、治安などの社会インフラは大きな転換を迎えつつあります。身近な問題を取り上げて、今後の社会インフラを支える情報システムを計画，開発，運用する技術について研究しています。動画はミニチュアの街を列車視点で眺める実験の映像例です。
機械学習によるユーザの意図を反映した背景 CG の自動生成
本研究では，深層学習を用いた背景CGの自動生成システムを提案する．提案システムは，ユーザが描いた道路画像から，建造物の形状，景観，配置を決定した背景3DCGを自動生成する．また，生成過程に2種類の深層学習を効果的に用いることで，高速な自動生成を実現する．国土地理院が公開する基盤地図情報から生成した学習モデルを使用することで，リアルな3DCGの生成が可能である．
研究背景と目的
研究背景と目的
作品制作のデジタル化に伴い，映画やゲームマップ，イラストの背景としてCGが多く用いられるようになった．これらで扱われる背景CGは，CGソフトウェアを用いて制作されることが一般的である．しかし，従来のCGソフトウェアで背景CGを制作する場合，建造物などのCGモデルを全て用意し，配置する必要がある。これには知識と技術が必要となり，多くの時間と労力がかかる．そこで本研究では，深層学習を用いた背景CGの自動生成システムを提案する．提案システムは，ユーザが描いた道路画像から，建造物の形状，景観，配置を決定した背景CGを自動生成する．また，生成過程に2種類の深層学習を効果的に用いることで，高速な自動生成を実現する．
提案手法
提案システムは，Pix2Pixをベースとした仮想地図の生成と，Cycle GANをベースとしたテクスチャ生成を主とし，背景3DCGの自動生成を行う．提案手法の処理手順をFig. 1のフローチャートに示す．本システムの入力は，ベースとなる画像に対してユーザが黒色の線で道路を描いた画像とし，出力はOBJファイル形式の背景CGとPNGファイル形式のテクスチャ画像，マッピング情報の記述されたMTLファイルとする．
仮想地図の生成
提案システムではPix2Pixの学習画像として，日本の国土地理院から配布されている基盤地図情報を用いる．学習画像は基盤地図情報から得られる道路と建造物の情報を描画し，それをペアとした画像を作成する．左側を道路画像，右側を道路と建造物の画像として生成した学習画像の例をFig. 2に示す．
パラメータの決定
生成された仮想地図の情報をもとに，CGモデルとテクスチャの生成に関するパラメータを決定する．抽出した仮想地図上の道路領域を用いて道路で区切られた区画を1つの土地として扱い，それぞれの土地に区分を付与する．区分には日本の土地区分を参考に決定したパラメータが定められており，それらを用いて土地ごとのパラメータを決定する土地区分は，低層住居専用地域，中高層住居専用地域，商業地域，工業地域の4種類である．Tab. 1に各区分のパラメータを示す．Aは低層住居専用地域，Bは中高層住居専用地域，Cは商業地域，Dは工業地域である．
次にテクスチャ生成のパラメータをTab. 2に示す．テクスチャ生成のパラメータは，描画する図形の数と形状，壁面の材質を決定する．パラメータの決定には，建造物の所属する土地区分及び，後述する背景CG生成時の建造物の高さを用いる．
CGモデルと壁面テクスチャの生成
生成した仮想地図から得られた座標情報と，Tab. 1に示す土地区分のパラメータから背景CGを生成する．まず，建造物の座標情報から，建造物モデルの設置位置と形状を決定する．このとき，建造物の高さはその土地の最低限度の値と，最高限度の値の間でランダムに決定する．
提案システムでは，Cycle GANを用い，矩形や格子などの図形を描画した画像と，様々な材質の壁面の画像を組み合わせ，学習モデルを生成する．Tab. 2に示す土地区分のパラメータからテクスチャ画像を生成する．
実験結果
提案システムによって，異なる形状の建造物，テクスチャが生成されているかについて，複数の入力画像から背景CGを生成し確認を行った．まず，様々な手描き画像から背景CGを生成した結果をFig. 3に示す．同図の左側が入力画像，中央が生成された仮想地図，右側が背景CGの全体図である．同図から仮想地図の建造物が形状を維持したまま背景CGとして生成されていることが確認できる．また，生成されたCGモデルを別視点から描画した結果をFig. 4，Fig. 5に示す．
まとめ
本研究では，2種類の深層学習を用いた背景3DCGの自動生成システムの提案を行った．ユーザが描いた手書きの道路画像から，テクスチャマッピングされた背景CGを自動生成することを可能とした．
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム