SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス
学科の分類
工学部電子情報システム工学科

創作者の表現を計算機に学習させる

工学部

電子情報システム工学科

創作情報工学研究室

上野未貴 講師

漫画・写真・小説などの創作物を創り，読み解く過程のデータを収集し，人工知能分野で拡がる画像処理・自然言語処理・機械学習・人とコンピュータ間の対話的なシステム開発に基づき，創ることを支援する研究を進めています．

研究室情報

研究室特徴

教員，学生共に，創作物データを創り，プログラム実装・評価・システム開発の研究全体過程を把握しています．創り手かつ研究者で以下 3 step で進めます．

1. 創作/思考過程を定量化しデータとする

2. コードを書き機械学習モデルを評価する

 3. システムの魅せ方を検討する

右図，研究室前の lab. gallery では，研究に関する学生の創作物，システム，お知らせが季節ごとに展示されており，常時デモしています．

 

主なシーズ

  • 画像と言語を主とする機械学習目的の創作物データセット設計・構築
  • オリジナルデータに応じた機械学習の手法選択
  • 創作者ユーザを想定した対話的なシステムの開発
 

 関連研究テーマ

  • 写真画像のプロ知識に基づく自動評価手法の提案
  • 小説の創作支援のための登場人物情報の自動抽出
  • 4 コマ漫画のストーリー理解を目指したデータセットおよび深層学習フレームワークの構築
 
 

写真画像のプロ知識に基づく自動評価手法の提案

風景の写真を中心としたオリジナルデータベースを構築し，画像認識に関する深層学習の研究により，人の感性に即した写真の自動評価手法の構築を進めています．

画面上に二次元に写像されたデジタル写真を見る機会が増えましたが，印刷して三次元空間でアナログに鑑賞する際に発現する写真内容と質感の関係性についても調査しています．

IoT 文具応用を想定した小型システムの開発

文字情報の個性を学習し，教示するための小型可搬システムの開発をしています．

スマートフォンとクラウドアプリケーションで多くの機能は汎用的に扱える昨今ですが，小型ハードウェアと機械学習のソフトウェアの両方をコーディングし専用デバイスを敢えて作り，人が望む目的に特化するシステム開発を進めています．

漫画の機械学習用データセット及びフレームワーク開発

状況，状態遷移，関係性などのストーリーに関する特徴を画像と言語情報で表す漫画を計算機に学習させることで，人の想起するあらゆる情報の定量化に迫ります．

人へ伝達する時に適切な画像や言語を提示するコミュニケーションの活性化，資料の構造化に関連します．

人が何か考え生み出すときの良きアシスタントになる情報提示システム開発への応用を目指しています．

論文

「深層学習による4コマ漫画のストーリー解析用データセット及びフレームワークの開発」の取組み」(2019)上野未貴『日本画像学会誌』58(5)p.545-551.

研究者INFO: 工学部 電子情報システム工学科 創作情報工学研究室 上野未貴 講師

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム