SDGsの分類
研究テーマ
IT・IoT・AI・ロボティクス
学科の分類
工学部電子情報システム工学科

作品創りをガイドする AI システム

工学部

電子情報システム工学科

創作情報工学研究室

上野未貴 講師

漫画・写真・小説などの創作物を創り，読み解く過程のデータを収集し，人工知能分野で拡がる画像処理・自然言語処理・機械学習・人とコンピュータ間の対話的なシステム開発に基づき，創ることを支援する研究を進めています．

研究室情報

研究室特徴

教員，学生共に，創作物データを創り，プログラム実装・評価・システム開発の研究全体過程を把握しています．創り手かつ研究者で以下 3 step で進めます．

1. 創作/思考過程を定量化しデータとする

2. コードを書き機械学習モデルを評価する

 3. システムの魅せ方を検討する

右図，研究室前の lab. gallery では，研究に関する学生の創作物，システム，お知らせが季節ごとに展示されており，常時デモしています．

 

主なシーズ

  • 画像と言語を主とする機械学習目的の創作物データセット設計・構築
  • オリジナルデータに応じた機械学習の手法選択
  • 創作者ユーザを想定した対話的なシステムの開発
 

 関連研究テーマ

  • 写真画像のプロ知識に基づく自動評価手法の提案
  • 小説の創作支援のための登場人物情報の自動抽出
  • 4 コマ漫画のストーリー理解を目指したデータセットおよび深層学習フレームワークの構築
 
 

写真画像のコンテスト情報に基づく自動用紙推定システムの構築

- 写真の良い点 根拠もあわせて詳しく推定

写真の内容・デザイン的な良さは被写体選択・構図・配色・被写体間の関係性などの複合的な要素により評価するため，計算機が全自動評価することは難しい問題です．撮影知識が豊富な学生と風景の写真を中心としたオリジナルデータベースを構築し，画像フィルタ処理と深層学習による物体検出を組合せ，入力画像全体における主題を識別し，客観的な評価を人にわかりやすく出力するシステムを構築しています．

シーズ: 写真作品の評価指標

写真画像のコンテスト情報に基づく自動用紙推定システムの構築

- コンテスト知識で写真にぴったりな用紙を予測

写真に調和する用紙は各個人の感性によって異なります．特に鑑賞用の画像を印刷する時に，画像特徴に応じた用紙を選ぶ難しさがあります．写真家の知識を正解ラベルとみなして教師あり機械学習することにより入力した写真に応じた用紙を推薦，また判断根拠を可視化するシステムを構築しています．

シーズ: 印刷を前提としたデザイン画像に対する機械学習 Web アプリケーション

深層学習を用いた手書き文字のフォーマルとカジュアルの書き分け支援システムの構築​

- 自分の個性を保ってシーンに合う文字生成

同一人物であってもシーンに応じて文字を書き分けて表現をすることがあります．特に，フォーマルとカジュアルという属性に着目し，書道の知識に基づいたデータセットを構築し，描画した文字の属性の度合いを可視化し，その判断根拠を入力画像にマスクしてマッピングすることで，わかりやすく可視化してガイドするシステムを構築しています．また個人の文字が持つ特徴を残して属性を強化するお手本文字画像の自動生成例も合わせて出力します．

シーズ: 教育・知育アプリ, IoT 文具

漫画の機械学習用データセット及びフレームワーク開発

状況，状態遷移，関係性などのストーリーに関する特徴を画像と言語情報で表す漫画を計算機に学習させることで，人の想起するあらゆる情報の定量化に迫ります．

人へ伝達する時に適切な画像や言語を提示するコミュニケーションの活性化，資料の構造化に関連します．

人が何か考え生み出すときの良きアシスタントになる情報提示システム開発への応用を目指しています．

論文

「深層学習による4コマ漫画のストーリー解析用データセット及びフレームワークの開発」の取組み」(2019)上野未貴『日本画像学会誌』58(5)p.545-551.

研究者INFO: 工学部 電子情報システム工学科 創作情報工学研究室 上野未貴 講師

研究シーズ・教員に対しての問合せや相談事項はこちら

技術相談申込フォーム