漫画・写真・小説などの創作物を創り，読み解く過程のデータを収集し，人工知能分野で拡がる画像処理・自然言語処理・機械学習・人とコンピュータ間の対話的なシステム開発に基づき，創ることを支援する研究を進めています．
教員，学生共に，創作物データを創り，プログラム実装・評価・システム開発の研究全体過程を把握しています．創り手かつ研究者で以下 3 step で進めます．
1. 創作/思考過程を定量化しデータとする
2. コードを書き機械学習モデルを評価する
3. システムの魅せ方を検討する
右図，研究室前の lab. gallery では，研究に関する学生の創作物，システム，お知らせが季節ごとに展示されており，常時デモしています．
風景の写真を中心としたオリジナルデータベースを構築し，画像認識に関する深層学習の研究により，人の感性に即した写真の自動評価手法の構築を進めています．
画面上に二次元に写像されたデジタル写真を見る機会が増えましたが，印刷して三次元空間でアナログに鑑賞する際に発現する写真内容と質感の関係性についても調査しています．
文字情報の個性を学習し，教示するための小型可搬システムの開発をしています．
スマートフォンとクラウドアプリケーションで多くの機能は汎用的に扱える昨今ですが，小型ハードウェアと機械学習のソフトウェアの両方をコーディングし専用デバイスを敢えて作り，人が望む目的に特化するシステム開発を進めています．
状況，状態遷移，関係性などのストーリーに関する特徴を画像と言語情報で表す漫画を計算機に学習させることで，人の想起するあらゆる情報の定量化に迫ります．
人へ伝達する時に適切な画像や言語を提示するコミュニケーションの活性化，資料の構造化に関連します．
人が何か考え生み出すときの良きアシスタントになる情報提示システム開発への応用を目指しています．
論文
「深層学習による4コマ漫画のストーリー解析用データセット及びフレームワークの開発」の取組み」(2019)『日本画像学会誌』58(5)p.545-551.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム
