若い世代がインターネットにアクセスする際、パソコンよりもスマートフォンなどのタッチパネル端末を選ぶ傾向が顕著になっている。この傾向は、フリック入力、その他のタッチパネル操作、音声入力などを包含している。そのため、これらの新しいデバイスの開発者やICT教育などの研究者にとっては、これらの若い世代における入力方法の実態や主要なパターンに関する広範かつ効果的なデータを収集し、さらなる改善につなげることが不可欠である。 我々は従来の入力方法以外の入力方法を用いているユーザの手、指、顔の動きを計測するための、実用的で実現可能かつ合理的なアプローチを提案する。キーボード入力とフリック入力の両方において、これらの動きを記録し、分析するために、安価なWebカメラとAIライブラリのMediaPipeを用いて計測装置をした。そして、2021年からいくつかの実験を行い、装置の改良を続けてきた。キーボードのタイピング実験を行い、タイピング傾向の異なる学生を分析した。
キーボードやスマートフォンで入力する際に、実際にどのように指を動かし、どこを見ているのか計測するため、Webカメラと機械学習ライブラリMediaPipeを用いた計測装置を開発しました。
Ultraleapや筋電センサ等も試してみましたが、今のところWebカメラ（2000円程度の安価もの）とMediaPipeで実行するのが安価でかつ確実なようです。
MediaPipeでの実行すると以下のように指を関節ごとに認識し、また目の位置も認識するため、画面のどこを見ているか、また下向きなのか、といったことを検出できます。
実際に数回、のべ30人近くの学生に協力してもらい実験しましたが、そのうち典型的な例を以下に示します。
実験結果のうち、2人（参加者AとB）についての分析です。結果は著しく異なっています。
参加者Aは全参加者の中で最もタイピング速度が速く、均等に指を使用していました。図の青が左手、赤が右手の移動距離ですが、右手が顕著で、移動距離が多いことが分かります。
しかし、タイピング速度が遅かった参加者Bは、タイピングに2本の指しか使っていません。
スマートフォンのフリック入力について、現在ややデータの取りこぼしが見られているため、まだ完全なデータサンプリングができていません。そのため、今後はスマートフォンの入力様態を完全に計測できる装置の開発を予定しています。
論文
「An Analysis of the Features of Keyboard Input Method among Individual Users 」(2023)『Proceedings of EdMedia + Innovate Learning 2023』p.1164-1169.
「A Proposal for the Improved Version of a Means of Measurement for the Assessment of Two Types of Input Methods: Keyboard Input and Flick Input 」(2023)『Economic History, Flow of Funds, Information Systems and Operations Research』p.53-67.
「A Proposal of a Means of Measurement for the Assessment of Two Types of Input Methods: Keyboard Input and Flick Input 」(2021)『Proceedings of Innovate Learning Summit 2021』p.65-70.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2025 智と技術の見本市.
