教員

[ 代表・教授（兼）] 塩入 諭

研究活動

オンライン授業や会議が普及し、対面に比べた限界が問題視される一方で、新しい技術展開にも注目が集まっている。特に参加者のビデオ映像を利用した顔表情の自動認識などの試みが始まっている。学習、教育に注目すると、オンライン授業やビデオ教材、タブレット教材など急速な普及、発展が期待され、それらの適切かつ有効な活用に関する研究は喫緊の課題と言える。学習者の状態を観察し、認識、思考、推論などに係わる脳内状態を推定し、さらに他者がそれを追体験できれば、学習時の障害除去や、創作活動に有益な教授方法の開発など、学習環境の飛躍的向上が見込まれる。本研究では、加速度的に進展する高度情報化社会における教育学習環境の深化に向け、学習者の注意状態推定とその追体験システムの実現を目指す。
学習環境としてビデオ教材やタブレット教材の利用時を想定し、注意位置、深さ、注意移動の頻度や集中度などを対象とする。代表者らが開発した脳波計測手法を利用して学習時の注意状態変化を計測し、基準（グランドトルース）とする。その注意状態を、顔表情など非接触計測から推定することを目的とし、注意状態と顔表情などの関係をモデル化する。学習時に脳波計測と同時に計測した顔映像や音声を用い、注意状態推定のための機械学習手法を開発する。多様な指標の時系列計測結果を扱い、リアルタイムでの注意推定を目標とすることから、高性能化、高速化を図ることが必要であり、最新のAI技術とFPGA（Field Programmable Gate Array）によるハードウエア計算を利用する。学習環境向上は障害者にとってより重要性が高いことから、本研究においても視覚／聴覚障害への展開も検討する。障害者の認知体験の追体験は、学習のみならず障害者支援や円滑コミュニケーション一般において大きな貢献が期待できる。