StaffStaff坂本 修一代表・教授（兼）Shuichi Sakamoto Project Leader, Professor*オンライン授業や会議が普及し、対面に比べた限界が問題視される一方で、新しい技術展開にも注目が集まっている。特に参加者のビデオ映像を利用した顔表情の自動認識などの試みが始まっている。学習、教育に注目すると、オンライン授業やビデオ教材、タブレット教材など急速な普及、発展が期待され、それらの適切かつ有効な活用に関する研究は喫緊の課題と言える。学習者の状態を観察し、認識、思考、推論などに係わる脳内状態を推定し、さらに他者がそれを追体験できれば、学習時の障害除去や、創作活動に有益な教授方法の開発など、学習環境の飛躍的向上が見込まれる。本研究では、加速度的に進展する高度情報化社会における教育学習環境の深化に向け、学習者の注意状態推定とその追体験システムの実現を目指す。学習環境としてビデオ教材やタブレット教材の利用時を想定し、注意位置、深さ、注意移動の頻度や集中度などを対象とする。代表者らが開発した脳波計測手法を利用して学習時の注意状態変化を計測し、基準（グランドトルース）とする。その注意状態を、顔表情など非接触計測から推定することを目的とし、注意状態と顔表情などの関係をモデル化する。学習時に脳波計測と同時に計測した顔映像や音声を用い、注意状態推定のための機械学習手法を開発する。多様な指標の時系列計測結果を扱い、リアルタイムでの注意推定を目標とすることから、高性能化、高速化を図ることが必要であり、最新のAI技術とFPGA（Field Programmable Gate Array）によるハードウエア計算を利用する。学習環境向上は障害者にとってより重要性が高いことから、本研究においても視覚／聴覚障害への展開も検討する。障害者の認知体験の追体験は、学習のみならず障害者支援や円滑コミュニケーション一般において大きな貢献が期待できる。73図1 注意状態推定とその追体験システム。まずオフラインで注意状態推定をし、それを利用した追体験を行う。注意状態の時系列データおよび追体験から、注意状態による対応策を検討する。その後、学習時の注意推定からオンラインで対応する手法を確立する。Fig.1 Vicarious experience system of students’ attention. First, the attention state of a student is estimated offline, and the condition of attention is experienced by others. From the time-series data of the attention state and the vicarious ex-perience, teachers can consider how to improve the lectures. Then, technology will be developed for online systems. While online classes and conferences have become popular and the limitations compared to face-to-face meetings have been identified, online communication is attracting many peo-ple in terms of new types of information usages. For example, facial expressions, which could be automatically recognized from video images of participants, have begun to be used for estimating mental states of participants. According to rapid increase of online classes, it is an urgent issue to research mental state estimations for the appropriate and effective use of video teaching materials, tablet teaching materials, etc. Knowing student’s mental states is useful for removing obstacles during learning and developing teaching methods of good creative activities, we expect that such technology improves learning environment dramatically. In this research, we aim to develop the method to estimate student’s attention state and use it for vicarious experiment for better and effi-cient education in the highly information-oriented society.Assuming the use of video teaching materials and tablet teaching materials as a learning environment, the target of the present study is the position of attention, depth of attention, frequency of attention shifts and concentration of attention. Using the electroencephalogram measurement, the change in the attention state during learning is measured, which is used as the reference (ground torus). The purpose is to estimate the attention state from facial expressions and voices and to model the relationship with attention states. For the purpose, we measure facial images and voices as well as EEG during learning. To analyze these time varying measures online, it is necessary to use high speed and performance system based on the latest AI technology and FPGA (Field Programmable Gate Array). Since improving the learning environment is more important for people with disabilities, we will consider the sys-tem for people with visual/hearing impairments in this study. Vicarious experience of cognitive experience of persons with disabilities can be expected to make a great contribution not only to learning but also to support for and to communicate with persons with disabilities.Exploratory Research DivisionDevelopment of the education support system with estimation of attention states萌芽研究部 注意推定による教育支援システムの実現
元のページ ../index.html#75