论文阅读笔记   2023.10.12

文献题目

The effect of virtual reality learning on students' motivation: A scoping review

虚拟现实学习对学生学习动机的影响：一项研究综述

文献作者

Juming Jiang 1 | Luke K. Fryer2

期刊信息

Journal of Computer Assisted Learning

（Received: 17 January 2022， Revised: 7 September 2023， Accepted: 24 September 2023    DOI: 10.1111/jcal.12885）

关键词

motivation, novelty effect, virtual reality learning（动机，新奇效应，虚拟现实学习）

创新点

许多研究调查了虚拟现实学习对学生教育技术成果的影响。关于在复杂和多方面的在线虚拟现实环境中有效调整相关学习和动机理论以设计可持续教学的研究仍然相对缺乏。因此，本研究着重于探讨虚拟现实的新奇效应如何被有效克服（动机理论如何用于指导设计虚拟现实应用程序的过程，和/或将虚拟现实整合到学习活动中的过程）

研究背景

新冠肺炎疫情极大地影响了教育，需要传统面授教学的替代方法。这一巨大变化，加上人们对元宇宙人类可以在其中学习、工作和社交的虚拟现实（VR）世界——的认识不断提高，显然需要更好地理解基于VR的模拟环境对学生学习成果的潜在贡献。

研究方法

  解释性范围审查方法

研究目的

 解答三个关于虚拟现实体验对学生学习动机影响的研究问题：

RQ1.在虚拟现实学习中，有哪些方法可以排除新奇效应？RQ2.有哪些动机理论被应用于指导VR学习内容的开发？RQ3.有哪些动机理论被用来指导虚拟现实在学习活动中的应用？

研究目标

1.探讨高等教育中不同动机水平的学生的概念，包括参与的参与者、地点、学科领域、技术、信息器具、对象、活动、情绪和态度，以及他们自发表达中最常提到的关键词。

2.考察不同学习动机水平的学生的成长心态、学习态度和自我效能感。

研究过程

根据阿克西和欧玛利（2005）描述的框架，本文献综述选择了解释性范围审查方法。进行范围审查的目的是检查研究活动的程度、范围和性质，并确定进行全面系统审查的价值。通过总结和传播感兴趣的研究发现，可以在现有文献中确定研究差距。总共包括五个阶段：（1）确定研究问题；（2）识别相关文献；（3）文献选择；（4）制图数据；以及（5）整理、总结和报告结果。

研究结果

 大多数纳入的研究表明，学生的动机在虚拟现实干预后有所增加或高于其他教学条件。然而，纵向研究设计的缺乏意味着不能排除VR学习中的新奇效应。讨论了研究设计和理论框架中的知识差距。

以往关于虚拟现实学习如何以及为什么提高学生学习动机的研究：（1）缺乏真正的纵向研究；（2）缺乏理论框架指导。

大多数研究在开发虚拟现实学习内容时没有考虑动机理论，而是倾向于依靠虚拟现实的沉浸式特征来激励学生。

研究局限

由于文章搜索和选择策略的标准，本综述不够全面。

1.具体来说，将文章的发表年份限制在2016年之后，这一年是Oculus Rift和HTC Vive等最受欢迎和最实惠的VR设备发布的一年。从那以后，虚拟现实学习研究变得相对容易进行。然而，虚拟现实在教育中的应用比那要早得多。2.我们将文章限制为同行评审的期刊文章，只是为了确保纳入文章的质量。如果仔细选择，会议记录和论文也可以提供有意义的证据。像Springer和ERIC这样的数据库也应该用来搜索文章。关于这一主题的未来审查可以扩大纳入标准的范围，以提供本研究中讨论的问题的更广泛的图片

研究建议

1.未来的研究希望表明动机的增加不是由技术的新颖性引起的，测量干预后参与者对技术新颖性（即虚拟现实）的感知，那么在需要分析数据时控制新颖性对动机的影响。

2.提高学生虚拟现实学习动机的两种方案：

（1）首先，创造满足学生基本心理需求的学习内容，从而提高学习活动的内在动机。具体而言，可以通过插入有意义的选择来满足自主的需要；对能力的需求可以通过即时反馈或与努力相关的表扬来满足；关联性的需要可以通过与智能教学代理或虚拟世界中其他学生化身的社会互动来满足。

（2）考虑到创建学习内容对于未经培训的教师来说也可能是困难的，以支持自主的风格呈现虚拟现实学习材料，教师例如不使用控制词，提供虚拟现实学习的选择和基本原理，等等。（教师可以创造有利于理解的环境，如基于项目的学习、合作小组工作和一对一的辅导）

心得体会

文章立足于VR技术对学生的学习动机影响，不同于以往肯定虚拟现实对学习动机的肯定作用，提出新奇效应对学习动机的影响，目前对于这一方面的研究还比较欠缺，可以从这方面入手进行研究。

论文阅读笔记   2023.10.14

文献题目

A review on data fusion in multimodal learning analytics and educational data mining

多模态学习分析与教育数据挖掘中的数据融合研究进展

文献作者

Wilson Chango1 | Juan A. Lara2 | Rebeca Cerezo3 | Cristobal Romero4

期刊信息

WIREs Data Mining and Knowledge Discovery（Received: 1 February 2022  Revised: 12 March 2022  Accepted: 15 March 2022   DOI: 10.1002/widm.1458）

关键词

data fusion, educational data science, multimodal learning, smart learning（数据融合，教育数据科学，多模态学习，智能学习）

阅读收获

• 多模态学习分析multimodal learning analytics (MLA)：这种方法基于捕获、整合和分析不同来源的教育数据，这些数据共同提供了对学习过程的整体理解。在教育环境中的多模态交互过程中，新的数据收集和传感技术使得获取大量关于学生活动的数据成为可能。这些技术包括计算机活动的记录、可穿戴相机、可穿戴传感器、生物传感器（例如，允许测量皮肤电导率、心跳和脑电图）、手势传感、红外成像和眼睛跟踪。
• 教育数据挖掘（EDM）Educational data mining (EDM)：将数据挖掘（DM）技术应用于来自教育环境的特定类型的数据集，以解决重要的教育问题。
• 学习分析（LA）Learning analytics (LA)：可以定义为测量、收集、分析和报告关于学习者及其背景的数据，目的是理解和优化学习及其发生的环境。

心得体会

多模态指从混合的多个评价指标中获取数据。

多模态教学指使用多种不同的数据模态（文本、图像、音效、视频）、不同的感官模式（触、听、视、嗅、味）来描述和表达信息。

论文阅读笔记   2023.10.21

文献题目

基于多模态数据的大学生认知深度评价框架构建及应用

文献作者

范福兰１，李韩婷１，戚天姣２，梅　 林３，雷雪英１

期刊信息

范福兰,李韩婷,戚天姣等.基于多模态数据的大学生认知深度评价框架构建及应用[J].现代远距离教育,2023(03):57-65.DOI:10.13927/j.cnki.yuan.20230630.001.

摘要

  提高学生课堂认知深度是本科教育高质量发展的核心目标，如何对认知深度展开科学评价是关乎此目标达成的关键，也是深化本科课程教学改革的迫切需求。 为此，首先基于经典认知深度评价理论，结合新兴多模态数据分析技术，搭建大学生认知深度多模态评价框架。其次，基于此框架开展实证研究：以 Ｚ 高校教育技术专业课程“ 学习科学与技术” 为例，通过智能录播系统、在线学习平台等工具从多维学习空间采集主题讨论、自我反思、 思维导图、课堂问答、头部姿势等多模态学习数据，采用机器学习方法处理并分析学习数据，综合评价学生认知深度并进行反馈。 结果显示，多模态数据支持的评价更能准确地反映学生认知深度，具有显著的以评促学效能，最佳数据源是自我反思、思维导图和课堂问答。

关键词

认知深度；多模态数据；学习评价

研究目的

• 着重解决如何在常态化教学环境中动态 捕获并分析学习过程中的多模态数据的问题，继而开展大学生认知深度评价。

研究背景

 当前认知深度评价以问卷调查和测试等 方式为主，形成的数据模态较为单一，存在评价结果 准确性不高等问题。 多模态数据支持的学习评价具 有动态性、空间多维性、高准确性，为认知深度评价提 供了 新 思 路， 但 存 在 忽 视 线 下 学 习 数 据 的 采 集 与 挖 掘、对学习空间和采集设备要求较高等问题，在常态 化教学中运用受限。 如何在常态化教学环境中动态 捕获并分析学习过程中的多模态数据，继而开展大学 生认知深度评价，是当前亟需解决的问题。

研究方法

1. 基于经典认知深度评价理论，结合新兴多模态数据分析技术，搭建大学生认知深度多模态评价框架。
2. 基于此框架开展实证研究：以 Ｚ 高校教育技术专业 课程“ 学习科学与技术” 为例，通过智能录播系统、在线学习平台等工具从多维学习空间采集主题讨论、自我反思、 思维导图、课堂问答、头部姿势等多模态学习数据，
3. 采用机器学习方法处理并分析学习数据，综合评价学生认知深 度并进行反馈。

研究目标

在经典认知深度评价理论的基础上，搭建基于多模态数据技术的大学生认知深度评价框架，并将其应 用到本科课堂认知深度评价研究中，通过采集、处理 与分析学习过程中的多模态数据，探明大学生认知深 度多模态评价路径及评价框架的运用效果。 以此，可 为教师及研究者开展大学生学习评价改革、充分发挥 评价对学习的促进作用提供借鉴与参考。

研究过程

1. 构建评价框架：充分考虑日常教学中可利用的智能感知设备及便于采集的学习数据类型，构建常态化教学环境下基于多模态数据的大学生认知深度评价框架。

2. 评价框架结构解析：

1. 认知深度粒度解析

（认知深度评价三维度模型）

2. 多模态数据类型及其表征

3. 多模态数据处理与分析

数据预处理、数据编码与挖掘、数据分析与呈现

3. 实践

实践被试：武汉市 Ｚ 高校 ２０２０—２０２１ 学年第二学期教育 技术专业课程期末考试平均成绩为检验数据，进行独 立样本 ｔ 检验，选取成绩不存在显著差异且人数相同 （３６ 人）的两个本科班级的学生参加本次实验，将 Ａ 班作为实验组，将 Ｂ 班作为对照组。

自变量：认知深度评价实施策略

因变量：学习成效（课程实践成绩、综合表现成绩和期末测试成绩）

无关变量：授课教师、 教学内 容 及 教 学 过 程 等

实验过程：数据采集（智能录播系统）——数据处理与编码

研究结果

 框架应用效果：

1. 采用线性回归、Ｋ 近邻回归、岭回归、决策树等九 种回归分析算法，检测多模态数据和单模态数据对学 业成效的预测情况，基于多模态数据的评价框架能更准确评价 大学生认知深度水平。
2. 将大学生混合式学习评 价框架的线下学习数据、线上学习数据和学习绩效三 个维度的综合分数作为衡量学业成效的指标，将实验 组和对照组的分数进行独立样本 ｔ 检验，基于多模态数据的大学生认知深度评价框 架具有显著的以评促学效能。
3. 采用极端随机森林、决策树、随机森林等回 归算法，评估多模态学习数据各项数据源对认知深度 的评价性能，大学生认知深度评价的最佳数据源是自我 反思、思维导图和课堂问答。

研究局限

由于研究样本较小，导致无法使用精度更高的深度学习方法。

研究建议

研究将以认知深度理论为指导， 关注多模态数据挖掘技术与特征提取方法，进一步探 索深度学习中的小样本学习方法，深入研究基于多模 态数据的大学生认知深度评价框架与体系，更为全面 精准地评价学生认知深度。

心得体会

 这篇文章主要研究目的是为了提高学生课堂认知深度，探讨了多模态数据在认知深度评价中的应用。通过结合经典认知深度评价理论和新兴多模态数据分析技术，建立了大学生认知深度多模态评价框架。该框架可以综合评价学生的认知深度，并为其提供反馈。实证研究以“学习科学与技术”课程为例，采集了多模态学习数据，包括主题讨论、自我反思、思维导图、课堂问答和头部姿势等，并采用机器学习方法处理和分析数据。结果显示，多模态数据支持的评价更能准确地反映学生认知深度，具有显著的以评促学效能。因此，多模态评价可以成为深化本科课程教学改革的工具，促进学生的认知深度发展。

论文阅读笔记   2023.11.01

文献题目

Multimodal data as a means to understand the learning experience

文献作者

Michail N. Giannakosa,, Kshitij Sharmaa, Ilias O. Pappasa,c, Vassilis Kostakosb, Eduardo Vellosob

期刊信息

Giannakos等, 《Multimodal Data as a Means to Understand the Learning Experience》.

International Journal of Information Management 48 (2019) 108–119.

摘要

  摘要：Most work in the design of learning technology uses click-streams as their primary data source for modelling & predicting learning behaviour. In this paper we set out to quantify what, if any, advantages do physiological sensing techniques provide for the design of learning technologies. （what：量化生理传感技术为学习设计提供了哪些优势？）We conducted a lab study with 251 game sessions and 17 users focusing on skill development (i.e., user"s ability to master complex tasks). We collected click-stream data, as well as eye-tracking, electroencephalography (EEG), video, and wristband data during the experiment. （how：收集的生理传感技术数据种类）Our analysis shows that traditional click-stream models achieve 39% error rate in predicting learning performance (and 18% when we perform feature selection), while for fused multimodal the error drops up to 6%. （result：融合的多模态使得点击流模型在预测学业表现时，错误率从39%降到6%）Our work highlights the limitations of standalone click-stream models, and quantifies the expected benefits of using a variety of multimodal data coming from physiological sensing. （强调独立点击流模型的局限性，并量化了使用来自生理传感的各种多模态数据的预期好处。）Our findings help shape the future of learning technology research by pointing out the substantial benefits of physiological sensing.

关键词

Human learning， Multimodal learning analytics ，User-generated data Skill acquisition ，Multimodal data ，Machine learning

研究贡献

1. present insights from a controlled experiment that collected five different data-streams during a basic user/learner–computer interaction task. （在完成任务过程中收集五种不同的数据流）
2. We show that multimodal data-streams have the capacity to give more accurate prediction of users’ skills acquisition compared to traditional click-stream models. (多模态数据流能够更准确地预测用户的技能获取情况)

（3）We identify the physiological features that best predict skill development. (确定生理特征最能预测技能发展）

（4） We discuss how our findings can be used to design future learning technologies, as well as to advance research in the area of learning technologies.”（讨论用研究成果来设计未来学习技术） (Giannakos 等, 2019, p. 109)

研究目的

 s paper builds on prior work on MultiModal Learning Analytics (MMLA) and attempts to shed light on the capacity of learnergenerated data, beyond clickstreams, to explain learning.” (Giannakos 等, 2019, p. 109)

“Typical examples of such multimodal data (or MultiModal Learning Analytics – MMLA, as literature refers to them) include audio, video, electrodermal activity data, eye-tracking, user logs and click-stream data to name a few (Blikstein and Worsley, 2016; Prieto et al., 2018).” (Giannakos 等, 2019, p. 109)

试验方法

developed a time-tested game that has been used to measure specific skills (motor skills) in the past (Nicolson and Fawcett, 2000). Thus, we developed a Pac-Man game following all the game play elements and giving 3 lives for each session (see Fig. 1). The game was controlled by the 4 arrow buttons of the keyboard and was developed to log every keystroke of the user. The difficulty of the game increased from one session to another.(Giannakos 等, 2019, p. 111)

被试

“We recruited a total of 17 healthy participants (7 females) aged between 17 and 49 years (mean = 32.05, SD = 8.84). Participants were recruited from the participant pool of a major European university. Participants were familiar with the game, but none of them had played the game in the previous 2 years. Prior to completing the tasks, participants were informed of the purpose and procedure of the experiment and of the harmlessness of the equipment. Participants were given a movie theater ticket upon completion of the study.” (Giannakos 等, 2019, p. 111)

试验过程

“The participant wore the wristband and EEG cap, and connected and then calibrated all the data collection devices (i.e., eye-tracker, wristband, EEG, cameras). （设备）The eye-tracking, EEG and the wristband data streams were calibrated using the standard practices. The eye-tracker was calibrated using a 5-point calibration process; the EEG data was calibrated using the ENOBIO EOG correction mechanism. The researcher explained the mechanisms of the game and the respective keystrokes, double checked the data collection devices, and exited the room. The participant had approximately 40 min to master the game and achieve a score that was as high as

Possible.”(Giannakos 等, 2019, p. 111)

设计流程：

“The research design of our study is a single-group time series design”

“Each participant played on average 16 game-sessions (SD = 7), until their allocated time ran out. Each game-session started with 3 lives and ended when the participant lost all the three lives. For each level in a game-session, the speed of the ghosts increased. Fig. 3 presents the protocol of our experiment. Each participant was shown a 5-s break before starting each session, then completed 2–3 min of game-play, and then had a 2–3s reflection period while looking at their game score (Fig. 4).” (Giannakos 等, 2019, p. 111)

数据收集方法：

“we captured participants’ achieved score for each game session. In addition, we collected sensor data from five different sources: keystrokes (representing click-stream data), eye-tracking, EEG, video, and wristband (with sensors for heart-rate, blood-pressure, temperature and electrodermal activity levels).” (Giannakos 等, 2019, p. 112)

“Video – Given the fact that we expected participants to exhibit minimal body and gesture information during the study, video recording focused on their face. We use a Logitech Web cam capturing video at 30 FPS. The webcam focus was zoomed 150% onto the faces of participants. The video resolution was 640 × 480.” (Giannakos 等, 2019, p. 112) 视频——鉴于我们期望参与者在研究过程中展示最少的身体和手势信息，视频记录集中在他们的脸上。我们使用罗技网络摄像头以每秒30帧的速度捕捉视频。网络摄像头的焦点被放大150%到参与者的脸上。视频分辨率为640 × 480。

研究结果

in the face-video data-stream we identified important features that relate to jawline measures, mouth opening, and eyes opening. These features relate to affective states. In affective computing, and in particular affective learning technologies (Kapoor and Picard, 2005; Whitehill et al., 2014), these states have been used to create affective instructional strategies (Bosch et al., 2015). Such strategies can offer valuable information in advancing learning technologies (Bosch et al., 2015; Wiggins et al., 2015; Rana and Dwivedi, 2017), such as providing information that a user is engaged or delighted with the current task.” (Giannakos 等, 2019, p. 116)

“Wristband – To record arousal data we use the Empatica E4 wristband. Participants wore the wristband on the non-dominant/nonplaying hand. Four different measurements were recorded: (1) heart rate at 1 Hz, (2) electrodermal activity (EDA) at 64 Hz, (3) body temperature at 4 Hz, and (4) blood volume pulse at 4 Hz.” (Giannakos 等, 2019, p. 112) 腕带——为了记录唤醒数据，我们使用Empatica E4腕带。参与者将腕带戴在非惯用/非游戏手上。记录了四种不同的测量：（1）1 Hz的心率，（2）64 Hz的皮肤电活动（EDA），（3）4 Hz的体温，和（4）4 Hz的血容量脉搏。

结果：in the wristband data-stream, the important features are mean and SD for heart rate, electrodermal activity, body temperature and blood pressure. These are features associated with users’ affective states (Slovák et al., 2014; Hassib et al., 2016). Given that the core idea is to utilize multimodal data to enhance the learning experience, one promising strategy is to identify and minimize negative affective states (e.g. frustration, confusion, boredom) through a learning technology that has the capacity to utilize learner's affective state. Our findings quantify how much benefit we can expect to gain by incorporating such measures in the design of learning systems.” (Giannakos 等, 2019, p. 116)

最终实验结果：he performance with modality fusion from eye-tracking, EEG and Video gives the optimal prediction with an error of 6% (i.e., NRMSE 0.06).” (Giannakos 等, 2019, p. 114)

“To identify if the optimal prediction is significantly greater than any other combination, we used analysis of variances (ANOVA) to test it against the second best (i.e., eye-tracking) and found a significant difference (F[1, 32] = 9.26, p < 0.05).” (Giannakos 等, 2019, p. 114) 为了确定最佳预测是否显著大于任何其他组合，我们使用方差分析（ANOVA）将其与第二最佳预测（即眼球追踪）进行了测试，并发现了显著差异（F[1，32]=9.26，p<0.05）。

可以多方结合降低错误率并且也可以降低成本：aking into consideration both the technical difficulty and the high cost for the EEG and eye-tracking data collection, it is understandable why many studies in learning technology shy away from them. Nevertheless, researchers do not need to invest in expensive equipment and procedures to improve their models. Our results show that by simply combining data from the web camera and keystrokes can lead to an improved error rate (i.e., 15% error). Additionally, if a physiological wristband is available, then combining the web-camera with a wristband device like Empatica can reduce the error to 12%. While these approaches we recommend here may not achieve the optimal error rate of 6%, they are significantly convenient from a technical standpoint and do improve performance.” (Giannakos 等, 2019, p. 114) 。

研究局限

 findings speak in favor of collecting eye-tracking and EEG data to predict learner performance (in our case skill development), but are subject to certain limitations. Our study participants – undergraduate and graduate students – represent an appropriate sample for a study on learning technologies (covering the higher education population), but are less representative of the population of K-12 schools (e.g., classroom learning), lifelong learning and learning in workplace who rely heavily on learning systems as well. Moreover, the study was performed in a controlled environment, which may have induced demand characteristics that affect the ecology of the study (e.g., participants’ performance and behavior). Specifically, participants were aware of the multimodal data collection since they signed a detailed consent form, which may have led to increased apprehension and desire “to perform”. Nonetheless, the population represents a large part of the learning technology end-users and the data collections are of very high quality and accuracy utilizing state of the art equipment.” (Giannakos 等, 2019, p. 116)

心得体会

 研究介绍了多模态数据在理解学习体验中的应用，包括机器学习和人类学习的融合。文章指出，多模态数据可以提供更全面的学习体验信息，包括用户生成的数据和技能获取情况。通过对这些数据的分析，可以更好地理解学习过程和技能掌握情况，从而优化学习技术和提高学习效果。

文章中主要用了五种方式来测量多模态数据，并且在被试在玩吃豆人游戏的过程中对他们的生理数据进行测量，对于测量方式以及测量内容进行了比较详细的阐述，可以借鉴其中的video（面部追踪）和腕带部分的实验。