【编者按】2023年,是上海智能教育研究院各项工作重点建设与稳步推进的一年,按照教育部文科实验室和上海市IV类高峰学科建设对智能教育发展的要求,在学校推进教育数字化转型的总体战略部署下,上海智能教育研究院(实验室)围绕建设目标,结合人工智能及大模型技术的发展趋势和新机遇,在科学研究、人才培养、社会服务和国际交流等方面均取得了突破,各科研团队也在建设过程中成果丰硕。本期带来智能管理团队年度科研巡礼。
智能管理团队围绕智能技术赋能教育对“人”的影响,开展智能教育伦理风险评估理论与技术研究,构建智能教育可信评测平台,设计实施智能教育产品、系统评测和社会实验,并参与智能教育相关标准、政策的研究。
团队本年度关注大模型在教育领域应用的案例、造成的影响、可能导致的风险,及对这些影响评价的方法。组建EduTEP(Trustworthy Evaluation Platform for Education)团队,开展了大模型在教育领域的评测框架设计、综合评测以及基于大模型Agent技术的教育虚拟沙盘等研究工作,并参与了相关教育政策、标准制定,推进智能教育健康发展。
智能教育评测框架与大模型综合性能测评
为有效地发现人工智能教育工具的潜在威胁,减少人工智能工具对青少年的负面影响,EduTEP团队提出了名为CALM-EDU(Comprehensive Assessment for Large-language Model in Education)的评测框架以及相关评测数据集。
基于该评测框架,团队已发布了部分评测工作成果,如大模型在教育领域的综合性能,大模型认知偏差程度等报告。
大模型助力课堂虚拟化--EduTEP团队首推教育虚拟沙盘
为助力教育领域的研究与实践,EduTEP团队首推基于大模型的教育虚拟沙盘(GLMPSE)。教育虚拟沙盘打破传统课堂的限制,让一线教师、科研人员在不用考虑试错成本的情况下,尽情地尝试新的教学方法,寻找最佳的教学策略,提升教学质量。
目前教育虚拟沙盘已完成虚拟课堂、辩论赛、心理试验场等场景构建。虚拟课堂通过构建虚拟的教师,以及有各种性格特点的虚拟学生,从教学设计到课堂教学模拟,让老师们探索不同教学模式的效果,最后为自己的学生打造一门专属课。此外,虚拟沙盘也可以应用于辩论赛,帮助辩论队选手和老师扩展思路,收集素材,还可以应用于心理学实验。2023年,教育虚拟沙盘受到CCF-百度松果基金项目支持。
《教育通用人工智能大模型》系列团体标准前5部分在WAIC 2023发布
在2023年7月8日的世界人工智能大会智能教育主题论坛上,由华东师范大学、上海交通大学牵头的上海市人工智能行业协会团体标准《教育通用人工智能大模型》系列的前5部分正式发布,这是国内第一个教育大模型相关的标准。基于该团标的第四部分,即评测规范,EduTEP团队,与上海交大、科大讯飞、好未来等高校和企业一起,正在共同筹建教育通用人工智能大模型评测平台,为规范评测、监督大模型在教育领域的应用影响提供保障。
团队老师参与UNESCO指南发布
团队成员积极参与到联合国教科文组织人工智能与教育相关政策研究。2023年9月,联合国教科文组织(UNESCO)《Guidance on generative AI in education and research》(在教育和研究中使用生成式人工智能的指南)正式发布,团队倪琴老师作为国际专家组成员参与了指南的修订和发布。
策划“大模型人机共测”
策划大模型教育领域单项能力人机共测项目,该项目使用大、中、小学实际使用的试卷题目,对国内外主要大模型进行测试,并邀请相关课程主讲教师进行主观题打分,比较大模型和真实学生在该次考试中的成绩表现。
“大模型人机共测”目前已发布高校本科生入校计算机能力考试、高校计算机专业学生《数据结构》期末考试和学期第一次机考的评测报告,小学语数外的日常测验评测和高校人文社科专业考试评测等在策划准备中。
华东师范大学国家智能社会治理实验特色基地(教育)完成建设中期评估
2023年10月,根据中央网信办统一安排,教育部科技司组织专家组对基地进行了中期评估。评估组肯定了华东师大基地两年来的建设成效,强调了智能社会治理教育特色实验基地的建设价值,并鼓励基地加强与其他基地,尤其是华东区基地的合作学习和深入讨论,以促进更多的经验交流、知识分享,共同探讨未来的研究方向。