上海智能教育研究院(实验室)2023年工作巡礼(五)| 智能特殊教育团队

有教无类体现教育公平的理念,义务教育和融合教育的政策是特殊儿童接受高质量的合适教育的保障,新技术让特殊儿童克服身体结构和功能限制、突破学习障碍成为现实。智能特殊教育团队以神经发育障碍儿童为重点研究对象,实现特殊儿童病理机制、智能诊断和干预研究,解决孤独症个体、家庭和社会关注的痛点。

团队本年度主要聚焦于构建孤独症儿童多模态智能辅助诊断系统,以国际权威诊断指南为准绳,研发适合人工智能技术的无感化、多模态行为数据采集设备、场景与规范,构建高敏感性与特异性、高效率的孤独症儿童多模态辅助诊断指标,取得了系列进展与成果:搭建无感化、多模态儿童行为采集实验室

搭建无感化、多模态儿童行为采集实验室

目前对孤独症的诊断主要基于对其核心症状的行为评估。在对孤独症儿童行为智能分析的过程中,面临着“过于人为的实验环境,儿童表现不自然”、“儿童自然表现复杂化,人工智能识别难”等问题。如何构建对儿童和人工智能技术双友好的实验环境是首先要解决的问题。智能特殊教育团队搭建了无感化、多模态儿童行为采集实验室。实验室支持多机位高清RGB、深度摄像头、全方位监控,支持脑电和听力测试等多模态的数据采集。

构建两大测试场景,挖掘系列辅助诊断指标

在孤独症儿童行为智能分析中,通常会面临着“测试从单一维度进行,测试结果出现不全面”、“数据分析数量大、时间长,指标体系过繁杂”的问题。如何在多场景的自然互动中采集关键行为数据,进一步挖掘有利于辅助诊断的指标同样是重点问题。

针对孤独症儿童的核心症状特征设计了“孤独症儿童社交沟通智能观测”和“亲子自由游戏”两大测试场景及流程,在自然情景下人际互动中采集儿童视线、动作、发声、表情等关键行为数据,设计《儿童社交互动中视线模式标注规范》、《儿童沟通性手势标注规范》、《儿童沟通性发声标注规范》和《汉语儿童口语分词及词性标注规范》。挖掘出视线反应时长、视线离散度、社交互动夹角、异常发声比例、非沟通性发声比例等一批具有探索前景的诊断与评估指标,并利用计算机视觉、自然语言处理等技术进行了智能化路径探索,运用人工智能技术为孤独症儿童的诊断与评估赋能。团队负责人刘巧云教授在第九届“全国教育实证研究论坛”对团队研究进行了专题报告。

建立孤独症智能辅助诊断项目合作联盟

华东师范大学智能教育研究院“孤独症儿童多模态智能辅助诊断系统”项目正式启动后。项目团队同中国科学院计算技术研究所智能信息处理重点实验室团队、华东师范大学软件学院团队建立技术合作联盟。同上海市儿童医院、重庆医科大学附属儿童医院、嘉兴市阳光乐园、上海市长宁区妇幼保健院建立战略合作,并在相关单位搭建实验场地,进行项目实验及试点试用。

主办多模态儿童语言康复论坛

2023年11月25-26日,第三届“多模态儿童语言康复论坛”在上海顺利举行。来自教育、卫生、民政、残联等单位的140余名代表参会。在第二届“多模态儿童语言康复论坛”上建立的“儿童语言康复研究与实践共同体”24家单位也参与了本次论坛。论坛围绕着儿童语言康复理论与实践研究共同体建设进展、儿童语言康复案例研讨、人工智能技术在儿童语言康复中运用等主题展开。会议现场,发育行为儿科医生、儿童语言康复工作者、认知神经语言学研究者、自然语言算法研究者等围绕儿童语言康复的临床关键问题、人工智能技术如何重塑儿童语言康复、赋能儿童语言康复进行了深入研讨。

6-6.jpg    6-7.jpg

6-8.jpg    6-9.jpg


研究获省部级以上科研项目立项

智能特殊教育团队2023年成功申请省部级以上纵向科研项目1项,博士后科学基金面上项目2项。瞿璐老师获上海市超级博士后。

Copyright © 2025 华东师范大学上海智能教育研究院  华东师范大学智能教育实验室