为孩子打造更安全的智能天地

生成式人工智能以惊人的速度渗透至社会各领域，教育界亦不例外。但是，智能学习也如同一把“双刃剑”，为教育创新带来了新的可能的同时，也会给孩子们的成长带来潜在的风险。昨天，虹口区“上海市人工智能试验区”正式启动，虹口区教育智能体导航系统“HEADS”上线，并同步发布了《虹口区学校生成式人工智能应用暂行管理办法》（以下简称《办法》）。《办法》从四个方面、三个层级对学校应用人工智能设定了标准。

根据公开信息，这是国内基础教育领域最先发布的区域层面生成式人工智能应用管理办法。此外，虹口区各校还设立了专职的“AI专员”，为智能创新者导航，也为孩子打造更安全的智能化学习环境。

智能老师不能替代孩子的“思考力”

生成式人工智能对孩子带来的潜在威胁是多维度的。“以前批改作文，眼睛累得不行，还容易漏错。”在复兴实验中学语文教师朱音看来，作文批改的智能应用确实帮了老师的大忙，具备高效的手写识别和评改功能，也帮助学生提升自主学习的能力。但年级组长丁辰坦言，AI也会带来点“小麻烦”。“我们班有位学生说不喜欢AI。他在作文开头写道：‘我家门前有两棵树，一棵是松树，另一棵也是松树。’这句话模仿了鲁迅的写作手法，但AI却建议其将文字简化为‘我家门前有两棵树，它们都是松树’，语言更加简洁，却丢失了意境。”

“两棵松树”的问题，只是虹口老师们成为AI教学“尝螃蟹者”过程中遇到的“小麻烦”之一。有的老师发现，AI解题能力很强，能给孩子“答疑解惑”，但是，有时候AI给出的解题思路和学生能力“不匹配”，有时候AI给答案太快，让学生对“解题”产生依赖，不再深入思考。

14岁以下学生使用需要教师监督

面对这些“小麻烦”，虹口区迅速响应，推出《办法》，从多个层面确保学生合理、安全使用人工智能。在学校治理与规范上，办法明确不同年龄段学生使用的规定，尤其对14岁及以下学生，要求在教师监督下使用，防止不良信息侵蚀。学校审核小组对教学资源和学习成果进行严格审查，确保内容符合国家政策、社会主义核心价值观及教育定位。

在安全与保障方面，虹口构建了区域、学校、班级三级管理和应急体系。区域层面，教育主管部门密切关注各学校设备接入数量、使用频率等整体使用状态，实时收集并分析各类安全威胁信息，并在问题出现时启动应急预案，组织专业技术团队进行深入调查和处理，及时阻断不良信息的传播。学校层面，各学校将建立精细化管理流程，针对校内生成式人工智能的使用状态进行详细记录和重点审查，一旦发现异常，启动校内应急措施，并及时上报。班级层面，班主任和任课老师在日常教学中扮演重要的监督角色，密切关注班级学生使用生成式人工智能的实时状态，重点关注学生的提问内容和回答反馈。一旦发现学生提出涉及违法、伦理等不良问题，将立即进行制止，并对学生进行教育和引导，帮助他们树立正确的价值观和使用行为观念。

各个学校将配备“AI专员”评估风险

AI时代不能因噎废食，虹口区正通过制度规范与专业支持，利用人工智能的优势，为青少年健康与成长打造科技护航的学习环境。虹口每所学校都将配备“AI专员”，为智能环境的安全、可信、高质量护航。“AI专员”拥有三种能力：评估校内智能应用风险性、专业性与有效性的能力；根据场景需求低代码搭建智能应用的能力；在各自学校中发起智能主题校本研修、扎实推动人工智能与教学过程深度融合的能力。在“AI专员”的带动下，虹口将大力推广面向全员教师的“快闪培训”。

此外，虹口区引入了“智能外脑”——“HEADS”，基于“数智虹教”云平台进行搭建，向全区师生提供一站式“安全、可信”的教育智能体应用集群，支持师生利用低代码便捷搭建教育智能体、沉淀区本知识库、积累过程行为数据。

本报记者 马丹