小型高端品牌交流活动——青少年人工智能安全与发展前瞻研讨会在京举办

由中国科协立项支持、中国网络空间安全学会主办的小型高端品牌交流活动——青少年人工智能安全与发展前瞻研讨会10月17日在中国科技会堂举办，20余位来自教育界、科研机构及产业界的一线专家围绕相关议题开展交流研讨。本次活动聚焦人工智能深度融入教育背景下，青少年能力发展与安全保护的现实需求，着重辨析技术应用与认知发展之间的复杂关系，探索教育实践、技术研发与安全保障协同推进的路径。中国科学院软件研究所冯登国院士担任执行主席，北京理工大学特别研究员王亚杰担任学术秘书。

研讨会设三个主旨报告。复旦大学钱振兴教授围绕青少年判断力培养，提出“以技术制衡技术”的思路，即通过生成内容溯源追责、真伪检测与事实核查、输入输出安全围栏、判断力训练智能体、隐私保护助理和反迎合智能体等方式，应对AI融入教育带来的现实挑战，同时借助启发式提问、质疑与验证，引导青少年养成独立思考、自主判断的习惯。中国科学院信息工程研究所陈恺研究员重点分析了青少年使用AI面临的安全风险，介绍了对抗攻击、模型后门、数据投毒、越狱和提示注入等技术问题，展示了AI风险由数字空间向具身交互和现实环境延伸的可能性，提出应从教育引导、监管约束、平台治理和技术防护等方面协同构建安全防线。北京瑞莱智慧科技有限公司高级副总裁朱萌结合“一人指挥一支AI团队”的企业实践，提出教育应面向未来，培养能够“定方向、分任务、把关口”的“掌舵人”。她认为，随着重复性执行任务逐步由AI承担，人的价值将更多体现于理解目标、组织协作、判断结果和承担责任。教育应在夯实学科基础的同时，着重培养学生定义问题、分配任务、检验结果和承担责任的能力。同时，应根据任务性质明确AI辅助与自主完成的边界，让学生学会指挥AI，保留独立思考和自主决策能力。

自由交流环节，专家们围绕AI进入教育带来的变化、现实问题及应对思路展开讨论。冯登国院士指出，人工智能正在成为影响网络空间安全的关键变量，AI技术体系面临多维度、多层次的安全风险。教育AI的安全问题同样涉及数据、内容、认知、心理及具身交互等多个方面，需要结合青少年成长特点和具体应用场景，研判风险、明确防护边界。北京市第十三中学校长唐挈指出，不能将借助AI完成任务等同于学生自身能力的提升，也不能把任务完成速度作为唯一评价标准，应保障学生充分经历思考、表达与实践的学习过程，在夯实基础知识的同时培养面向未来的能力。清华大学段海新教授结合文献溯源、实验验证和教学评价案例，强调追查原始依据、解释求证过程及保持独立解决问题能力的重要性。蚂蚁数字科技CTO闫莺认为，教育AI需要面向行业场景开展专业化设计，统筹模型、服务与应用全链路安全，并根据学生需要掌握的能力调整AI介入程度。中国教育技术协会副会长曾德华指出，应推动人工智能与学科教育深度融合，建议发挥学会的组织作用，联合中小学、高校、科研机构与企业，研究编制青少年AI应用伦理和安全素养指南，探索形成相关团体标准。

经过深入研讨，与会专家形成诸多共识。一是坚持育人为本，将青少年的主动学习与真实成长作为AI教育应用的出发点。尊重学习的主动建构过程，保障学生充分经历阅读、思考、试错与实践，将学生主体性、教师主导性和成长过程性落实到教学设计与评价之中。二是把独立判断作为AI时代的重要能力，推动学生从接受答案走向质疑求证。通过追问依据、查验原始来源、比较证据和实验验证，培养证据意识、信息核验能力与批判性思维。对于超出学生核验能力的内容，教师与系统应提供必要支持，明确使用条件与辅助边界。三是面向工作方式与技术环境变化，培养能够组织人机协作、解决真实问题的复合能力。以扎实的学科知识为基础，根据年龄、学段与任务设计实践活动，确保关键决策、解释与反思由学生自主完成，避免将思考和成长过程外包给工具。四是将安全防护与能力训练结合起来，探索判断力训练智能体和反迎合智能体。借助启发式交互、仿真环境和过程式测评，使学生在可控条件下开展质疑、验证与试错，让安全素养成为可教、可练、可评价的实践能力。五是统筹技术保障、学校管理和家庭指导，推动教育AI安全要求落地。关注数据、内容、认知、心理及具身交互风险，强化模型、数据、服务与应用全链路安全，完善学校AI使用记录、数据管理和家校指导，探索覆盖准入评估、持续监测、风险处置和退出的管理机制，明确各方责任。六是发挥学会跨领域组织优势，推动研讨成果向指南、标准和实践资源转化。联合学校、科研机构与企业，探索编制青少年AI应用伦理和安全素养指南及相关团体标准，明确自主使用、指导使用和限制使用的具体情境，为学校教学、家庭指导和企业产品设计提供参考。

会后，专家们赴清华大学附属中学实地考察，进一步了解科技教育实践与学校需求。

中国科协科学技术创新部 供稿