作者：石霖、孙小童（中国信息通信研究院人工智能研究所安全部主任、工程师）

　　新一代人工智能的快速发展与应用，深刻改变了科技的发展形态和产业的运作模式，加快了新一轮科技革命和产业变革的信息化、数字化、智能化进程，为各行各业乃至整个经济社会带来前所未有的变革机遇。然而，技术是一把双刃剑，发展红利释放的同时，风险挑战亦日益加剧。算法偏见、数据滥用、隐私泄露、虚假信息乃至技术失控等风险呈现持续增长态势，不仅可能扰乱经济社会秩序，甚至可能对国家安全和国际秩序构成威胁。为此，习近平总书记在中央政治局第二十次集体学习时指出，要把握人工智能发展趋势和规律，加紧制定完善相关法律法规、政策制度、应用规范、伦理准则，构建技术监测、风险预警、应急响应体系，确保人工智能安全、可靠、可控。其中，“安全”是底线要求，“可靠”是稳定保障，“可控”是主导前提，三大目标相互关联、层层递进，共同构成了覆盖人工智能全生命周期风险防控策略。

　　人工智能带来的风险和危害

　　人工智能技术在推动生产力革新的同时，正从技术内核与应用外延两个维度对经济社会安全体系形成系统性挑战，构建技术监测与风险防控体系已成为维护国家战略安全的必然要求。

　　人工智能技术内核风险集中于数据与算法层面。数据层面，训练数据若含偏见或遭恶意“投毒”会导致模型输出偏差，这一风险在医疗健康领域尤其显著。国际医学期刊《自然医学》发文称，只需将少量训练数据替换为经过精心设计的医疗错误信息，就可以显著提高模型生成有害医疗建议的概率，危及患者安全。算法层面，前沿大模型因规模与复杂度提升导致运行机制不可控风险，例如Ope-nAI的GPT-3模型因训练算法奖励分配失衡，多次拒绝执行自我关闭指令，暴露出关键领域应用时的决策失控隐患。

　　在应用外延层面，技术滥用带来从个体安全到社会稳定的连锁冲击。个人与组织层面，“换脸”“变声”等深度伪造技术已成为诈骗、身份盗窃的常见工具。国家与社会层面，一方面，虚假信息逐渐污染网络空间，给社会舆论造成直接冲击。2024年西藏日喀则地震期间，AI生成的“儿童被压废墟”图片被恶意拼接传播。美国加州山火期间，“好莱坞燃烧”的AI生成视频广泛转载，引发公众恐慌与信息混乱。另一方面，人工智能的广泛应用造成传统行业工作岗位被替代、特殊群体就业难度上升、新兴就业形态制度保障不足等问题涌现，我国稳住、提升就业基本盘面临现实考验。此外，人工智能已被用于武器装备，可能打破传统安全平衡，需从总体国家安全观高度审视技术军事化风险。

　　人工智能技术与应用风险的交织叠加，已超越技术问题范畴，成为关乎国家主权、社会稳定与人类命运的战略议题，迫切需要以全生命周期管理思维构建风险防控体系。

　　技术手段在风险防控中的作用

　　人工智能风险的技术属性，决定了需以技术手段作为防控核心支撑，通过构建“监测—预警—处置”的闭环机制，实现风险的源头治理与动态应对。从风险生成机制看，数据污染、模型漏洞、算法偏差等问题本质上是技术缺陷的外化，关键在于通过全链条监测技术精准定位风险源并即时预警，再借助自动化工具完成快速响应处置，形成从风险识别到化解的完整防控链路。

　　当前可应用的技术工具已形成多维度体系。数据环节，智能数据清洗平台可自动识别敏感信息并实施脱敏处理，异常值检测算法能过滤噪声数据，及时发现“投毒”行为；模型环节，模型安全对齐技术通过引入对抗训练或优化基于人类反馈的强化学习策略，可原生确保大模型输出内容符合人类价值观和政策法规要求，还可以极大提升抵御提示词攻击、越狱攻击的能力；应用环节，深度伪造检测技术可识别虚假音视频，有效推动内容治理。这些技术工具的协同运用，构成了覆盖数据生产、模型训练、应用部署的全周期防控网络，为风险防控提供了量化支撑与决策依据。

　　构建有效的人工智能风险防控体系

　　一是以技术创新筑牢安全底线。当前我国人工智能产业链仍存短板，相关报告显示，截至2024年我国AI芯片自给率为34%，在尖端模型研发上仍落后于美国，关键技术自主可控任务紧迫，亟须以“全链条攻坚”思维突破技术瓶颈。一方面，聚焦高端芯片设计、类脑计算架构、分布式训练系统等关键领域，鼓励“揭榜挂帅”，推进建立从基础研究到应用开发的协同攻关机制；另一方面，重点提升对抗样本防御、模型安全对齐、数据“投毒”检测等核心安全能力，实现前沿安全技术自主创新和落地应用，从技术创新源头构建安全防线。

　　二是以技术体系夯实可靠保障。人工智能应用引发的深度伪造、算法歧视等新型风险持续显现，亟须形成“测—防—管”三位一体的人工智能安全技术体系。其中，“测”是指通过红队测试、安全扫描等方式对人工智能基础设施、模型算法、应用平台开展全面“体检”，挖掘脆弱点及漏洞；“防”是积极采用模型安全对齐、安全护栏等技术手段，持续开展模型安全加固，检测系统输入输出的内容，提升模型防范各类提示词攻击、越狱攻击的能力，降低或规避违规有害信息以及敏感信息泄露；“管”是不断跟踪研究国内外最新政策法规、标准规范及安全框架，以人工智能技术应用主体为单位，建立完善风险管理体系和应急响应机制，持续做好安全运营，及时处置各类安全风险。

　　三是以技术生态实现可控目标。构建人工智能安全生态需同步强化“软能力”与“硬能力”，软能力层面，充分发挥工信部人工智能标委会、中国人工智能产业发展联盟优势，积极开展技术交流，加快标准研制，引导企业签署人工智能安全承诺，披露安全实践，提升产品透明度，增强用户信心；硬能力层面，需建设人工智能安全公共服务平台，面向全社会，特别是中小企业提供测试评估、安全加固等共性基础服务，建设运营人工智能漏洞库，持续监测、验证和通报预警人工智能安全威胁。通过软硬能力协同，推动形成政府引导、企业主体、科研支撑的技术生态，实现人工智能发展的可控性。

　　当前我国人工智能大模型展现出强大的通用性、适应性和朝更高效、更智能、更便捷方向发展的趋势，唯有将技术监测与风险防控嵌入全生命周期管理，才能实现从“技术可控”到“发展可信”的跃升。站在国家战略高度，应统筹发展和安全，加快构建自主可控的人工智能安全技术体系，既要以技术创新破解“卡脖子”难题，又要以风险防控筑牢国家安全屏障。未来，随着人工智能不断迭代升级，需持续更新风险防控策略，在技术革新与安全保障的动态平衡中，推动人工智能更好地服务于经济社会高质量发展，为中国式现代化注入安全可靠的智能动力。