专家观点

陈杰院士:多无人系统协同中的人工智能安全探索

时间:2023-12-13
本站

多无人系统协同作为一项人工智能的颠覆性技术,将在空间上分布的无人系统有机连接起来,在给社会创造价值的过程中,也存在着诸多安全隐患,有可能在军事作战、产业升级、政府监管、社会治理以及伦理等多个方面给国家安全带来新的挑战。

中国工程院陈杰院士科研团队在中国工程院院刊《中国工程科学》2021年第3期撰文,阐述了统筹推进多无人系统协同赋能应用与风险防控的重大意义,提出了“四位一体”全面推进多无人系统协同安全发展的战略思路,探索了多无人系统协同在内生安全和衍生安全层面潜在的挑战与应对思路。就智能无人系统安全,文章建议,构建国家级无人系统验证平台,推动人才队伍建设;逐步深化无人系统产业“放管服”,发展新一代人工智能安全生态;充分发挥多无人系统协同的优势,赋能保障和改善民生,服务构建人类命运共同体。

“四位一体”全面推进多无人系统协同安全发展

构建多无人系统安全治理框架,与国际接轨,构筑面向多种无人系统的生态系统。立足创新驱动发展战略,落实多无人系统协同相关理论基础,提升人工智能科技创新能力,充分发挥多学科交叉融合的优势,大力发展智能多无人系统前端技术,建设智能的经济社会体系。建设安全治理法治体系,完善智能多无人系统应用相关的法律法规,建立完善的人工智能社会责任制度,实现新时代的全面依法治国。制定伦理准则,完善人工智能技术研发规范,建设与人工智能和平共处的社会,实现智能化的新时代。

(一)推进无人系统的安全生态建设

为了保障多无人系统协同中人工智能技术的健康发展,构建完善的多无人系统安全治理框架势在必行。通过国际间的交流合作,建立一套面向无人机、无人车、无人艇等多种无人系统的健全的安全评估和监管体系。强化风险把控,针对多无人系统协同技术的内生安全和衍生安全问题,构建多无人系统协同风险评估指标体系,对可能产生的危害及其程度进行评估,划分危险等级,制定相应的安全标准和对策措施,并规范评估程序。建立专门的治理机构,如多无人系统协同安全委员会,统筹管理多无人系统协同的安全发展问题,对多无人系统中的人工智能技术进行安全评估和监管,保障国家人工智能相关安全政策落实到位,并对多无人系统中的人工智能可能带来的就业、公民生命财产安全、隐私安全等社会问题开展研究,并与社会各领域进行广泛的交流与合作,提出可操作的、建设性的政策建议。

(二)推进无人系统的先进技术建设

坚持国际合作与自主创新并举,基础研究与应用落地并行。持之以恒加强多无人系统协同的相关基础理论研究,集中力量突破基础理论和相关产业的薄弱环节,前瞻性瞄准多无人系统技术的新兴方向,重点关注量子人工智能密码、联邦学习、对抗样本生成、分簇自组网技术、区块链技术等与多无人系统的架构安全、通信安全和数据安全等问题紧密相关的基础理论研究。提升人工智能科技创新能力,时刻关注国际上的多无人系统发展动向,学习先进知识和前沿技术,提升自主可控技术的创新能力,保证相关技术的安全性,进一步保障多无人系统协同中的人工智能安全。充分发挥多学科交叉融合的优势,探索多学科交叉融合的有效途径,大力发展智能多无人系统前端技术,建设智能的经济社会体系。立足走中国特色自主创新道路、坚持科技创新与制度创新协同发力、持续加强基础研究三个方面,贯彻新发展理念,彰显对加强自主可控技术与创新的信心与决心,增强自主创新能力,加快建设创新型国家。

(三)推进无人系统的法律规范建设

与时俱进制定并完善人工智能的相关政策和多无人系统协同的相关法律,坚持柔性的原则和规范化的法律相结合,构建以人工智能为特色的新法治体系,为实现全面推进依法治国,加快建设社会主义法治国家提供强力支撑。开展与多无人系统技术应用相关的民事与刑事责任确认、个人隐私安全、数据安全、产权保护等法律问题的研究,建立保障多无人系统协同技术健康发展的法律法规和伦理道德框架。建立健全问责追责制度,明确责任划分、强化责任落实,明确监管者、产品开发者和用户之间的权责关系。重点明确人工智能研究人员在人工智能安全领域的专业责任,要求其通过技术手段来保障多无人系统的安全。围绕自动驾驶、服务机器人等应用基础较好的细分领域,加快研究制定相关安全管理法规,为新技术的快速应用奠定法律基础。根据多无人系统的功能、用途和安全性,建立完善的多无人系统的分类和分级体系。加快推进技术安全标准的制定,细化指标的同时覆盖更多领域。加快国内安全技术标准与国际标准的衔接,向国际领先水平看齐。

(四)推进无人系统的社会伦理建设

多无人系统由于其频繁交互、协同作业的特点,一方面可以大幅改善人类的生活质量,另一方面也可能出现产生独立意识而不可控的安全风险。在多无人系统协同的研发过程中加入伦理设计,将人类价值观中的协同合作、利他主义等内容供其学习,使多无人系统在初始时就具备一定的道德判断能力。在实际运行过程中,该系统能够遵循人们预设的伦理道德准则,以此杜绝危害人类社会的可能性。由人工智能安全管理机构提出的具体的伦理要求,在产品研发中通过技术手段嵌入伦理道德的要素,并通过政策要求和法律规范予以落实和保障,从思想源头上遏制多无人系统中人工智能技术的可能风险,实现科学技术和人文关怀的统一,踏出人类与人工智能和谐相处的第一步。