食品
欢迎来稿
当前位置首页 > 科技新闻 > 正文

数据投毒致人工智能失控 AI杀毒软件市场尚为一片蓝海

2020-05-06 00:00 来源:科技日报 实习记者 代小佩

  一辆正常行驶的自动驾驶汽车,突然驶入了逆行车道;胸前贴一款特殊贴纸,犹如披上隐形斗篷,在监控系统中成功遁形;戴上一幅特制眼镜,轻松骗过人脸识别系统后,用别人的手机也可实现刷脸解锁或刷脸支付……

  小心,这可能是遇上了难缠的AI病毒!

  近日,清华大学人工智能研究院孵化企业推出了针对人工智能算法模型本身安全的RealSafe安全平台,据介绍,该平台可快速缓解对抗样本的攻击威胁。

  人工智能感染的是什么病毒?其安全问题有哪些特点?人工智能时代,杀毒软件如何修炼才能化作身怀绝技的病毒猎手?

  是敌又是友 对抗样本戴着双重面具

  RealSafe人工智能安全平台,是针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台,包括模型安全测评、防御解决方案两大功能模块。平台内置AI对抗攻防算法,提供从安全测评到防御加固整体解决方案。

  北京理工大学计算机网络及对抗技术研究所所长闫怀志接受科技日报记者采访时表示,上述平台目前侧重于模型和算法安全性检测与加固,可以说是人工智能算法的病毒查杀工具。

  闫怀志说,针对人工智能系统实施对抗样本攻击的这类恶意代码,常被称为“AI病毒”。对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本,会导致模型以高置信度给出一个错误的输出。

  “其实在实验室中,使用对抗样本可以检测许多训练学习类人工智能方法的分类有效性,也可以利用对抗样本来进行对抗训练,以提升人工智能系统的分类有效性。”闫怀志告诉科技日报记者。也就是说,对抗样本可以看成是训练人工智能的一种手段。

  “但是在现实世界,攻击者可以利用对抗样本来实施针对AI系统的攻击和恶意侵扰,从而演变成令人头疼的‘AI病毒’。”闫怀志表示,对抗样本攻击可逃避检测,例如在生物特征识别应用场景中,对抗样本攻击可欺骗基于人工智能技术的身份鉴别、活体检测系统。2019年4月,比利时鲁汶大学研究人员发现,借助一张设计的打印图案就可以避开人工智能视频监控系统。

  在现实世界中,很多AI系统在对抗样本攻击面前不堪一击。闫怀志介绍,一方面,这是由于AI系统重应用、轻安全的现象普遍存在,很多AI系统根本没有考虑对抗样本攻击问题;另一方面,虽然有些AI系统经过了对抗训练,但由于对抗样本不完备、AI算法欠成熟等诸多缺陷,在对抗样本恶意攻击面前,也毫无招架之力。

  对训练数据投毒 与传统网络攻击存在明显不同

  360公司董事长兼CEO周鸿祎曾表示,人工智能是大数据训练出来的,训练的数据可以被污染,也叫“数据投毒”——通过在训练数据里加入伪装数据、恶意样本等破坏数据的完整性,进而导致训练的算法模型决策出现偏差。

  中国信息通信研究院安全研究所发布的《人工智能数据安全白皮书(2019年)》(以下简称白皮书)也提到了这一点。白皮书指出,人工智能自身面临的数据安全风险包括:训练数据污染导致人工智能决策错误;运行阶段的数据异常导致智能系统运行错误(如对抗样本攻击);模型窃取攻击对算法模型的数据进行逆向还原等。

  值得警惕的是,随着人工智能与实体经济深度融合,医疗、交通、金融等行业对于数据集建设的迫切需求,使得在训练样本环节发动网络攻击成为最直接有效的方法,潜在危害巨大。比如在军事领域,通过信息伪装的方式可诱导自主性武器启动或攻击,带来毁灭性风险。

  白皮书还提到,人工智能算法模型主要反映的是数据关联性和其特征统计,没有真正获取数据之间的因果关系。所以,针对算法模型这一缺陷,对抗样本通过对数据输入样例,添加难以察觉的扰动,使算法模型输出错误结果。

  如此一来,发生文章开头所谈到的一类事故就不足为奇了。

  此外,模型窃取攻击也值得注意。由于算法模型在部署应用中需要将公共访问接口发布给用户使用,攻击者就可以通过公共访问接口对算法模型进行黑盒访问,并且在没有算法模型任何先验知识(训练数据、模型参数等)的情况下,构造出与目标模型相似度非常高的模型,实现对算法模型的窃取。

  闫怀志在采访中表示,AI安全更突出功能安全问题(safety),这通常是指人工智能系统被恶意数据(比如对抗样本数据)所欺骗,从而导致AI输出与预期不符乃至产生危害性的结果。“AI功能安全问题与传统的网络安全强调的保密性、完整性、可用性等信息安全问题(security),存在本质不同。”

  预防“中毒”困难重重 AI技术也可构筑网络安全利器

  闫怀志表示,目前种种原因导致了预防人工智能“中毒”困难重重,原因具体表现在三个方面。

  一是很多AI研发者和用户并没有意识到AI病毒的巨大风险和危害,重视并解决AI病毒问题根本无从谈起;二是由于AI正处于高速发展阶段,很多AI研发者和生产商“萝卜快了不洗泥”,根本无暇顾及安全问题,导致带有先天安全缺陷的AI系统大量涌入应用市场;三是部分AI研发者和供应商虽然意识到了AI病毒问题,但由于技术能力不足,针对该问题并无有效的解决办法。

  “当然,网络安全本来就是一个高度对抗、动态发展的领域,这也给杀毒软件领域开辟了一个蓝海市场,AI杀毒行业面临着重大的发展机遇。”闫怀志强调,杀毒软件行业首先应该具有防范AI病毒的意识,然后在软件技术和算法安全方面重视信息安全和功能安全问题。

  “以现实需求为牵引,以高新技术来推动,有可能将AI病毒查杀这个严峻挑战转变为杀毒软件行业发展的重大契机。”闫怀志强调,AI技术既会带来网络安全问题,也可以赋能网络安全。

  一方面,人工智能的广泛应用带来了许多安全风险。由技术性缺陷导致的AI算法安全风险,包括可导致AI系统被攻击者控制的信息安全问题;也可导致AI系统输出结果被攻击者任意控制的功能安全问题。

  但另一方面,人工智能技术也可以成为构筑网络空间安全的利器,这主要体现在主动防御、威胁分析、策略生成、态势感知、攻防对抗等诸多方面。“包括采用人工神经网络技术来检测入侵行为、蠕虫病毒等安全风险源;采用专家系统技术进行安全规划、安全运行中心管理等;此外,人工智能方法还有助于网络空间安全环境的治理,比如打击网络诈骗。”闫怀志说。

  中国信息通信研究院安全研究所的专家称,为有效管控人工智能安全风险并积极促进人工智能技术在安全领域应用,可从法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态等方面构建人工智能安全管理体系。

(责任编辑:王蔚)

热点推荐

生命来自海底“黑烟囱”又有了新证据

生命来自海底“黑烟囱”又有了新证据

近日,我国科学家在《科学通报》(英文版)以封面...

我的颜值 我的担当 我的梦想

我的颜值 我的担当 我的梦想

5月8日,我国新一代载人飞船试验船成功返回,完成...

防疫生产两不误 中企在以受好评

防疫生产两不误 中企在以受好评

刘冬冰:我们相信以色列社会将逐步从疫情中复苏,...

天文学家发现迄今最近黑洞

天文学家发现迄今最近黑洞

 据英国《新科学家》网站6日报道,欧洲天文学家发...

人类对宇宙密度和结构有了新见解

人类对宇宙密度和结构有了新见解

宇宙中的高质量物体并不是“完美透镜”,当它们使...

核潜艇“牵手”核动力潜航器 优势互补引领水下作战新打法

核潜艇“牵手”核动力潜航器 优势互补引领水下作战新打法

俄罗斯国防工业综合体消息人士近日表示,09851型核...

载人航天“三勇士”齐亮相 将共赴中国空间站建设新征程

载人航天“三勇士”齐亮相 将共赴中国空间站建设新征程

中国航天科技集团一院供图5月5日,随着长征五号B运...

网站地图 bet365体育投注网址登入 bet365是什么网站登入 必赢亚洲56官网登入
申博直营网 申博账号注册 申博提款最快 太阳城申博娱乐 官方
百合娱乐游戏 ada彩票香港分分彩 天下彩票免费资料大全 金贊娱乐官方网址
bet365网上开户登入 bet365体育在线网址登入 胜博发最新网址登入 必赢亚洲网址注册登入
bwin必赢亚洲登入 bet365正网开户登入 乐豪发客户端下载登入 bet365网站开户登入
DC938.COM 8TFS.COM 900xsb.com 617XTD.COM 158jbs.com
66sbmsc.com 191sj.com 4888tyc.com S618B.COM 333BBIN.COM
117cw.com 1113898.COM 8GJS.COM 1888DZ.COM 889XTD.COM
166PT.COM 598sj.com 588XTD.COM 558XTD.COM 388TGP.COM