热点:给AI系统做“安全体检” 阿里发布自动化AI对抗平台网络法治频道

本篇文章897字，读完约2分钟

安全人员对某知名汽车企业的自动驾驶系统进行了安全测试，用物理对抗攻击欺骗了autopilot车道检测系统，autopilot没有发出警告就进入了错误的车道。 如果这是真正的攻击，结果不难想象。 实际上，ai系统如果没有足够的“免疫力”，就会把停车标志识别为通行，把医疗应用中有问题的医疗图像识别为正常图像等，有时会被一张图像欺骗。

为了帮助ai应用从源头构建安全性，安全图灵实验室整理了与学术界ai模型比较提出的32种攻击方法，以此为基础构建了自动化ai反攻击平台caa，ai系统中存在的安全

经过caa的“体检”，ai安全专家与被检查的ai脆弱地区相比提出了安全建议，辅助ai的鲁棒性(稳定性)检查可以提高ai系统的安全性，最近这项研究成果是人工智能高层会议aaai2021

与业界迄今为止提出的其他攻击工具箱相比，图灵研究所开发的自动对抗攻击平台caa首次实现了对抗攻击的“工具化”。 由此，ai应用的采用者即使没有专业的行业知识，也可以进行ai模型的对抗攻击和鲁棒性测试。

另外，caa可以事先判断检测出的ai的特征，通过自动搜索技术合成多个攻击算法的组合，提高现有模型攻击方法的性能和效率。 蚂蚁安全专家通过实验表明，caa是能够超越最新攻击方法，比较有效地判断当前ai系统安全性的最强“攻击”。

在事前的“攻击演习”中检测ai系统的安全性是目前提高安全ai的比较有效的方法，也是蚂蚁提出下一代安全架构，从源头构筑安全的核心理念。 但是，如果不知道目标模型的防御细节，研究者一般很难根据经验选择最适合现在模型的攻击算法，很难验证“健康诊断”的真正效果。

蚂蚁安全图灵实验室算法专家箫狂建议蚂蚁安全第一次将智能技术引入对抗攻击，所有攻击的细节和参数都是黑盒，攻击者只提供目标模型和数据，算法自动最佳攻击

用ai体检ai，用ai训练ai。 萧狂认为，模型的可靠性和鲁棒性对识别黄、赌、毒等不良副本的安全检查ai尤为重要。 现在，在鉴黄算法中，图灵实验室通过这种技术方法提高了曝光、模糊、低画质等极端分类场景中的模型识别能力，同时提高了极端场景中模型的鲁棒性，对业界更安全可靠的AI al

标题：热点:给AI系统做“安全体检” 阿里发布自动化AI对抗平台网络法治频道    地址：http://www.leixj.com/gy/2021/0327/44041.html