潜在的针对机器学习系统的攻击

摘要

攻击机器学习系统
对抗样本 (Adversarial Example)
对抗网络

geekpwn 2016

机器学习对抗性攻击报告 | 极棒硅谷站深度

2017-01-05 曹跃 仲震宇 韦韬 GeekPwn

附带视频,值得一看。

攻击图像语音识别系统

GAN(Generat) Ian GoodFellow
攻击分类器使得分类器错误分类。
人类认为毫无意义的图像,分类器认为其有意义。

Hidden Voice Commands

CCS 2016
来自美国Georgetown University的Tavish Vaidya博士分享了隐匿的语音命令这一工作。
构造特殊的人类认为毫无意义的语音,而分类器认为其有意义从而攻击语音识别系统。

Denial of Service attack (思路)

对一些常见的时间或者空间复杂度不稳定的算法构造最差输入,然后让系统执行显著变慢。

其他实现问题

某些机器学习 Library 可能在训练程序的实现过程中, 在例如 GPU 并行计算, cuda 的使用上,可能存在潜在的bug。 (猜测)