热点推荐词:
 
环亚ag88 > ag环亚电游网址 >
推荐资讯
产品推荐

Quoc Le推新论文:打破常规,巧用对抗性样本改善

发布时间:2019-11-29 14:43 来源: 未知 浏览次数:

新智元引荐

来历:图灵TOPIA

作者:Cihang Xie编译:安定

【新智元导读】近来,谷歌大脑的开创成员和 AutoML 的缔造者之一Quoc Le再推新研评论文,在题为“对立性样本改进图画辨认”一文中提出一种增强的对立练习将对立性样本AdvProp。来新智元 AI 朋友圈与AI大咖们一同评论吧~

近来,谷歌大脑的开创成员和 AutoML 的缔造者之一Quoc Le再推新研评论文,在题为“对立性样本改进图画辨认”一文中提出一种增强的对立练习将对立性样本AdvProp。

他以为AdvProp是一种运用对立性样原本削减过度拟合的独特技巧,其关键在于运用Two BatchNorms ,一个用于一般样本,一个用于对立性样本。

运用AdvProp样本作为其他样本,以避免过度拟合。当模型更大时,该研讨证明AdvProp改进了各种模型,在各种图画辨认使命上体现更好。

对立性样本通常被以为是对ConvNets的要挟。在这里,研讨者提出了一个相反的观念:假如运用正确的办法,对立性样本能够用来改进图画辨认模型。

AdvProp是一个增强的对立练习计划,将对立性样簿本作为附加的样原本处理,以避免过度拟合。

办法的关键是运用独立的辅佐批处理标准来处理对立性样本,因为它们与一般样本具有不同的底层散布。

试验成果标明,AdvProp模型在不同的图画辨认使命上有较大的改进,且模型越大,辨认作用越好。

例如,经过运用AdvProp运用ImageNet上的最新EfficientNet-B7,完成ImageNet的明显改进(+ 0.7%),ImageNet-C(+6.5%),ImageNet-A(+7.0%),StylizedImageNet(+ 4.8%)。

AdvProp模型经过对立性样本取得ImageNet top-1精度85.5%(无额定数据)。这一成果乃至超过了《Exploring the limits of weakly supervised pretraining. In ECCV, 2018》中运用3.5B Instagram图画(比ImageNet多约3000倍)和多约9.4倍参数练习的最佳模型。

GutHub:

https://github.com/tensorflow/tpu/tree/master/models/official/efficiencynet

经过在图画上增加不行发觉的扰动而发生的对立性样本或许导致卷积神经网络(ConvNets)做出过错的猜测。

对立性样本的存在不只提醒了ConvNets的泛化才干有限,并且还对这些模型的实践布置构成了安全要挟。自从初次发现ConvNets遭受广告进犯的以来,现已做了许多尽力来进步网络的稳健性。

上一篇:一旦进了这个“洞”,谁都别想出来

下一篇:中信银行南昌赣江新区支行 走进裕民汽车销售中