华为开源自研Disout：多项AI任务超越Dropout

《野猪乐园》显示文章详细内容：

lilyo

华为开源自研Disout：多项AI任务超越Dropout

在申请专利时，谷歌将Dropout定义为“解决神经网络过拟合的系统和方法”。

其核心的思路是，训练神经网络前向传播过程中，Dropout能让某个神经元的激活值以一定的概率p停止工作，也就是“Drop”（丢弃），提升模型稳定性，来缓解过拟合现象。

而Disout是提出的新型替代方案，是一种通过研究特征图扰动来增强深度神经网络的泛化能力的方法。

简单来说，就是根据网络中间层的Rademacher 复杂度（ERC），确定给定深度神经网络的泛化误差上界。

并将扰动引入特征图，来降低网络的Rademacher复杂度，从而提高其泛化能力。

它们之间的区别可以用下面这张图来展示——也就是对输出特征进行扰动，而不是丢弃。

相比之下，华为的方法效果更好。
Disout不但在传统视觉任务上表现优异，超越谷歌Dropout性能，在NLP任务以及语音处理任务上，同样具备有效性。

2020-05-20 09:45:21

此文章已经被查看141次

系统提示：此篇文章由"邻友圈"客户端发送，下载邻友圈客户端>>

相关文章：

[回复] [顶端]

华为开源自研Disout：多项AI任务超越Dropout-lilyo (1080字节阅读:141次跟贴:3 2020/05/20 09:45)

你懂这么多？你是搞技术的吗？(空)-happy_daddy (阅读:53次 2020/05/20 09:47)
unix? linux？nono{:yaotou:}(空)-lilyo (阅读:50次 2020/05/20 09:55)

牛人(空)-happy_daddy (阅读:46次 2020/05/20 10:34)

您必须登录论坛才可以发表文章：

用户名：

密码：

记住密码：

（忘记密码注册）