原标题：谷歌大脑最新研究：用AutoML的方式自动学习Dropout模式，再也不用手动设计

鱼羊 发自 凹非寺  6park.com
量子位 报道 | 公众号 QbitAI  6park.com
深度神经网络往往存在过拟合的问题，需要Dropout、权重衰减这样的正则化方法的加持。 6park.com
而最近的研究表明，如果对Dropout“剪掉”的神经元的结构进行利用，就能实现比随机替换更好的效果。 6park.com
问题是，实际应用中，针对不同的问题，利用结构的方法需要人工设计，对Dropout的模式进行调整，泛化能力不足。 6park.com
那么，是否能设计一种针对CNN、Transformer这样的深度神经网络，自动学习Dropout模式的方法？ 6park.com
现在，谷歌大神Quoc V. Le的团队，就提出了一种名为 AutoDropout的方法。  6park.com

相关论文已经入选AAAI 2021。 6park.com
将设计Dropout模式的过程自动化  6park.com
AutoDropout的主要目的，就是将设计针对专门场景的Dropout模式这件事自动化。  6park.com
研究人员为此设计了一个新的结构化Dropout模式的搜索空间。这个搜索空间囊括了许多现有的Dropout模式。 6park.com
不妨先以CNN为例，来看一下该方法是如何实现的。 6park.com
CNN中的Dropout模式搜索空间  6park.com
在CNN中，搜索空间的基本模式是一个连续的矩形，矩形经过平铺，就会产生一个Dropout模式。 6park.com
定义矩形的超参数，是高度和宽度；而定义平铺的超参数，是步幅和重复次数。 6park.com

除了对矩形进行平铺之外，还需要将两个几何变换引入搜索空间：围绕空间中心旋转，沿着每个空间维度进行剪切。 6park.com
在得到dropout模式之后，研究人员将其应用于批量归一化层的输出——根据研究人员的经验，在网络的其他地方进行应用，往往会导致搜索过程中训练的不稳定。 6park.com
如果CNN中存在残差连接， 控制器则会进一步判断，是否把dropout模式应用到残差分支中。  6park.com

控制器模型和搜索算法  6park.com
AutoDropout的控制器是通过强化学习来训练的。 6park.com

控制器实际上是一个Transformer网络。该网络生成token以描述Dropout模式的配置。 6park.com
如下图所示，对于CNN中的每一层，都需要8个token来创建Dropout模式。 6park.com

不过，这样搜索算法可能需要花费大量的时间进行训练，为此，研究人员也进行了并行性方面的改善工作。 6park.com

Transformer中的Dropout模式搜索空间  6park.com
这样的方法同样适用于Transformer。 6park.com

与CNN中最大的不同在于，搜索空间中的dropout模式可以灵活地应用于Transformer层的多个子层，比如query、key、value、softmax、输出投影和残差等。 6park.com
因此，研究人员针对每一个子层，各自应用了独立的dropout模式。 6park.com

实验结果  6park.com
为了验证AutoDropout的效果，研究人员分别在CNN和Transformer模型中应用了AutoDropout。 6park.com
对于CNN，主要应用在有监督图像分类任务和半监督图像分类任务。 6park.com
对于Transformer，主要考虑语言模型和机器翻译。 6park.com


可以看到，在CIFAR-10和ImageNet上，AutoDropout都有效改善了SOTA模型的结果，并且优于DropBlock等需要人工介入的方法。 6park.com
而与使用Variational Dropout方法训练的Transformer-XL模型相比，AutoDropout同样带来了更好的表现。 6park.com

不过，研究人员也提到，AutoDropout的缺点是搜索成本很高。 6park.com
有关作者  6park.com
本文有两位作者。 6park.com
Hieu Pham，谷歌大脑和卡内基梅隆大学共同培养的博士生，本科毕业于斯坦福大学。 6park.com

另一位作者是Quoc V. Le大佬。他是吴恩达的学生，Google Brain的创立者之一，也是谷歌AutoML项目的幕后英雄之一。 6park.com

传送门  6park.com
论文地址：  6park.com
https://arxiv.org/abs/2101.01761  6park.com
— 完— 6park.com
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。 6park.com
加入AI社群，拓展你的AI行业人脉 6park.com
量子位「AI社群」招募中！欢迎AI从业者、关注AI行业的小伙伴们扫码加入，与 50000+名好友共同关注人工智能 行业发展&技术进展：  6park.com
量子位 QbitAI · 头条号签约作者 6park.com
վ'ᴗ' ի 追踪AI技术和产品新动态 6park.com
一键三连「分享」、「点赞」和「在看」 6park.com
科技前沿进展日日相见~