[返回科技频道首页]·[所有跟贴]·[ 回复本贴 ]·[热门原创]·[繁體閱讀]·[版主管理]
谷歌大脑最新研究:用AutoML的方式自动学习Dropout模式,再也...
送交者: 婉君[★★★来全球焦点玩★★★] 于 2021-01-10 3:14 已读 927 次  

婉君的个人频道

原标题:谷歌大脑最新研究:用AutoML的方式自动学习Dropout模式,再也不用手动设计


鱼羊 发自 凹非寺 6park.com

量子位 报道 | 公众号 QbitAI 6park.com

深度神经网络往往存在过拟合的问题,需要Dropout、权重衰减这样的正则化方法的加持。 6park.com

而最近的研究表明,如果对Dropout“剪掉”的神经元的结构进行利用,就能实现比随机替换更好的效果。 6park.com

问题是,实际应用中,针对不同的问题,利用结构的方法需要人工设计,对Dropout的模式进行调整,泛化能力不足。 6park.com

那么,是否能设计一种针对CNN、Transformer这样的深度神经网络,自动学习Dropout模式的方法? 6park.com

现在,谷歌大神Quoc V. Le的团队,就提出了一种名为 AutoDropout的方法。 6park.com


相关论文已经入选AAAI 2021。 6park.com

将设计Dropout模式的过程自动化 6park.com

AutoDropout的主要目的,就是将设计针对专门场景的Dropout模式这件事自动化。 6park.com

研究人员为此设计了一个新的结构化Dropout模式的搜索空间。这个搜索空间囊括了许多现有的Dropout模式。 6park.com

不妨先以CNN为例,来看一下该方法是如何实现的。 6park.com

CNN中的Dropout模式搜索空间 6park.com

在CNN中,搜索空间的基本模式是一个连续的矩形,矩形经过平铺,就会产生一个Dropout模式。 6park.com

定义矩形的超参数,是高度和宽度;而定义平铺的超参数,是步幅和重复次数。 6park.com


除了对矩形进行平铺之外,还需要将两个几何变换引入搜索空间:围绕空间中心旋转,沿着每个空间维度进行剪切。 6park.com

在得到dropout模式之后,研究人员将其应用于批量归一化层的输出——根据研究人员的经验,在网络的其他地方进行应用,往往会导致搜索过程中训练的不稳定。 6park.com

如果CNN中存在残差连接, 控制器则会进一步判断,是否把dropout模式应用到残差分支中。 6park.com


控制器模型和搜索算法 6park.com

AutoDropout的控制器是通过强化学习来训练的。 6park.com


控制器实际上是一个Transformer网络。该网络生成token以描述Dropout模式的配置。 6park.com

如下图所示,对于CNN中的每一层,都需要8个token来创建Dropout模式。 6park.com


不过,这样搜索算法可能需要花费大量的时间进行训练,为此,研究人员也进行了并行性方面的改善工作。 6park.com


Transformer中的Dropout模式搜索空间 6park.com

这样的方法同样适用于Transformer。 6park.com


与CNN中最大的不同在于,搜索空间中的dropout模式可以灵活地应用于Transformer层的多个子层,比如query、key、value、softmax、输出投影和残差等。 6park.com

因此,研究人员针对每一个子层,各自应用了独立的dropout模式。 6park.com


实验结果 6park.com

为了验证AutoDropout的效果,研究人员分别在CNN和Transformer模型中应用了AutoDropout。 6park.com

对于CNN,主要应用在有监督图像分类任务和半监督图像分类任务。 6park.com

对于Transformer,主要考虑语言模型和机器翻译。 6park.com



可以看到,在CIFAR-10和ImageNet上,AutoDropout都有效改善了SOTA模型的结果,并且优于DropBlock等需要人工介入的方法。 6park.com

而与使用Variational Dropout方法训练的Transformer-XL模型相比,AutoDropout同样带来了更好的表现。 6park.com


不过,研究人员也提到,AutoDropout的缺点是搜索成本很高。 6park.com

有关作者 6park.com

本文有两位作者。 6park.com

Hieu Pham,谷歌大脑和卡内基梅隆大学共同培养的博士生,本科毕业于斯坦福大学。 6park.com


另一位作者是Quoc V. Le大佬。他是吴恩达的学生,Google Brain的创立者之一,也是谷歌AutoML项目的幕后英雄之一。 6park.com


传送门 6park.com

论文地址: 6park.com

https://arxiv.org/abs/2101.01761 6park.com

6park.com

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。 6park.com

加入AI社群,拓展你的AI行业人脉 6park.com

量子位「AI社群」招募中!欢迎AI从业者、关注AI行业的小伙伴们扫码加入,与 50000+名好友共同关注人工智能 行业发展&技术进展6park.com

量子位 QbitAI · 头条号签约作者 6park.com

վ'ᴗ' ի 追踪AI技术和产品新动态 6park.com

一键三连「分享」、「点赞」和「在看」 6park.com

科技前沿进展日日相见~

喜欢婉君朋友的这个贴子的话, 请点这里投票,“赞”助支持!
[举报反馈]·[ 婉君的个人频道 ]·[-->>参与评论回复]·[用户前期主贴]·[手机扫描浏览分享]·[返回科技频道首页]
贴子内容是网友自行贴上分享,如果您认为其中内容违规或者侵犯了您的权益,请与我们联系,我们核实后会第一时间删除。

所有跟贴:        ( 主贴楼主有权删除不文明回复,拉黑不受欢迎的用户 )


    用户名:密码:[--注册ID--]

    标 题:

    粗体 斜体 下划线 居中 插入图片插入图片 插入Flash插入Flash动画


         图片上传  Youtube代码器  预览辅助

    打开微信,扫一扫[Scan QR Code]
    进入内容页点击屏幕右上分享按钮

    楼主本栏目热贴推荐:

    >>>>查看更多楼主社区动态...






    [ 留园条例 ] [ 广告服务 ] [ 联系我们 ] [ 个人帐户 ] [ 版主申请 ] [ Contact us ]