本文介绍的是近来新的一种深度学习工具箱——AutoML和神经架构搜索（ Neural Architecture Search，NAS），它们是深度学习领域中新一任国王，以快速且简单粗暴的方式，并在不需要太多人为参与的情况下为我们的机器学习任务获得高精度模型。
神经架构搜索（NAS）
开发神经网络模型通常需要大量的模型工程，一般可以通过迁移学习快速搭建出一个“能用”的模型出来，但如果真的想要获得最佳性能，通常最好是自己根据具体任务设计自己的网络，且在设计模型的过程中需要进行很多次的试验，并根据实验结果调整网络模型，整个实验本身耗时耗力，代价昂贵。
NAS是一种搜索最佳神经网络架构的算法。大多数模型算法都具有以下结构，首先定义一组可能用于我们网络的“构建块”。例如，在最先的NASNet论文中，为图像识别网络提出了一些常用的块：
用于图像识别网络的NASNet模块
在NAS算法中，控制器递归神经网络（RNN）对这些构建块进行采样，将它们组合在一起以创建某种端到端模型。该体系结构通常体现出与最先进的网络（例如ResNets 或 DenseNets）相同的模型样式 ，只是使用的构建块有着差别或配置的方式不同罢了。然后对这种新的网络架构进行训练以使得模型收敛，并在验证集上保持获得一些准确性，由此产生的精度可以用于更新控制器，以便控制器随着时间的推移产生更好的架构，可能选择出更好的构建块或更好的组合方式，使用策略梯度更新控制器权重。整个端到端设置如下所示。
简单来说：让算法抓住不同的构建块并将这些块放在一起构成一个网络，然后训练并测试该网络。根据模型的结果，调整用于制作网络的构建块和组合方式。
NAS发现网络的主要创新部分在于构建块是如何连接的。右下方就是在ImageNet网络中发现的最佳构建块和模型结构。
结构搜索的相关进展
渐进式神经架构搜索（Progressive Neural Architecture Search， PNAS） 建议使用所谓的基于序列模型的优化（SMBO）策略，而不是NASNet中使用的强化学习。使用SMBO，我们不是随机抓取并尝试从外部设置构建块，而是测试块按复杂程度增加搜索结构。这种操作不会缩小搜索空间，但它确实使得搜索以更智能的方式完成。SMBO基本上是在说： 不要一次性尝试所有事情，从简单开始，只有在需要时才使得结构变得复杂。PNAS方法比原始NAS的效率高5-8倍。
高效神经架构搜索（Efficient Neural Architecture Search，ENAS） 是尝试使一般架构搜索更有效的另一种尝试，只使用一块GPU即可。作者的假设是，NAS的计算瓶颈是训练每个模型以使其收敛，在获得其测试精度，丢弃所有训练的权重。
在研究和实践中反复表明，迁移学习有助于在短时间内实现高精度模型，因为针对某些类似任务进行训练的网络发现了相似的权重，且迁移学习基本上只是网络权重的转移。ENAS算法强制所有模型共享权重，而不是从头开始训练使其收敛。在之前模型中尝试过的任何构建块都将使用之前学过的权重。因此，我们 每次训练新模型时都会进行迁移学习，其收敛速度更快！
该论文的实验结果展示了ENAS的效率，使用单个1080Ti GPU进行了半天的培训。
ENAS的性能和效率
深度学习的新方法：AutoML
我们只需运行预设的NAS算法，而不是设计复杂的深度网络。Google最近通过提供Cloud AutoML将其发挥到了极致，只需上传你的数据，Google的NAS算法就会为你找到一个快速简便的架构！
AutoML的这个想法是简单地抽象出深度学习的所有复杂部分，只需要你的数据，让AutoML单独完成网络设计的难点！这样，深度学习变得像其他任何一个插件工具，获取一些数据并自动创建由复杂神经网络驱动的决策功能。
Google Cloud的AutoML管道
AutoKeras 是一个使用ENAS算法的GitHub项目，该软件可以使用pip安装。由于它是用Keras编写的，因此很容易被控制和使用，因此你甚至可以深入研究ENAS算法并尝试进行一些修改。如果你更喜欢TensorFlow或Pytorch，对应的也有公共代码项目！
评论列表（0条）