正在 Google I/O 大会上，谷歌揭晓了最新的机械练习算法——AutoML，随即，Quoc Le 与 Barret Aoph 大神正在 Google Research Blog 上发外了一篇名为《采用机械练习寻求神经收集架构》的作品。雷锋网举行了编译，并做了不改动原意的编辑和修正。

　　「正在谷歌团队，咱们告捷地将深度练习模子使用于很是众的规模，从图像识别、语音识别到机械翻译等等。自然，这些使命离不开一整支工程师与科学家团队的发奋。人工打算机械练习模子的经过现实上绝非坦途，由于统统恐怕组合模子背后的搜罗空间很是雄伟——一个类型的十层神经收集恐怕有~1010种恐怕的神经收集组合。题目也相继而至，为了应对云云雄伟的数目级，神经收集的打算不但耗时，况且需求机械练习专家们累积大方的阅历。」

　　如图是 GoogleNet 的架构。神经收集的打算需求从最初的卷积架构发端，举行众年的留神调试

　　为了让机械练习模子的打算变得特别简陋，谷歌团队从来指望能让这一经过自愿化。此前谷歌也有做不少试验，席卷 evolutionary algorithms 与 reinforcement learning algorithms 等算法仍然映现了比力好的结果。而 Quoc Le 与 Barret Zoph 正在此文中所显示的，是谷歌大脑团队目前正在加强练习上取得的少少试验与早期结果。

　　正在团队一个名为「AutoML」的项目中（如图所示），左边有一个名为「限制器」（the controller）的 RNN，它打算出一个「child」的模子架构（雷锋网感应能够称之为「雏形/子架构」），然后者可能通过某些特界说务举行演练与评估。随后，反应的结果（feedback）得以返回到限制器中，并不才一次轮回中晋升它的演练设定。这一经过反复上千次——天生新的架构、测试、再把反应输送给限制器再次练习。最终，限制器会方向于打算那些正在数据纠合能得到更高确凿性的架构，而反之亦然。

　　谷歌团队将这一手段使用于深度练习的两大数据纠合，潜心图像识其余 CIFAR-10 与讲话修模的 Penn Treebank。正在两个数据集上，体例自行打算的模子职能展现与目前机械练习专家所打算的领先模子分庭抗礼（有些模子以至依然谷歌成员己方打算的！）。

　　让机械自行挑选架构（machine-chosen architecture），与人类正在打算神经收集的时辰有少少共通之处，好比都采用了统一输入，并鉴戒了此前的暗藏层。但此中也有少少亮点，好比机械挑选的架构蕴涵乘法组合 ( multiplicative combination)，如右图最左边（机械打算）的蓝色标签为「elem_mult」。对付轮回神经收集而言，映现组合的状况并不众睹，恐怕由于人类探讨者并没有发明分明的上风。成心思的地耿介在于，此昔人类打算者也倡导过机械采用的乘法组合，以为这种手段可能有用缓解梯度消亡/爆炸题目。这也就意味着，机械挑选的架构可能对发明新的神经架构大有裨益。

　　其它，机械还能教会人类为何某些神经收集的运转效率比力好。上图右边的架构有很是众的渠道，梯度能够向后滚动，这也评释了为何 LSTM RNNs 的展现比模范 RNN 的职能要好。

　　「从悠久看来，咱们对付机械所打算的架构举行长远的理解和测试，这可能助助咱们从头界说原来本身对架构的睹解。假设咱们告捷，这意味着将会策动新的神经收集的降生，也能让少少非专家探讨职员依据己方的需求创造神经收集，让机械练习制福每一一面。」