跳转到内容

神经结构搜索

维基百科,自由的百科全书

神经结构搜索 (Neural Architecture Search, NAS) 是一种自动化设计人工神经网络(Artificial Neural Networks, ANN)这种在机器学习领域被广泛运用的模型的技术 [1]。 目前,通过神经结构搜索所设计的模型的性能,已经可以达到甚至超过由人工设计的模型 [2] [3]。 神经结构搜索的方法可以按照搜索空间、搜索策略和性能估计策略三个方面进行分类[1]

  • 搜索空间(Search Space) 定义了可以设计和优化的人工神经网络种类;
  • 搜索策略(Search Strategy) 定义了探索搜索空间的方法;
  • 性能估计策略(Performance Estimation Strategy) 通过一个潜在神经网络的结构来评估其性能(不一定构建并训练这个网络)。

神经结构搜索与超参数优化(Hyperparameter optimization )有着密切的联系。它也是自动机器学习(Automated machine learning)的一个子领域。

搜索空间

[编辑]

宏搜索空间

[编辑]

微搜索空间

[编辑]

其他搜索空间

[编辑]

搜索策略

[编辑]

强化学习

[编辑]

进化算法

[编辑]

多目标搜索

[编辑]

可微分的搜索(基于梯度的搜索)

[编辑]

性能估计策略

[编辑]

权重共享

[编辑]

基于预测器

[编辑]

参考资料

[编辑]
  1. ^ 1.0 1.1 Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank. Neural Architecture Search: A Survey. Journal of Machine Learning Research. August 8, 2019, 20 (55): 1–21 [2020-03-17]. Bibcode:2018arXiv180805377E. arXiv:1808.05377可免费查阅. (原始内容存档于2021-01-27). 
  2. ^ Zoph, Barret; Le, Quoc V. Neural Architecture Search with Reinforcement Learning. 2016-11-04. arXiv:1611.01578可免费查阅 [cs.LG]. 
  3. ^ Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. Learning Transferable Architectures for Scalable Image Recognition. 2017-07-21. arXiv:1707.07012可免费查阅 [cs.CV].