第5章
高级模型初始化技术

摘要　在本章中将介绍几种高级深层神经网络（Deep Neural Network，DNN）的初始化技术（预训练技术）。这些技术在深度学习研究的早期发挥了非常重要的作用，并且在一些条件下持续发挥着作用。我们集中讨论关于预训练DNN的几个话题：受限玻尔兹曼机（Restricted Boltzmann Machine，RBM），它本身就是一种有趣的生成模型；深度置信网络（Deep Belief Network，DBN）；降噪自动编码器（Denoising Auto-encoder）及鉴别性预训练（Discriminative Pretraining）。