查鲁·C·阿加瓦尔。 神经网络和深度学习。一本教科书。 （英语） 兹比尔1402.68001 查姆：施普林格（ISBN 978-3-319-94462-3/hbk；978-3-3169-94463-0/电子书）。xxiii，497页。（2018）。 这本书由10章组成，从神经网络的一般介绍到高级研究主题的概述。从学生到已有的研究人员以及来自不同背景的广大读者都能接触到这本书的风格。这些概念被彻底地介绍了，分段的结构使得确定适合每个用户的详细程度更加容易。理论方面得到了每章结尾的大量参考文献和练习的支持；对软件资源的概述是有价值的，并且代表了进一步研究的可靠起点。第一章重点介绍和描述了神经网络的概念；它首先概述了基本体系结构，即对单个计算层感知机进行了详细描述；还介绍了多层神经网络。通过反向传播算法对网络进行训练，然后概述了实际问题，如过拟合、消失和爆炸梯度问题以及收敛困难。接下来，包括在后面章节中重申的通用架构的总结（例如径向基函数网络、受限Boltzmann机器、递归神经网络和卷积神经网络）。一份关于强化学习和生成对抗性网络等高级主题的简要报告结束了本章。在第二章中，作者讨论了浅层神经网络的性质。以二元分类模型为出发点，利用最小二乘回归、逻辑回归和支持向量机等替代方法，对感知器的描述进行了重新审视；文中还介绍了多类模型。本章的一部分重点介绍自动编码器的详细信息。作为示例，给出了word2vec（用于从文本数据中学习单词嵌入，或者从给定上下文中预测目标单词，或者从输入单词中预测上下文）和一个简单的图形嵌入架构。第三章以反向传播算法为出发点，介绍了深度神经网络的训练。详细讨论了不同的角度（例如动态编程实现）、参数（激活前和激活后变量）和方法（例如微型随机梯度下降）。还包括不同的初始化和设置策略，然后是梯度下降方法的策略（例如基于动量的学习、梯度剪裁、Polyak平均）。本章最后介绍了使用GPU进行加速和压缩的实用技巧。在第四章中，作者讨论了深度学习者的概括能力。详细介绍了用于提高模型准确性的各种方法，如调整和评估、基于惩罚的正则化、集成方法、早期停止、无监督的预训练、课程学习和无监督的正则化。第五章介绍了径向基函数网络。详细介绍了隐藏层和输出层的训练效果。还讨论了正交最小二乘算法。包括像感知器标准分类或铰链损失分类这样的变化。本章最后讨论了与核方法的并行比较，即核回归和核支持向量机是RBF网络的特例。第六章重点介绍了受限玻尔兹曼机器；首先从历史的角度介绍这些，然后通过它们与Hopfield网络的连接介绍它们。对于受限Boltzman机器，作者介绍了对比发散算法及其应用，包括降维和数据重建、协同过滤及其在多模态数据上的应用。本章最后讨论了在有监督或无监督的环境中堆叠RBM的效果，并介绍了深度Boltzman机器和深度信念网络。在第七章中，作者提出了递归神经网络（RNN）。在概述了这些网络的体系结构之后，以语言建模为例，说明了使用层规范化所面临的挑战。在描述这些网络的应用之前，还描述了回声状态网络、长短期记忆（LSTM）网络和门控递归单元（GRU）。第八章介绍卷积神经网络。在概述了这些网络的结构之后，作者重点介绍了培训步骤的特殊性；通过卷积进行反向传播，包括或不包括反向/转置滤波器。本章最后对常用卷积结构（例如AlexNet、ZFNet和其他）进行了几个案例研究。第九章围绕深度强化学习展开；它以一个基于无状态算法的示例开始&多武装盗贼问题。接下来，作者介绍了基本框架，重点介绍了深度学习和straw-man算法的作用。在本章中，还介绍了自举方法在值函数学习、策略梯度方法和蒙特卡罗树搜索中的应用。案例研究包括Alpha Go的讨论、对话系统的构建以及自动驾驶汽车背后的算法。本书最后（在第十章）概述了深度学习的高级主题，包括注意机制、具有外部记忆的神经网络、生成性对抗网络（GAN）和竞争学习（矢量量化和Kohonen自组织映射）。本文还简要介绍了神经网络的局限性。这本书推荐自己是深入学习研究密集领域的一个跳板，也是作者之前编写的教科书的一个有价值的延续[数据挖掘。教科书。Cham:Springer（2015；Zbl 1311.68001号); 离群值分析。第二版。商会：施普林格（2017；Zbl 1353.68004号); 文本的机器学习。查姆：斯普林格（2018；Zbl 1395.68001号)]. 由于其系统和彻底的方法，以及在每章后面整齐呈现的各种资源（参考书目和软件参考、练习），它适合具有不同专业知识或背景的观众。审核人：Irina Ioana Mohorianu（牛津） 引用于1审查引用于51文件 MSC公司： 68-01 与计算机科学相关的介绍性说明（教科书、教程论文等） 68T05型 人工智能中的学习和自适应系统 68T07型 人工神经网络与深度学习 82立方32 神经网络在含时统计力学问题中的应用 92秒20 生物研究、人工生命和相关主题中的神经网络 关键词：人工智能;神经网络;感知器;支持向量机;损失函数;多层神经网络;过拟合;规则化;强化学习;浅层神经网络;最小二乘回归;逻辑回归;自动编码器;深度神经网络;批处理归一化;基于惩罚的正则化;集合方法;参数共享;径向基函数;径向基网络;内核方法;受限玻尔兹曼机;Hopfield网络;循环神经网络;长短期记忆;门控递归单元;卷积神经网络;无监督学习;深度强化学习;价值函数学习的自举方法;政策梯度法;蒙特卡洛树搜索;带外部存储器的网络;生成性对抗网络;竞争性学习 引文：Zbl 1311.68001号;Zbl 1353.68004号;兹比尔1395.68001 软件：节点2vec;密度盖;帕尔艾;序列2SQL;青蒿素;卡费;char-rnn字符;CIFAR公司;SeqGAN公司;剖析;精灵;意大利千层面;单词2vec;OpenAI健身房;MNIST公司;SMAC公司;手套;深度学习4j;Hyperopt公司;MuJoCo公司;凯特;cuda-转换;帕伽索斯;西雅娜;UCI-毫升;ImageNet公司;阿波罗;Scikit公司;凯拉斯;火炬;LSTM公司;TensorFlow公司 PDF格式BibTeX公司 XML格式引用 \textit{C.C.Aggarwal}，神经网络和深度学习。一本教科书。查姆：施普林格（2018；Zbl 1402.68001） 全文： 内政部