×

线性代数和机器学习优化。一本教科书。 (英语) Zbl 1451.68002号

商会:施普林格出版社(ISBN 978-3-030-40343-0/hbk;978-3-030-40344-7/电子书)。第22页,第495页。(2020).
本教材介绍了统计机器学习背景下的线性代数和优化。书中提供了示例和练习。这本书由十一章组成。每一章后面都有额外的大量练习。它给出了机器学习所需的数学背景,如深度学习、支持向量机、核机器、聚类和降维、推荐系统和信息检索方法。
第一章介绍向量和矩阵及其基本运算,以及它们与机器学习的关系。本章的第二部分论述了机器学习中成本函数优化的思想。第二章对线性代数进行了基本介绍。一些例子突出了什么是线性变换的问题。通过几个例子解释了矩阵乘法的线性变换。线性变换的机器学习由离散小波变换和随后的余弦变换证明。说明了如何求解与优化任务相关的线性方程组,然后如何借助于穆尔-彭罗斯伪逆求解不一致线性系统。讨论了病态系统的问题。基于复数的线性变换的一个示例是离散傅里叶变换。第三章介绍了特征向量和特征值、矩阵的对角化及其在矩阵分解中的应用,例如Cholesky分解。然后,介绍了范数约束二次规划以及寻找特征向量的数值算法。第四章介绍了机器学习中的基本优化。梯度下降法寻找成本/损失/误差函数的最小值。该损失函数可由平方误差定义,在线性情况下具有闭合解。然而,在机器学习中,大多数情况都不是线性的,并且不存在封闭的解决方案。用梯度下降法求解。在机器学习中,泛化是正则化描述的学习系统的一种重要可能性。损失函数可以对应于平方误差或交叉熵。演示了线性回归和支持向量机的示例。第五章介绍了对深度学习至关重要的高级优化方法,如基于动量的学习、AdaGrad RMSProp和Adam。介绍了牛顿法,并讨论了由此产生的与鞍点有关的约束。然后讨论了不可微函数的技巧,如次梯度法。第六章介绍了支持向量机的学习所基于的约束优化和对偶性。第七章是降维,包括主成分分析和奇异值分解。第八章以推荐系统为例介绍了矩阵分解的方法。第九章介绍了相似矩阵和核。第十章讨论谱聚类和PageRank算法中使用的图的线性代数。第十一章介绍了计算图的优化及其在人工神经网络中的应用,使用了反向传播算法。各章之后是参考书目和索引。
这本书被推荐给机器学习领域的每个人。对于机器学习的初学者,它介绍了线性代数和优化所需的背景知识。对于机器学习专业人士来说,它是一个紧凑的参考。这本书写得很清楚,读起来很愉快。

MSC公司:

68-01 与计算机科学相关的介绍性说明(教科书、教程论文等)
15-01 关于线性代数的介绍性说明(教科书、教学论文等)
62-01 与统计有关的介绍性说明(教科书、辅导论文等)
90-01 与运筹学和数学编程有关的介绍性说明(教科书、教程论文等)
68T05型 人工智能中的学习和自适应系统
68T07型 人工神经网络与深度学习
90 C90 数学规划的应用
PDF格式BibTeX公司 XML格式引用
全文: 内政部