电子工业出版社-网上书店

本书介绍了自组织增量学习神经网络及其在人工智能领域的应用。神经网络是一种模拟生物神经系统的人工智能技术，具有强大的数据处理能力和学习能力。自组织增量学习神经网络是一种具有高度自组织结构和增量学习能力的神经网络。与传统机器学习方法相比，自组织增量学习神经网络有更强的灵活性和适应性，能够更好地适应动态环境和解决复杂的问题。自组织增量学习神经网络在多个领域有着广泛的应用，包括机器人智能系统、人脸识别、图像处理、场景理解、语音识别、姿势识别、股票预测等。使用自组织增量学习神经网络，这些应用能够实现更高效、更灵活的学习和决策能力。本书适合人工智能领域的研究人员和高等院校计算机科学与技术、人工智能等专业研究生阅读。

第1 章数学基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 线性代数基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 向量基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 矩阵基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3 特征值和特征向量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.1.4 特征值分解和奇异值分解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 概率统计基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.1 基础概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 概率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 全概率和贝叶斯公式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
1.2.4 随机变量及其分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.5 二维随机变量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.6 数学期望和方差. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.7 协方差和相关系数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2.8 最大似然估计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3 距离度量基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 向量范数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.3 度量与向量范数的关系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22
1.3.4 其他距离度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4 信息论基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.4.1 信息量和信息熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.2 联合熵和条件熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.3 KL 散度和JS 散度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.4 交叉熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.5 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
第2 章自组织神经网络的起源与发展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1 自组织神经网络的发展历史. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 自组织映射网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.1 自组织映射网络的基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.2 自组织映射网络的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32
2.3 自适应共振理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33
2.3.1 自适应共振理论的基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34
2.3.2 ART 网络的拓展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 生长型神经气. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
第3 章自组织增量学习神经网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1 SOINN 的网络结构与学习流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 SOINN 的原理分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.1 神经元学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.2 拓扑学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.3 自适应阈值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2.4 节点激活的阈值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.5 网络的“定期检查” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.6 SOINN 完整算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
第4 章SOINN 的改进算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58
4.1 E-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59
4.1.1 E-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.1.2 E-SOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2 Adjusted SOINN 分类器算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.1 ASC 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69
4.2.2 ASC 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 LB-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.1 LB-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.2 LB-SOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.4 LD-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.4.1 LD-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.4.2 LD-SOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.5 DenSOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5.1 DenSOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
4.5.2 DenSOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
第5 章SOINN 的应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1 聚类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 并行计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.1.2 异构数据的处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.2 计算机视觉. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.2.1 特征提取. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.2 属性转移学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.3 分类、识别与匹配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.3 时间序列预测. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.1 距离度量方面的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.3.2 SOINN 结合Shapelet 的应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.4 数据处理与预处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.1 数据压缩和提炼. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.2 SOINN 的输出用于其他网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.5 异常检测. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.1 SOINN 分类器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.2 交互式标注. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.5.3 在权值调节方面的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
附录A SOINN 软件包及相关算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

近年来，人工智能新技术飞速发展，在自然科学、社会科学的多个领域取
得了巨大的成功。其中，神经网络在人工智能新技术中发挥了巨大的作用，推
动了人工智能领域的发展和创新。神经网络是一种强大而灵活的计算模型，它
模拟生物神经系统，由大量的简单人工神经元相互连接而成，可以处理复杂的
数据和任务。本书将介绍一类特别的神经网络模型——自组织增量学习神经网
络（Self Organizing Incremental Neural Network，SOINN），这一模型高度参
照了人脑的学习模式，具有自组织、自学习、增量学习等智能特点。
目前主流的机器学习技术主要是通过对给定数据集进行分析来设计学习
模型和算法，并针对各类实际问题将模型或算法应用于真实世界当中。由于这
种学习方法仅仅面向需要解决的实际问题，而不需要考虑之前已经学习过的知
识及其他相关信息，因此这种学习模式是孤立、封闭的。然而，人类在学习的
过程中能够综合利用所有已经学习过的知识，并将这些知识运用于解决新的问
题和学习新的事物。因此，人类的学习不是封闭的孤立过程，而是增量的和开
放式的。“增量的”是指人类能够不断地学习新知识，同时不会遗忘已经学习过
的知识；“开放式的”是指人类能够利用已有知识来解决未知问题或学习未知
事物，同时将从未知环境中学习到的新知识融入学习系统中从而强化自身的学
习能力。另外，尽管传统的机器学习模型在面对某些特定实际问题时能够有着
出色的发挥，但是经常具有很大的局限性。例如，在有监督学习问题中往往需
要大量有标记数据训练模型，同时也只能在有限指定类别之间进行分类，无法
学习给定类别之外的数据；在无监督学习问题中，多数算法则需要预先设定一
系列参数，如聚类的个数等，对于分布随时间变化的数据往往无法有效地在线
拟合数据分布。而在实际生产生活中，特别是人工智能领域，人们往往需要具
有增量学习能力的机器学习算法，从而让机器像人一样更好地适应动态环境。
一个典型的示例就是智能机器人控制系统：我们希望机器人具有独立思考的能
力，能够从自我观察中不断地自主学习，同时仅需要少量简单的指导就能学习
到新的事物，从而越学越聪明。
自组织增量学习神经网络面向上述学习模式，是在自组织竞争学习的基础
上拓扑表示学习及增量学习等概念而诞生的神经网络模型。不同于前馈神经网
络基于损失函数的反向传播来训练，竞争学习策略依靠神经元之间互相竞争逐
步优化网络。SOINN 使用近邻关系函数来维持空间中神经元之间的距离和邻
近关系，即拓扑关系，而这个过程是自动完成的，其特点与人脑的自组织特性
类似。SOINN 能够对数据进行增量的无监督学习，并且衍生出了Enhanced
SOINN、Adjusted SOINN、Local Distribution SOINN 等模型，在监督学习、
半监督学习、无监督学习等领域解决了多个涉及增量学习的问题，并在机器人
智能系统、人脸识别、图像处理、场景理解、语音识别、姿势识别、股票预测
等应用领域取得了良好的效果。SOINN 及其衍生模型被学术界认为是解决数
据不稳定分布、增量学习、聚类等问题的重要研究成果。
本书是一部系统性介绍自组织增量学习神经网络及其相关研究的专著，是
作者和南京大学机器人智能与神经计算研究组多年来围绕SOINN 的相关研究
成果的总结。
本书适合人工智能领域的研究人员及具有一定编程和数学基础的读者阅
读，也可作为高等院校计算机科学与技术、人工智能等专业研究生的参考书。
由于作者水平有限，书中错误与疏漏之处在所难免，敬请读者与同行专家
批评指正。

本书配套资源下载

对不起，暂无音视频资源！