首页 > 科技 > 计算机 > 计算机科学

可信联邦学习

作译者：杨强等

出版时间：2026-04 千字数：370 版次：01-01 页数：260

开本：16开装帧： I S B N ：9787121524776

换版：

纸质书定价：￥98.0

库存:无

分享到：

共有图书评论0条【查看评论摘要】

看了又看

{{data.bookName}}

￥{{data.price}}

内容简介

前言

上架建议

作者简介

编辑推荐

音视频专区

目录
第 1 章 简介 1
1.1 数据的价值与数据空间      2
1.1.1 数据的隐私安全       2
1.1.2 数据的资产属性       3
1.1.3 数据空间          3
1.2 联邦学习             4
1.3 可信联邦学习           5
1.3.1 可信联邦学习的定义     6
1.3.2 可信联邦学习的知识体系   8
1.4 联邦学习的发展         9
1.4.1 联邦学习开源平台      9
1.4.2 联邦学习标准化进展     10
1.5 本章小结            11
第 2 章 联邦学习基础算法 12
2.1 横向联邦学习          13
2.2 纵向联邦学习          14
2.3 联邦迁移学习          16
2.4 联邦强化学习          17
2.5 联邦图学习           18
2.6 自动化联邦学习         21
2.7 联邦元学习           21
2.8 本章小结            24
第 3 章 联邦大模型 25
3.1 横向联邦大模型         26
3.2 纵向联邦大模型         28
3.2.1 训练过程          29
3.2.2 针对 VFL-LLM 的攻防
方法            31
3.3 联邦大小模型          32
3.3.1 联邦迁移大模型       34
3.3.2 联邦协同大模型       35
3.3.3 跨模态联邦大小模型学习
框架 CreamFL        36
3.3.4 大小模型互增强框架
CrossML          39
3.3.5 联邦知识迁移框架
FedKTL          40
3.3.6 大模型知识融合迁移框架
FuseGen          41
3.4 可信联邦大模型         42
3.5 其他分类方式          44
3.6 本章小结            46
第 4 章 联邦学习安全性 49
4.1 安全威胁模型          50
4.2 联邦学习的安全分级       51
4.2.1 问题描述          52
4.2.2 隐私数据安全保护等级    52
4.2.3 模型安全保护等级      54
4.3 针对联邦学习的攻击       55
4.3.1 半诚实攻击         55
4.3.2 恶意攻击          58
4.4 联邦学习的防御         60
4.4.1 基于统计信息的防御策略   61
4.4.2 基于聚类的防御策略     62
4.4.3 基于服务端样本的防御策略  63
4.4.4 基于历史梯度的防御策略   64
4.4.5 混合防御策略        64
4.4.6 基于服务端评估的防御策略  65
4.4.7 基于客户端评估的防御
策略            66
4.5 攻防技术总结          66
4.6 本章小结            68
第 5 章 联邦学习效率 70
5.1 联邦学习效率概述        71
5.2 通信层面优化的效率提高    71
5.2.1 不可靠通信环境的定义    72
5.2.2 针对通信资源有限的效率
提高            72
5.2.3 针对节点丢失的效率提高   77
5.2.4 针对通信干扰的效率提高   77
5.2.5 挑战与展望         78
5.3 算法层面优化的训练效率提高  79
5.3.1 横向联邦学习训练效率
优化            80
5.3.2 纵向联邦学习训练效率
优化            82
5.4 硬件加速层面优化的训练
效率提高            88
5.4.1 使用 GPU 加速计算     88
5.4.2 使用 FPGA 加速计算     89
5.4.3 混合精度训练        90
5.5 本章小结            91
第 6 章 无免费午餐定理 94
6.1 无免费午餐定理的意义     95
6.2 证明无免费午餐定理       95
6.2.1 场景定义          96
6.2.2 符号定义          98
6.2.3 隐私泄露          98
6.2.4 效用损失          99
6.2.5 效率损失         100
6.2.6 无免费午餐定理      101
6.2.7 无免费午餐定理应用    102
6.3 概率近似正确联邦学习     103
6.3.1 基本概念         104
6.3.2 联邦学习场景下的概率近
似正确学习        105
6.3.3 结果分析         108
6.4 本章小结            112
第 7 章 联邦学习的多目标
优化 115
7.1 联邦学习的多目标问题     116
7.1.1 基本概念         116
7.1.2 联邦学习场景下的多目标
优化问题定义       119
7.1.3 联邦学习多目标优化算法
介绍           121
7.2 博弈均衡            122
7.2.1 基本概念         122
7.2.2 联邦学习场景下的攻防
博弈           125
7.2.3 结果分析         126
7.3 本章小结            127
第 8 章 个性化联邦学习 129
8.1 异构性和个性化联邦学习    130
8.1.1 联邦学习的异构性定义和
分类           130
8.1.2 个性化联邦学习的动机   130
8.2 基于数据异构性的个性化
联邦学习            131
8.2.1 基本概念         131
8.2.2 算法介绍         132
8.3 基于设备异构性的个性化
联邦学习            136
8.3.1 基本概念         136
8.3.2 算法介绍         136
8.4 基于模型异构性的个性化
联邦学习            140
8.4.1 基本概念         140
8.4.2 算法介绍         141
8.5 本章小结            147
第 9 章 联邦学习公平性 149
9.1 基本概念            150
9.2 联邦学习场景下的公平性
问题定义            151
9.3 算法介绍            152
9.3.1 模型性能的偏见性     152
9.3.2 公平的贡献评估体系    155
9.3.3 设备的公平选择      159
9.4 本章小结            163
第 10 章 联邦学习贡献度
与激励机制 166
10.1 基本概念           167
10.2 联邦学习场景下的贡献度
评估             167
10.2.1 朴素的联邦夏普利值
实现           168
10.2.2 基于采样的优化策略    169
10.2.3 基于截断的优化策略    170
10.2.4 基于群组测试的优化
策略           171
10.3 联邦学习场景下的激励机制
设计             173
10.3.1 收益分享         173
10.3.2 基于区块链实现的联邦
学习激励机制       174
10.3.3 一种注重公平的收益
分享框架 FLI       179
10.4 本章小结           183
第 11 章 模型知识产权
保护 185
11.1 基本概念           186
11.1.1 基于白盒的水印嵌入    187
11.1.2 基于黑盒的水印嵌入    188
11.2 联邦学习场景下的水印嵌入  189
11.3 算法介绍           190
11.3.1 基于黑盒在客户端侧
实现的水印嵌入      191
11.3.2 基于白盒在客户端侧
实现的水印嵌入      192
11.3.3 基于黑盒在服务端侧
实现的水印嵌入      194
11.3.4 基于白盒在服务端侧
实现的水印嵌入      196
11.4 本章小结           197
第 12 章 联邦学习应用 200
12.1 联邦学习在医疗领域中的
应用             201
12.1.1 新药研发         201
12.1.2 临床辅助诊断与治疗    202
12.1.3 基于可穿戴设备的健康
管理           203
12.1.4 全基因组分析       204
12.1.5 电子健康记录管理     204
12.1.6 最新进展         205
12.2 联邦学习在金融领域中的
应用             205
12.2.1 联邦学习在反洗钱模型
中的应用         205
12.2.2 联邦学习在保险定价中
的应用          207
12.2.3 最新进展         209
12.3 联邦学习在个性化推荐中的
应用             209
12.3.1 纵向联邦矩阵分解     209
12.3.2 横向联邦矩阵分解     211
12.3.3 纵向联邦因子分解机    211
12.3.4 联邦图神经网络推荐    212
12.3.5 最新进展         213
12.4 联邦学习在计算机视觉领域
中的应用           214
12.4.1 联邦学习在智能监控和
安防中的应用       214
12.4.2 联邦学习在自动驾驶
中的应用         215
12.5 联邦学习在语音识别领域
中的应用           215
12.6 本章小结           216
第 13 章 总结与展望 219
13.1 研究现状与未来趋势     220
13.1.1 系统和模型设计      221
13.1.2 安全隐私         222
13.1.3 联邦学习与大模型
技术的融合        222
13.2 商业化现状与未来趋势    223
13.2.1 联邦学习在医疗领域的
商业化应用        223
13.2.2 联邦学习在金融领域的
商业化应用        224
13.2.3 联邦学习在智慧城市
领域的商业化应用     224
13.2.4 联邦学习在移动互联网
领域的商业化应用     225
13.2.5 联邦学习商业化应用
趋势           225
13.3 总结             226
参考文献 227

前言
本书的创作和编写正值大模型风头正盛之际，数据作为大模型的核心，其重要性不言而喻，在当前公域数据即将耗尽的情况下，如何安全有效地使用私域数据将成为今后人工智能的重点研究方向。
众所周知，人工智能的进步与大数据的发展密不可分。大数据为人工智能提供了丰富的训练素材，并通过不断的持续积累，进一步为人工智能的算法改进和模型优化提供了坚实的基础和保障。
然而，这些数据通常分散在不同的设备或者组织中，如果简单地将分散的数据聚合在一起，一方面有泄露数据隐私的风险，另一方面在硬件层面上对数据的传输、存储和训练提出了更高的要求。联邦学习是一种去中心化的学习模式，它允许多个参与方通过共享加密的中间数据（如梯度等）来协同训练人工智能模型，而不是共享原始数据，这种分布式的训练范式有效地解决了数据聚合带来的诸多问题和困境。具体来说，联邦学习具有以下优势。
? 隐私数据更安全。联邦学习的核心理念是“原始数据不出域，数据可用不可见”。与集中式学习相比，联邦学习在训练和推理的过程中，不是直接传输隐私数据，而是通过传输受保护的模型参数或模型元参数等中间数据进行交互，且这些中间数据的传输都是在加密状态下进行的，因而整个过程更安全、更可靠。
? 训练效率更高。联邦学习本质上是一种并行的分布式机器学习范式，具有比集中式学习更高的训练效率。更高的训练效率通过以下三类技术来实现：第一是借助 5G 等高速网络提高数据传输效率；第二是任务能被拆分到不同的客户端执行，任务的耦合度越低，参与方之间的交互越少，效率越高；第三是通过知识蒸馏、模型压缩等手段减少中间结果的传输环节，减少网络带宽的使用。
? 在安全和高效的前提下，联邦学习从理论上保证了模型的效用基本无损甚至比单一数据源时更高，比如，模型的准确率和稳健性因为使用了不同参与方的数据而提高。
? 在大模型时代，联邦学习可以成为分布式机器学习的技术底座，使众多的私域数据拥有方可以参加联合建模和推理。

联邦学习概述
联邦学习（Federated Learning）最初是由谷歌的研究人员 McMahan 等人在2016 年提出的[1]，其目的是开发一种分布式的机器学习技术，以提高移动设备的性能。最初的构想是，在保证本地训练数据不离开本地设备的前提下，共同学习一个共享语言模型（用于预测下一个单词），这将有助于提高输入法的性能。中国学者杨强、刘洋（本书的两位作者）及其团队进一步扩展了联邦学习基于分布式及隐私保护的框架，给出其中文命名，并提出企业间的纵向联邦学习算法和联邦迁移学习的扩展。同时，他们率先推出了国际联邦学习开源系统 FATE（Federated AI TechnologyEnabler）和基于 IEEE 社区的联邦学习国际标准。
联邦学习在各个领域都有广泛的应用，包括但不限于医疗保健、金融、电商、物联网和智慧城市等。在医疗保健领域，联邦学习基于患者的病史和生活习惯开发个性化模型，以预测疾病并推荐治疗方案。在金融领域，联邦学习通过分析来自多家银行的交易数据，检测出潜在的欺诈活动。在电商领域，联邦学习可以实现更好的个性化推荐系统。在物联网领域，联邦学习可以通过学习用户的行为模式来优化智能家居和建筑物的能源消耗。在智慧城市领域，联邦学习可以用于预测交通路网拥堵状况，并提出替代路线以改善交通流量。同时，联邦学习逐渐成为将大模型从中心化计算模式扩展为分布式模式的基础[5]，通过联邦学习的连接，位于服务端的大模型和位于终端的小模型可以互相学习，从而使大模型具有领域特长，使小模型具有更强的学习和推理能力。

为什么撰写本书
2020 年，我们编写了全球第一本联邦学习专著《联邦学习》，该书的出版为广大的科研人员和开发者提供了参考文献，方便读者了解联邦学习技术。在这之后，联邦学习得到了快速的发展，因此，我们重新梳理联邦学习知识体系和最新的科研成果，整理并编写了本书：一方面，为研究人员提供深入的理论剖析与前沿研究进展，助力拓展技术边界；另一方面，为从业者提供实用的应用指南与实践案例，使其能在实际项目中有效落地联邦学习技术。我们期望通过本书，推动联邦学习技术在更多场景中生根发芽，释放数据联合的巨大能量，为数字经济发展与社会进步贡献力量。

可信联邦学习概述
随着联邦学习的发展，特别是联邦学习在工业界被广泛使用，研究人员开始意识到隐私（Privacy）安全不再是唯一考虑的因素，模型效用（Utility）和训练效率（Efficiency）也是决定联邦学习能否被广泛推广的核心因素。
然而，目前普遍存在两种极端现象：一些用户、开发者和政策制定者要么过度强调隐私安全，忽视系统的训练效率和可用性；另一些用户则过于追求训练效率，忽视数据的隐私安全。于是，有研究人员提出，应该在隐私安全、模型效用（如模型准确率和稳健性）和训练效率（如模型训练或推理时间）之间实现平衡，而不是偏向任何一方。如何平衡隐私安全、模型效用和训练效率，如何衡量一个平衡达到了最优，以及如何通过博弈理论，使潜在攻击者的攻击意愿大为降低，成为联邦学习新的研究方向。我们将这种新的范式称为可信联邦学习。
可信联邦学习是一种旨在平衡隐私安全、模型效用和训练效率的分布式机器学习方法。在可信联邦学习中，我们关心的是一个分布式网络，这个网络的各个节点是不同的参与方，有的提供数据，有的提供建模能力。这个网络之所以是可以信赖的，重点是确保在训练和使用过程中，生成的模型是安全、保护隐私且高效的。然而，同时实现这些目标可能在计算上具有挑战性，因为隐私安全、模型效用和训练效率之间存在平衡。例如，增加隐私保护的级别有可能导致模型的效用降低，或者计算开销增加。我们在生活中也经常需要进行平衡。我们在外面逛街和开车时，不用过分担心个人和行车的安全，是因为不仅有技术的保障（如人车分离的体系），还有比较可靠的监控系统，在出现意外时有法律保障。这种“技术 + 监控 + 法律”的保障体系让我们不用因担心安全而不敢出行。
除了以上三个主要目标，可信联邦学习还包含其他的重要目标，比如模型的可解释性（Explanability），模型审计、可追踪和知识产权保护（Intellectual Property，IP）能力，多方协作建模和推理时奖励机制的公平性，以及识别和防御恶意和半诚实用户、客户的稳健性。这里，可解释性指理解模型如何进行预测的能力，例如，大模型往往会针对用户的问题，给出其推理过程的思维链，以增强模型最终结论的可信性，这对于建立用户对模型的信任和确保其做出公平和道德决策至关重要；模型审计、跟踪和知识产权保护对于保护模型开发者的专有利益并鼓励创新至关重要；在多方协作建模和推理时，奖励机制的公平性确保所有参与方公平地获得对训练过程的贡献；识别和防御恶意和半诚实用户、客户的稳健性对于维护训练过程的完整性并防止敌对攻击至关重要。
可信联邦学习还有很多问题和挑战需要解决，其中的一些问题如下。
? 开发高效可用的算法：现阶段已经有许多种不同算法被提出并用于联邦学习，但并不是所有这些算法都适用于可信联邦学习场景。研究人员需要开发能够最好地平衡诸多重要指标的算法，考虑隐私安全、模型效用和训练效率等因素。
? 将可信联邦学习看作“多方博弈优化”问题：可信联邦学习可以被表达为一个博弈论问题，其中防御者旨在最大化模型的安全性和隐私安全，攻击者则试图破坏模型的安全性和隐私。研究人员需要设计机制，使可能的针对隐私和安全的攻击者的付出远高于他们的收益。
? 奖励贡献者公平性：在联邦学习系统中，由多方提供数据和资源训练模型，确保对贡献者的公平奖励对于鼓励参与和维护系统信任至关重要。研究人员需要制定公平透明的奖励分配策略。
? 满足分布式大模型的需求：研究适用于分布式大模型的联邦学习算法框架，需要考虑在分布式场景中，使不同的大模型和小模型能够取长补短，在相互协作中提高它们的训练和推理能力。同时，在保护隐私安全的前提下，位于云端的大模型能够为终端用户提供服务。
? 保护模型的知识产权：联邦学习涉及在不同参与方之间交换模型和数据，这可能引发知识产权问题。为了解决这个问题，研究人员提出使用模型水印来保护通过联邦学习网络构建和交换的模型的知识产权。同时，如果水印技术能让模型的训练、审视、使用和复制的历史完全可追溯，那么也可以结合有效的法律手段对模型攻击者提供足够的压力和震慑，最终使其放弃攻击。
? 使用先进的隐私安全保障技术来增强可信联邦学习：为了提高联邦学习系统的安全性和隐私性，研究人员提出使用多方安全计算、差分隐私、可信执行环境和加密技术等先进技术。
? 将可信联邦学习应用于落地的 AI 系统：可信联邦学习有潜力为各种应用（如推荐、强化学习、图像分类和理解，以及自然语言处理等）开发安全和高效的 AI系统。然而，在将可信联邦学习应用于实际的 AI 系统时存在一些挑战，如处理大规模数据集、解决参与方之间的异质性问题，以及确保联邦学习过程的可扩展性和效率。
总的来说，可信联邦学习是一种极具实用价值和研究前景的联邦学习方法，可以实现实际可用的联邦学习，从而使各种实际应用和垂直领域受益。所以，本书对于解决与可信联邦学习相关的研究问题和实际落地问题有着极大的意义。

本书主要内容
本书共分为 13 章，主要内容如下。第 1 章对可信联邦学习的知识点和背景知识进行概述。第 2 章对联邦学习的基础算法进行介绍。第 3 章介绍联邦学习和大模型领域的交集，定义了不同类型的联邦大模型架构及常用算法。第 4 章介绍联邦学习安全性，包括联
邦学习的威胁模型、安全分级、常见的攻击和防御策略。第 5 章介绍联邦学习效率，从通信、算法和硬件层面深入讲解提高效率的技巧。第 6 章介绍无免费午餐定理，从理论上证明了联邦学习的算法在隐私泄露、效用损失和效率损失上存在“不可能三角”关系。第 7 章介绍联邦学习的多目标优化理论，将可信联邦学习的隐私安全 模型效用 训练效率权衡问题转化为多目标优化问题进行求解，此外，本章介绍概率近似正确联邦学习的概念，利用概率近似正确联邦学习构建统一的尺度来衡量多个目标，将多目标问题转化为单目标问题进行求解，最后结合博弈论的思想，分析攻击者和防御者的博弈均衡。第 8 章介绍个性化联邦学习，讲解如何利用个性化联邦学习来解决联邦学习的异构性问题。第 9 章介绍联邦学习公平性。第 10 章介绍联邦学习贡献度与激励机制。第 11 章介绍模型知识产权保护，深入分析如何使用水印技术来保护联邦学习的模型信息不被窃取。第 12 章介绍联邦学习应用，从实际案例出发，介绍联邦学习在实际落地过程中展现出的广阔前景。第 13 章对本书的内容进行总结与展望。

如何阅读本书
本书是《联邦学习》一书的续作。因此，建议读者在阅读本书前，先阅读《联邦学习》。在《联邦学习》基础上，本书加入了最近几年的最新研究成果，特别是可信联邦学习的前沿理论和实践应用。
“读书百遍，其义自见”，作者不奢望本书将占用读者太多的宝贵时间，但建议各位结合自身情况，分三遍阅读。
? 第一遍通读全书，主要弄清楚本书包含的章节和内容，对可信联邦学习的知识点有概念性的理解。
? 第二遍深入阅读本书不同章节。本书的每个章节都涉及联邦学习的不同主题，建议读者结合相关章节主题对应的前沿论文进行阅读。
? 第三遍结合延伸阅读和思考题，进行深入的研究。延伸阅读及思考题的内容是对当前主题的补充，读者可以对其中的一个或者多个主题进行深入学习。
希望无论是想要深入掌握联邦学习理论的学者，还是关注隐私保护与可信人工智能应用的开发者，都能以适合自身的阅读方式从本书中收获知识和乐趣。
作者

查看更多 > 图书评论

暂无评论

发表图书评论

评论标题：
评论内容：
验证码：: 看不清楚
点击刷新
: 您还没有登录，请登录后再评论。
点击“登录”

购买过本书的顾客还买过

{{data.bookName}}

￥{{data.price}}