电子工业出版社-网上书店

本书以实用为宗旨，讲解如何在不依赖云服务的情况下使用Unity独立开发安全、可靠的音视频通信技术。全书共计10章，主要包括Unity音视频通信、Unity软件基础、3D数学与着色器基础、多媒体音频技术、多媒体视频技术、Unity网络通信基础、跨平台音视频通信核心、桌面平台音视频通信实现、Android平台音视频通信实现、XR平台音视频通信实现的相关内容。本书适合对跨平台音视频通信技术有需求、感兴趣的读者阅读，也适合跨平台音视频通信应用程序的相关开发者阅读，还适合高校及培训机构相关专业的师生参考阅读。

第1章  Unity音视频通信	1
1.1  引言	1
1.2  发展历程	1
1.3  技术应用	2
1.3.1  应用场景	2
1.3.2  应用需求	2
1.4  本章总结	3
第2章  Unity软件基础	4
2.1  引言	4
2.2  软件介绍	4
2.2.1  简介	4
2.2.2  Unity版本	5
2.2.3  Unity Hub简介	5
2.3  界面介绍	8
2.3.1  菜单栏	8
2.3.2  导航栏	9
2.3.3  工作区	10
2.4  窗口介绍	10
2.4.1  Project窗口	10
2.4.2  Hierarchy窗口	12
2.4.3  Inspector窗口	13
2.4.4  Scene窗口	14
2.4.5  Game窗口	15
2.5  项目创建	16
2.5.1  创建新项目	16
2.5.2  添加项目	17
2.6  物体、组件	17
2.6.1  常用的物体	17
2.6.2  常用的组件	18
2.7  脚本	18
2.7.1  脚本创建	18
2.7.2  生命周期	19
2.7.3  变量与函数	21
2.7.4  计算与赋值	21
2.8  资源包管理	22
2.8.1  资源包导入	22
2.8.2  资源包导出	23
2.9  构建设置	24
2.10  本章总结	25
第3章  3D数学与着色器基础	26
3.1  引言	26
3.2  3D数学坐标系	26
3.2.1  全局坐标系	26
3.2.2  局部坐标系	27
3.2.3  屏幕坐标系	27
3.2.4  视口坐标系	27
3.2.5  坐标系转换	27
3.3  向量	28
3.3.1  向量介绍	28
3.3.2  Vector类	29
3.4  着色器基础	29
3.4.1  认识表面着色器	30
3.4.2  表面着色器的应用示例	33
3.4.3  计算着色器	36
3.4.4  计算着色器灰度图的应用示例	39
3.4.5  计算着色器图片像素显示处理的应用示例	41
3.5  本章总结	44
第4章  多媒体音频技术	45
4.1  引言	45
4.2  音频介绍	45
4.2.1  音频设备	45
4.2.2  音频源组件	46
4.2.3  音频权限	48
4.3  音频多通道	49
4.3.1  多通道介绍	49
4.3.2  Unity多通道	49
4.4  音频采样	51
4.4.1  采样率与采样大小	51
4.4.2  Unity音频采样处理	51
4.5  音频数字化	52
4.5.1  数字音频	52
4.5.2  音频质量	53
4.5.3  Unity音频数字化	53
4.6  本章总结	56
第5章  多媒体视频技术	57
5.1  引言	57
5.2  视频设备与权限	57
5.2.1  视频设备	57
5.2.2  视频权限	58
5.3  图像捕捉与视频捕捉	59
5.3.1  图像捕捉	59
5.3.2  视频捕捉	61
5.4  图像数字化	64
5.4.1  图像及视频种类	64
5.4.2  Unity图像的数字化处理	65
5.5  图像和视频压缩技术	69
5.5.1  图像压缩	70
5.5.2  视频压缩	71
5.6  本章总结	72
第6章  Unity网络通信基础	73
6.1  引言	73
6.2  Unity通信API	73
6.2.1  通信API简介	73
6.2.2  简单的HTTP通信	73
6.3  TCP通信	75
6.3.1  TCP介绍	75
6.3.2  TCP通信原理	76
6.3.3  Unity中基于Socket的高性能TCP通信实现——服务器端	78
6.3.4  Unity中基于Socket的高性能TCP通信实现——客户端	102
6.4  UDP通信	117
6.4.1  UDP介绍	117
6.4.2  UDP通信原理	118
6.4.3  Unity中基于Socket的高性能UDP通信实现	119
6.5  本章总结	129
第7章  跨平台音视频通信核心	130
7.1  引言	130
7.2  音频处理	130
7.2.1  音频发送	130
7.2.2  音频接收	137
7.3  图像处理	142
7.3.1  图像发送	142
7.3.2  图像接收	146
7.4  本章总结	149
第8章  桌面平台音视频通信实现	150
8.1  引言	150
8.2  构建设置	150
8.2.1  开发平台	150
8.2.2  Player设置	152
8.3  项目建立	157
8.3.1  场景搭建	157
8.3.2  组件设置	158
8.3.3  测试发布	160
8.3.4  测试运行	160
8.4  本章总结	161
第9章  Android平台音视频通信实现	162
9.1  引言	162
9.2  构建设置	162
9.2.1  开发平台	162
9.2.2  Player 设置	164
9.3  项目建立	174
9.3.1  场景搭建与贴图压缩	174
9.3.2  组件设置	197
9.3.3  测试发布	197
9.3.4  测试运行	198
9.4  本章总结	198
第10章  XR平台音视频通信实现	199
10.1  引言	199
10.2  HoloLens介绍	199
10.2.1  硬件介绍	199
10.2.2  平台介绍	201
10.3  MRTK介绍	201
10.3.1  MRTK简介	201
10.3.2  MRTK应用	205
10.4  构建设置	209
10.4.1  开发平台	209
10.4.2  Player 设置	211
10.5  项目建立	217
10.5.1  场景搭建与贴图压缩	217
10.5.2  组件设置	242
10.5.3  测试发布	243
10.5.4  测试运行	247
10.6  本章总结	248

实时跨平台音视频通信技术是当下比较热门的一种技术，应用广泛，各种实现方法及技术层出不穷，现有的各种云服务商也提供了比较成熟的实时音视频服务。
WebRTC技术是比较成熟的音视频通信技术，已经被W3C和IETF发布为正式标准。由于大部分主流浏览器都支持WebRTC标准的API，因此，这使得浏览器之间无插件化的音视频通信成为可能，大大降低了音视频通信应用程序开发的门槛，让开发者可以快速构建出音视频通信应用程序。但这项技术并不适用于所有平台，在某些平台（如XR平台）上并不会获得很好的体验。所以，可以快速适配不同平台（硬件及操作系统），兼顾高性能，通过简单配置就能使用，才是开发者们在元宇宙时代对音视频通信技术的迫切需求。
跨平台的实现主要归功于Unity引擎，它对于大部分平台所具有的兼容性，极大地方便了开发者对跨平台应用程序的开发与部署，本书中的所有开发技术都建立于该开发工具的基础之上。
本书内容基于Unity的API特性全面适配各类平台，从实际的学习需要出发，结合笔者多年的开发经验精选内容，通过丰富的案例进行实践，培养读者实际应用与拓展Unity开发的能力，并且结合讲解的知识点总结开发成功的案例，培养读者综合应用Unity开发相关应用程序的初步能力。

主要内容
第1章：介绍音视频通信的发展历程、应用场景与应用需求。
第2章：介绍Unity软件的基础知识，是初级开发者的入门章节。主要内容包括软件介绍、界面介绍、窗口介绍、项目创建、常用的物体和组件、脚本认识、资源包管理和构建设置等。
第3章：介绍3D数学与着色器的相关知识，包括对物体的移动、缩放，对坐标系的转换、计算，对向量的计算、转换，以及表面着色器和计算着色器的相关知识，并且通过几个应用示例介绍表面着色器和计算着色器的使用方法。
第4章：对多媒体音频技术进行简单的介绍，包括音频设备、音频源组件、音频权限、音频多通道、音频采样、音频数字化等。
第5章：对多媒体视频技术进行简单的介绍，包括视频设备、视频权限、图像捕捉与视频捕捉、图像数字化、图像和视频压缩技术等。
第6章：介绍Unity网络通信的基础知识，包括Unity通信API、TCP通信、UDP通信，并且使用C#脚本基于Socket的高性能编写TCP通信框架和UDP通信框架。
第7章：全面地介绍Unity中音频、视频的数字化及网络传输、接收、解码的流程。
第8章：介绍桌面平台音视频通信实现的相关知识，包括桌面平台特征、构建设置、场景搭建、组件设置、测试发布、测试运行等。
第9章：介绍Android平台音视频通信实现的相关知识，包括Android平台特征、构建设置、场景搭建与贴图压缩、组件设置、测试发布、测试运行等，并且大篇幅地引入计算着色器的相关内容，将普通的数字化数据转换为JPG图片数据，从而大幅提升性能及速度。
第10章：介绍XR平台音视频通信实现的相关知识，并且以HoloLens为代表设备讲解了XR平台的开发设置、构建设置、场景搭建与贴图压缩、组件设置、测试发布、测试运行等。
本书内容来源于潍坊幻视软件科技有限公司在AR/MR领域的技术研发及应用成果，本书所讲解技术已获得“一种跨平台视频通信方法”的发明专利授权，内容比一般的发明专利的公开形式更详尽，方便技术教学和读者学习。其中的音视频技术可以广泛应用于包括但不限于AR/MR领域的各类游戏、虚拟仿真等多平台项目中。
读者须知：购买本书并不能获得任何形式的专利授权，并且在未获得专利权人许可的情况下不允许在任何领域对该技术进行商用。

本书配套资源下载

对不起，暂无音视频资源！

Unity跨平台音视频通信从入门到应用