电子工业出版社-网上书店

本书系统介绍了增强现实技术的基础理论、研究前沿以及实际应用。首先，介绍了增强现实的相关概念与技术特点，回顾了技术发展历史。其次，介绍了增强现实基础性的软硬件技术，包括基于标识的位置配准和基于自然特征的位置配准方法以及头盔显示器、空间型增强现实环境的原理和交互技术。然后，介绍了高级增强现实的研究前沿进展和成果，包括场景建模、光照一致性、自由视点影像、多通道多感交互增强现实等新技术，以及增强现实在机器人、人物定位、协同工作等领域的创新应用。在实践方面，重点介绍了增强现实标准制订工作进展、增强现实平台开发项目以及增强现实在医疗、制造业等领域的应用案例。本书的主要读者设定为正在和准备从事增强现实相关工作的人士。可以作为高等院校计算机、机械、医疗、建筑等专业的教材，也可以作为与增强现实技术相关专业的学生开展毕业设计、研究生论文写作的参考书目。本书的内容结构并不要求从头至尾依序阅读，因此，读者可以根据对于增强现实的理解程度或必要性，择取相应章节阅读学习。

第1章  基础篇（一）	（1）
1．基于标识的位置配准	（2）
1-1  增强现实的标识	（2）
1-2  矩形标识	（3）
1-3  其他类型的标识	（7）
1-4  随机点标识	（10）
1-5  利用微透镜片的标识	（12）
1-6  增强现实标识的总结与展望	（16）
参考文献	（17）
2．基于自然特征的位置配准	（19）
2-1  概述	（19）
2-2  利用特征点的识别	（20）
2-3  利用特征点的跟踪	（23）
2-4  增强现实的实现原理	（25）
2-5  评价数据集	（27）
2-6  利用深度信息的位置配准方法	（28）
参考文献	（29）
第2章  基础篇（二）	（32）
1．头盔显示器	（33）
1-1  增强现实与头盔显示器	（33）
1-2  头盔显示器的分类	（33）
1-3  头盔显示器的设计	（35）
1-4  广角视野影像的呈现	（39）
1-5  时滞应对	（41）
1-6  深度线索的再现	（41）
1-7  多通道性	（44）
1-8  感知	（44）
1-9  今后的展望	（44）
参考文献	（45）
2．空间型增强现实（Spatial Augmented Reality）	（47）
2-1  几何配准	（48）
2-2  光学补偿	（50）
2-3  光传输	（52）
2-4  利用编码孔径的投影与离焦补偿	（55）
2-5  基于多投影器的高分辨成像	（56）
2-6  高动态范围投影	（57）
参考文献	（58）
3．交互（Interaction）	（62）
3-1  增强现实环境中交互的基本设计	（62）
3-2  不同硬件配置的交互方法	（63）
3-3  总结	（72）
参考文献	（72）
第3章  发展篇（一）	（78）
1．场景的形状建模	（79）
1-1  基于主动式测量的密集点群获取	（79）
1-2  基于被动式测量的点群获取	（84）
1-3  点群数据处理及其在增强现实和虚拟现实中的应用	（89）
参考文献	（94）
2．光照一致性	（97）
2-1  光照一致性是什么	（97）
2-2  光照一致性的构成要素	（98）
2-3  光源环境测算技术	（100）
2-4  现实物体形状与反射特性测算技术	（101）
2-5  AR/MR的实时渲染技术	（102）
2-6  画质的一致性	（105）
参考文献	（106）
3．视图管理与可视化	（108）
3-1  注释的视图管理	（109）
3-2  Diminished Reality（隐息现实）	（113）
3-3  焦点与深度的感知	（114）
3-4  小结	（115）
参考文献	（115）
4．利用自由视点影像技术的混合现实感	（116）
4-1  自由视点影像技术在增强现实领域的应用	（116）
4-2  应用以静止物体为对象的自由视点影像技术的混合现实感	（117）
4-3 应用以运动物体为对象的自由视点影像技术的混合现实感	（119）
4-4  小结	（125）
参考文献	（126）
第4章  发展篇（二）	（129）
1．多通道/多感交互增强现实	（130）
1-1  多通道增强现实	（130）
1-2  多感交互增强现实	（137）
参考文献	（143）
2．增强现实与机器人的协同	（147）
2-1  机器人与传感器	（148）
2-2  机器人与人机交互界面	（149）
2-3  与机器人协同的增强现实技术的可行性	（156）
参考文献	（157）
3．室内外无缝定位	（158）
3-1  各种测位方法	（158）
3-2  混合定位	（158）
3-3  行走轨迹测算（PDR）	（164）
参考文献	（169）
4．基于增强现实的交流	（170）
4-1  基于增强现实的协同工作	（170）
4-2  使用增强现实的同一地点交流	（176）
4-3  利用增强现实的远程异地交流	（178）
参考文献	（185）
第5章  实践篇	（189）
1．绪论	（190）
1-1  评价指标的确定	（190）
1-2  数据集的准备	（193）
1-3  TrakMark：摄像机跟踪方法对标的标准化活动	（194）
1-4  小结	（202）
参考文献	（203）
2．Casper Cartridge	（204）
2-1  Casper Cartridge项目概要	（205）
2-2  Casper Cartridge构成	（206）
2-3  Casper Cartridge开发准备（硬件）	（208）
2-4  Casper Cartridge开发准备（软件与数据）	（209）
2-5  Casper Cartridge的选择	（210）
2-6  Ubuntu Linux用USB记忆棒的制作步骤	（213）
2-7  Casper Cartridge的制作步骤	（216）
2-8  应用Casper Cartridge的注意事项	（217）
2-9  增强现实程序事例	（219）
2-10  增强现实使用的库（OpenCV、OpenNI、PCL）	（224）
2-11  摄像机跟踪性能指标的计算	（227）
参考文献	（228）
3．医疗领域的增强现实应用	（229）
3-1  诊疗现场应用	（229）
3-2  手术导航	（232）
3-3  医疗教育应用	（235）
3-4  远程医疗交流应用	（237）
参考文献	（239）
4．产业领域的增强现实应用	（241）
4-1  产业领域的增强现实应用事例	（241）
4-2  产业增强现实应用系统的性能指标	（244）
参考文献	（247）
第6章  结束章	（248）
1．今后的增强现实	（249）
2．增强现实的远景	（252）
参考文献	（254）
作者介绍	（255）

1．增强现实
增强现实（Augmented Reality，AR）技术正在快速普及应用。以增强现实作为广告宣传用语的新产品、新服务几乎每日可见。智能手机里有成千上万个增强现实的应用app，大多数家庭的游戏机控制器也已具备增强现实功能。以谷歌眼镜为代表的智能眼镜更是让人实实在在地感觉到增强现实已经开始渗透到人们的日常生活之中。
那么增强现实到底是什么呢？通俗地讲，增强现实可以理解为将影像叠加在现实世界中从而提供相关方便功能或快乐体验的技术。如果根据目前所看到的产品或服务来判断的话，这样的解释并无大碍。但是，原本增强现实的含义并不仅限于添加相关视觉信息，而是一个范围很广的概念。广义上讲，所谓增强现实是扩展现实世界的技术的统称，也指缘于该技术而得到扩展的现实环境本身。该技术利用计算机对从现实世界获取的“感觉信息”进行“调制”加工，从而改变所获取的部分信息。所谓“调制”，不仅可以包括添加，还可以包括删除、强调、衰减等处理方式。
例如，图1所示的是利用增强现实技术评价家具布局方案的应用实例。在室内举起平板电脑，虚拟的家具就会叠加显现在摄像机拍摄的影像上，从而可以对其大小、样式、布置等进行斟酌评判。此时，如果将一个虚拟家具放置在一个已有实物家具的位置上，就会导致实物家具与虚拟家具重置，产生错误结果。如果能用增强现实技术在影像上抹消掉一个实物家具，再换上一个虚拟家具，就能更方便地评判房间的展示效果。再进一步，为了得到更逼真的房间布局仿真效果，用户是否希望能够准确地再现“房间的灯照在虚拟家具上，而虚拟家具的影子又落在地板或周围实物家具上”的情形呢？可见，我们寄希望于利用增强现实不仅可以添加虚拟的信息，还能够随意地调制现实世界的信息以实现某种用途或达到某种目的。
 
图1  利用增强现实技术评价家具布局方案的应用实例
（图片提供：Augmented Pixels Co.Ltd.）
目前的增强现实技术绝大多数利用的是视觉信息，其次是听觉信息。但是，如果增强现实也能够利用好其他感觉信息，就可以更好地表现虚拟物体。例如，如果既能够呈现发动机的影像和声音，又能够再现其产生的气味或振动，则虚拟乘车的现实感就会大大增强。所以，广义的增强现实应该将视觉、听觉、嗅觉、味觉、触觉等所有的感觉信息当作调制的对象。
2．增强现实的特征
通过将增强现实同与其相近或相异的概念进行比较，可以更加清晰地理解增强现实的概念。
首先，虚拟现实（Virtual Reality，VR）是与需要调制所有感觉信息的增强现实相近的概念。共同点是两者都旨在最终能够自由自在地产生所有感觉信息；两者也都要求实时进行三维空间场景的信息处理，在感知信息或信息呈现等许多基本技术方面有相似之处。但是，虚拟现实隔绝了从现实世界获得的感觉信息，取而代之的是人为再现的感觉信息，这一点与增强现实有着根本性的区别。
其次，增强现实与可穿戴计算技术的相近之处是，用户在现实世界的各种活动中都交互地利用计算机信息。但是，可穿戴计算并不要求呈现的信息必须与用户所处的现实世界相对应。例如，社交网络软件SNS的新消息显示在智能眼镜上，但这并不会对眼前的现实世界产生任何扩展效果。
再者，数字合成技术所带来的视觉效果与增强现实的效果可以匹敌。但最大的不同是，数字合成技术在多数情况下不能实时生成视觉效果，后期制作需要花费大量的人力和时间。
如此可见，增强现实之所以是增强现实，有三个重要因素：①现实世界与虚拟世界双方信息都可被利用；②上述信息可实时且交互利用；③虚拟信息以三维的形式对应现实世界。增强现实的三要素（图2）是1997年由Azuma提出的，作为增强现实的狭义定义已广为人知。
 
图2  增强现实的三要素
还有一个与增强现实相近的概念，就是所谓的增强虚境（Augmented Virtuality，AV）。增强现实的基础说到底还是现实世界，利用虚拟的信息将其增强扩展；而增强虚境的基础则是虚拟世界，利用现实世界的信息将其增强扩展。例如，给虚拟美术馆里加上再现了实物美术品的虚拟展示物，那么该展示物就使虚拟世界（虚拟美术馆）得到了增强扩展。无论是增强现实还是增强虚境，根据用途或应用的目的，现实世界信息和虚拟世界信息的混合搭配比例差别是很大的。如果一点虚拟信息要素都没有的话，那就单单是现实世界；如果完全丢弃现实世界的信息，只剩虚拟信息的话，则与虚拟现实等价无二。也就是说，如果将现实世界和虚拟现实世界当作两端，那么就可以大致区分出靠近现实世界一侧各层次的增强现实及靠近虚拟现实一侧各层次的增强虚境，由此构成边界并不明确的技术系列。Milgram等人1994年就研究这样一个技术连续体，提出了Reality-Virtuality Continuum（R-V连续体）的概念（图3）。另外，更广义的一个概念，包括增强现实和增强虚境在内的，某种比例的现实世界与虚拟世界的混合体，则称作混合现实感MR（Mixed Reality），或者叫作复合现实感。
 
图3  R-V连续体

3．增强现实的发展
20世纪90年代之前是与增强现实相近的概念和系统缓慢发展的时期。时任美国科学研究和开发办公室主任Bush等人在20世纪30年代提出的Memex概念应该是最早描绘出来的、借助科学技术可以实现的未来增强现实思想。Memex描绘了利用当时所能想到的最尖端科学技术实现支持人类信息检索活动的一种理想的外部记忆装置。Memex将书籍、图像、报纸等各种信息存放在微缩胶卷里，只须键入与想要查询信息相关联的代码，相关信息即刻投影在指定的观察位置上。Bush发表于1945年的文章《诚若所思》（As We May Think）描述了一个进一步扩展了Memex概念的、能令人联想到类似于现在的万维网或移动虚拟现实的系统。
1957年，Morton Heilig设计出了多感觉（多模态）显示器Sensorama。这是最早的一台能够将立体声、气味、风、振动等各种各样的感觉与胶片影像搭配合成呈现的装置。不过，Sensorama是机械式的系统，不能动态地编辑其所展示的内容。
1965年，Sutherland提出了终极显示器（The Ultimate Display）的设想。该设想最早提出要通过感知用户的行为动作来生成与之同步的计算机影像，让人们能够获得置身于人造三维世界中的体验。1968年，体现这一设想的光学透视头盔显示器（Optical See-Through Head Mounted Display，OSTHMD）、机械式三维传感器、渲染用计算机等设备面世，实现了与用户行为动作同步的实时三维计算机图形处理。这是第一套完全具备用户行为测量感知、三维场景更新处理、显示器上的信息显示三功能要素的闭环反馈系统，堪称当今增强现实或虚拟现实的鼻祖。
20世纪90年代是梳理增强现实概念、研发基础技术的黎明期。在此时期，增强现实由于实现的成本高昂，因此主要应用于具有相应经济承受能力的军事、医疗、工业制造等领域。1990年，Caudell等人将利用透视头盔显示器HMD对应用户所处位置显示影像的技术命名为增强现实（Augmented Reality），讨论了该技术的各项优点及其在制造业的应用前景。此后，增强现实的各项单元实现技术的研发日益活跃。例如，暦本纯一于1994年首次研发了以图像图案（二维码）作为标识物的增强现实导航系统NaviCam（图4），又于1996年提出了将图像图案（二维码）不仅仅当作标识物，还用于作为摄像机与现实环境相对位置姿态识别的增强现实标识（marker）CyberCode。1999年，加藤博一等人基于上述思想开发了图像标识库ARToolkit。ARToolkit是个开源软件，对后来增强现实技术的普及贡献巨大。1998年，Raskar等人首次提出了利用投影设备的空间型增强现实（SAR，Spatially Augmented Reality）思想开辟了增强现实的新形态。
2000年以后，增强现实技术快速普及，在游戏、时装秀等休闲领域得到应用。在这个时期，随着自带摄像头手机的广泛使用，移动终端上的增强现实应用初见端倪。2003年，Wagner等人率先实现了移动终端PDA（Personal Digital Assistant，掌上电脑）的增强现实应用。增强现实真正开始普及还是在2007年左右，而得到公众广泛了解则是在2009年前后。2007年，索尼电脑娱乐公司SCE（Sony Computer Entertainment Inc）发布首款增强现实的消费者游戏“THE EYE OF THE JUDGEMENT（审判之眼）”，2009年6月，谷歌搜索关键词“augemented reality（增强现实）”的关注度第一次超过“virtual reality（虚拟现实）”。2011年，日本任天堂发售增强现实游戏标配的nintendo3DS便携游戏机，越来越多的孩子们平时就能体验到增强现实。
 
图4  增强现实导航系统NaviCam（图片提供：暦本纯一）
现如今，不单单是学术领域或产业领域，消费服务领域的增强现实应用范围也日益扩大。例如，行车导航、行路定位、化妆体验等日常生活帮助，报纸、杂志等纸质媒介与智能手机结合的广告媒体，利用空间型增强现实全息投影技术的演出活动等媒体艺术，增强现实的应用数不胜数。增强现实未来的发展将在第6章进行简单介绍。
4．本书内容安排
本书的主要读者为正在从事和准备从事增强现实相关工作的人士，当然，也可以作为增强现实技术相关专业的学生开展毕业设计，以及硕士、博士论文研究的参考书目。本书大致内容结构如下。
? 增强现实的定义、特点、发展历史、应用范围（前言）。
? 基础篇：介绍增强现实至少要掌握的软/硬件技术（第1章和第2章）。
? 发展篇：介绍实现更高级增强现实所需了解的知识和应用案例，虽然这些内容并不是典型增强现实应用必须掌握的（第3章和第4章）。
? 实践篇：介绍可供读者参考的实际动手开发时所需的知识和实用现场事例（第5章）。
? 增强现实的未来展望（第6章）。
本书的内容结构并不要求从头至尾依序阅读，读者可以根据自身对于增强现实的理解程度或必要性，择取相应章节阅读学习。
参考文献
[1] R.T. Azuma. A survey of augmented reality, MIT Press, Presence: Teleoperators and Virtual Environments, 1997,6(4):355-385.
[2] P.Milgram and F. Kishino. A taxonomy of mixed reality visual display, IEICE Trans. Information Systems, 1994,EIFD(12):1321-1329.
[3] I.E. Sutherland. The ultimate display, Proceedings of IFIP Congress, 1965:506-508.
[4] T.P.Caudell and D.W.Mizell. Augmented reality: an application of heads-up display technology to manual manufacturing processes, Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, 1992:659-669.
[5] 暦本纯一，NaviCam：実世界状況を認識する携帯型コンピュータ，情報処理学会プログラミングシンポジウム「モーバイルユビキタスコンピューティング」，1995.
[6] 暦本纯一，２次元マトリックスコードを利用した拡張現実感の構成手法，インタラクティブシステムとソフトウェアIV，近代科学社，1996.
[7] H.Kato and M. Billinghurst, “Marker tracking and HMD calibration for a video-based augmented reality conferencing system”, Proceedings of the 2nd International Workshop on Augmented Reality (IWAR), 1999.
[8] R.Raskar, G.Welch, and H.Fuchs, “Spatially augmented reality”, Proceedings of the 1st International Workshop on Augmented Reality (IWAR), 1998.
[9] D.Wagner and D.Schmalstieg, “First steps towards handheld augmented reality”, Proceedings of the 7th International Conference on Wearable Computers, 2003:127-135.

工业/农业技术-电子/通信（新）

刘继红， 工学博士，北京航空大学飞行器制造工程系教授、博士生导师。主要研究方向及特色： 现代设计理论与方法、数字化设计与制造技术、飞机制造技术、人工智能及其工程应用。发表学术刊物论文50余篇，其中国际刊物8篇，SCI收录3篇。译著1篇，合著1篇。曾经负责和参与国家自然科学基金重大、重点项目以及国家863计划项目等国家级项目5项，其它项目4项。

本书配套资源下载

对不起，暂无音视频资源！

增强现实（AR）技术权威指南：基础●发展●实践