第1章

什么是混合现实

1.1　混合现实的概念

参考文档：https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality。

混合现实（Mixed Reality, MR）的概念最早是由加拿大人Paul Milgram和日本人Fumio Kishino在其论文《混合现实视觉显示的分类》***同提出来的，文章中提出：虚拟现实（VR）技术经常与各种其他环境相关联使用，不一定完全是沉浸式的体验，而是处于真实与虚拟之间的虚拟连续体（Virtuality Continuum, VC）上的（见图1.1）。这种将“虚拟”与“真实”合并的技术，我们将其统称为混合现实（MR）。

图1.1

混合现实技术是真实世界与数字世界互相融合的结果，也是人、计算机及环境之间相互作用、不断演化的结果。在过去的几十年中，人们不断探索人与计算机的输入和输入关系，即所谓的人机交互。我们通常可以通过鼠标、键盘、触摸屏、声音，或者类似Kinect这样的体感设备等与计算机进行交互。甚至随着传感器技术的发展，让计算机能够根据不同类型的传感器输入，有效地理解或感知环境。比如，感知环境的边界、表面、光照、声音，识别对象和对象的位置等。图1.2所表达的就是这种人与环境、计算机之间的相互作用。

在今天，总的来说，计算机不但可以接收到人的输入，还可接收到环境的输入。这是混合现实体验的基础，有了这些技术，我们才能将物理世界的信息转化为数字信息。例如，当一台混合现实设备发现真实环境中有一个球在运动时，马上将球的运动状态转换为虚拟的球运动。这就相当于环境对计算机进行了输入，如果没有环境的输入，这种转换是不可能实现的。

AR（增强现实）和MR（混合现实）的区别是什么？这是我经常会遇到的问题。这个问题很难准确回答，因为MR并不是一个有明确边界的概念。因此我给出的答案大部分情况下都不能让提问者满意，但是依然可以尝试解释一下。

AR（增强现实）：不具有环境感知能力，仅仅将图形叠加于物理世界的视频流上。注意这里的“叠加”一词，说明AR无法形成图形与真实环境的混合体验，比如不能与真实环境产生互相的遮挡关系。

VR（虚拟现实）：完全沉浸式的体验，无法知道真实世界发生了什么，或者说，你根本看不到真实世界。

MR（混合现实）：处于AR与MR中间的状态。

由于MR是一个中间状态，在其两端，左为物理世界，右为数字世界。如图1.3所示，从左到右依次为：物理现实，增强现实，虚拟现实，数字现实。这个图谱又称为混合现实光谱（mixed reality spectrum）。

今天我们能够看到的大多数设备都只实现了这个图谱上非常小的一部分，目前没有哪一个设备可以呈现整个光谱上的体验。但是相信随着时间的推移，技术的进步，MR设备也将扩展其在图谱中的适用范围。虽说路漫漫，但我们仍然坚信未来属于MR。

图1.3