扩展现实 (XR) 是指增强或取代我们对世界的观察的技术。这通常是通过将数字信息和图形叠加或浸入现实世界和虚拟环境，或两者结合来实现的，这一过程也称为空间计算。
XR 涵盖增强现实 (AR)、虚拟现实 (VR) 和混合现实 (MR)。虽然这三种“现实”具有重叠的特征和要求，但每种技术都有不同的目的和底层技术。
XR 将在个人设备和沉浸式体验的演变中发挥根本性作用，从智能手机的配套设备到独立的 Arm 驱动的可穿戴设备，例如 VR 耳机或 AR 智能眼镜，真实、数字和虚拟世界融合为用户的新现实。
尽管 XR 设备因 AR、MR 和 VR 体验的类型以及它们旨在实现的用例的复杂性而有所不同，但实际技术有一些基本的相似之处。所有 XR 可穿戴设备的核心部分是能够使用输入方法(例如对象、手势和注视跟踪)来导航世界并显示上下文相关信息。深度感知和映射也是通过深度和位置功能实现的。
XR 有哪些优势和挑战?
与其他设备相比，XR 技术具有多项优势，包括：
通过更自然、更直观的用户界面增强交互;
更真实的培训和教育模拟;
通过虚拟工作空间和远程协作提高生产力;
更加身临其境的娱乐体验;
为残障人士提供的替代互动方法。
然而，XR 设备仍存在一些需要克服的挑战。其中包括：
最初的看法是硬件笨重且不舒服。
无线设备的电池寿命有限。
复杂且资源密集的内容创作。
需要低延迟和高性能。
确保最终用户的数据隐私和安全。
什么是增强现实 (AR)?
增强现实通过将我们所看到的内容与计算机生成的信息叠加来增强我们对现实世界的观察。如今，这项技术在智能手机 AR 应用中非常普遍，这些应用要求用户将手机放在身前。通过从摄像头拍摄图像并实时处理，该应用可以显示上下文信息或提供看似植根于现实世界的游戏和社交体验。
过去十年，智能手机 AR 有了显著的进步，其中的一些很好的例子是 Snapchat，用户可以通过 AR 应用实时面部滤镜，以及宜家，用户可以在购买之前通过 AR 在家中看到家具。然而，这些应用的广度仍然有限。人们越来越关注通过可穿戴智能眼镜提供更全面的 AR 体验。这些设备必须将超低功耗处理器与多个传感器(包括深度感知和跟踪)结合在一起，所有这些都在一个足够轻便、足够舒适、可以长时间佩戴的外形内。
AR 智能眼镜需要在用户移动时始终保持开启、直观且安全的导航。这需要在深度、3D SLAM、语义、位置、方向、姿势、物体识别、音频服务以及手势和眼球追踪等功能方面取得重大进展。
所有这些进步和功能都需要在传统计算机视觉 (CV) 的基础上支持 AI 和机器学习 (ML) 功能。事实上，新的紧凑型语言模型在 XR 可穿戴技术中正变得越来越有影响力，这些模型旨在在较小的设备上高效运行。这些模型支持实时语言处理和交互，这意味着 XR 可穿戴设备可以实时理解和响应自然语言，让用户能够使用实时语音命令与 XR 应用程序进行交互。