苹果新专利曝光！苹果眼镜或将引入类似于Zoom的背景替换技术

　　财联社(上海，编辑黄君芝)讯，苹果一直在研究如何让类似苹果眼镜(Apple Glass)这样的头戴式显示器(头显)进行背景实时替换，或者用苹果AR图像来替换纯色背景。
　　据专注于深入研究苹果公司的美国科技新闻网站AppleInsider报道，苹果于今年2月向美国专利和商标局(简称USPTO)提交了一项名为“用于混合现实的低延迟色度键控嵌入头戴式显示器”(Low latency chroma keying embedded in a head-mounted display for mixed reality)的新专利，不过本周这项专利才被披露出来。自2月份以来，新冠病毒全球四处蔓延，人们被迫“宅家工作”，视频会议软件逐渐崛起。人们喜欢用其他图像，如徽标或海滩场景来取代办公室和家庭的背景。但这些东西很少能很好地发挥作用，特别是当发言人在移动时，效果会更差。然而，即使这么做并不是很有效，这种背景替换仍需要大量的数据处理能力。
　　在2020年7月的更新之前，微软Skype iOS版本甚至不能像Mac或PC版本那样模糊背景。这种模糊是一个复杂的过程，其中一部分涉及确定一个人的头部位置和背景开始的位置。色度键(Chroma key)让这一过程变得非常简单，因为人物被放置在一个单一的纯色背景前。这和电影中使用的绿屏或蓝屏过程是一样的。
　　因此，当可以明显分辨出视频会议画面的哪一部分是说话的人，哪一部分是他们的背景时，像Zoom或Skype这样的系统就可以更容易地替换背景。不过那些都是2D系统，而苹果眼镜的目标是用3D的方式来实现。这样当戴眼镜者四处走动时，背景就可以被替换掉，而不是仅仅看着一个平面屏幕。因此，苹果的专利申请同时还涉及到为苹果AR制作3D立体版背景替换，以及尽力提高其工作速度。这部分与头显处理能力有关，但也与将数据返回用户视野的速度有关。

　　财联社(上海，编辑黄君芝)讯，苹果一直在研究如何让类似苹果眼镜(Apple Glass)这样的头戴式显示器(头显)进行背景实时替换，或者用苹果AR图像来替换纯色背景。
　　据专注于深入研究苹果公司的美国科技新闻网站AppleInsider报道，苹果于今年2月向美国专利和商标局(简称USPTO)提交了一项名为“用于混合现实的低延迟色度键控嵌入头戴式显示器”(Low latency chroma keying embedded in a head-mounted display for mixed reality)的新专利，不过本周这项专利才被披露出来。自2月份以来，新冠病毒全球四处蔓延，人们被迫“宅家工作”，视频会议软件逐渐崛起。人们喜欢用其他图像，如徽标或海滩场景来取代办公室和家庭的背景。但这些东西很少能很好地发挥作用，特别是当发言人在移动时，效果会更差。然而，即使这么做并不是很有效，这种背景替换仍需要大量的数据处理能力。
　　在2020年7月的更新之前，微软Skype iOS版本甚至不能像Mac或PC版本那样模糊背景。这种模糊是一个复杂的过程，其中一部分涉及确定一个人的头部位置和背景开始的位置。色度键(Chroma key)让这一过程变得非常简单，因为人物被放置在一个单一的纯色背景前。这和电影中使用的绿屏或蓝屏过程是一样的。
　　因此，当可以明显分辨出视频会议画面的哪一部分是说话的人，哪一部分是他们的背景时，像Zoom或Skype这样的系统就可以更容易地替换背景。不过那些都是2D系统，而苹果眼镜的目标是用3D的方式来实现。这样当戴眼镜者四处走动时，背景就可以被替换掉，而不是仅仅看着一个平面屏幕。因此，苹果的专利申请同时还涉及到为苹果AR制作3D立体版背景替换，以及尽力提高其工作速度。这部分与头显处理能力有关，但也与将数据返回用户视野的速度有关。
　　苹果表示，“我们需要的是一个可穿戴式沉浸式头显(HMD)，利用嵌入式立体RGB摄像头捕捉环境，做实时的颜色键控，以及一个显示系统来显示增强了虚拟内容的真实世界图像。”
　　“该系统以高帧率(通常为75帧/秒或更多)运行，通过捕捉图像并将其格式化以在头显本身中显示，它实现了小于一帧的延迟。”该公司补充说。
　　简单来说，苹果的想法就是，头显拥有相机传感器，在混合现实环境中执行Chroma key，并且要在最小延迟情况下完成。
　　苹果认为，低延迟是实现良好“沉浸感”的关键因素。低延迟是通过在头显本身嵌入处理来实现的，具体来说，就是将摄像头图像格式化，检测所选颜色范围，并与虚拟内容进行合成。不过，该专利申请并没有解决替换图像来自哪里的问题，也没有详细说明如何指示替换图像。在Zoom或Skype会议中，这将由演讲者自己进行选择。但该专利确实表明，其实际应用将包括游戏、视频和虚拟对象的使用。