太阳城集团

  • / 20
  • 下载费用:30 金币  

用于显示图像的方法、设备和计算机程序.pdf

摘要
申请专利号:

CN201580048858.8

申请日:

2015.09.11

公开号:

CN106716302A

公开日:

2017.05.24

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06F 3/01申请日:20150911|||公开
IPC分类号: G06F3/01; G06F3/0489(2013.01)I 主分类号: G06F3/01
申请人: 诺基亚技术有限公司
发明人: J·莱帕南; P·萨里; E·勒波南; A·勒蒂涅米
地址: 芬兰埃斯波
优先权: 2014.09.11 EP 14184455.5
专利代理机构: 北京市金杜律师事务所 11256 代理人: 酆迅
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201580048858.8

授权太阳城集团号:

|||

法律状态太阳城集团日:

2017.06.16|||2017.05.24

法律状态类型:

实质审查的生效|||公开

摘要

太阳城集团本公开的示例涉及用于显示图像的方法、设备和计算机程序。在某些示例中,检测位于头戴式显示器的用户的真实世界视点中的真实世界物理对象。这样的检测触发对检测到的真实世界物理对象的至少一部分的至少一个捕获图像在头戴式显示器上的显示。

权利要求书

1.一种方法,包括至少部分地引起产生以下操作的动作:
检测位于头戴式显示器的用户的真实世界视点中的真实世界物理对象;以及
响应于所述检测,触发检测到的所述真实世界物理对象的至少一部分的至少一个捕获
图像在所述头戴式显示器上的显示。
2.根据权利要求1所述的方法,其中所述真实世界对象是用户输入设备。
3.根据权利要求1或2所述的方法,进一步包括:在所述头戴式显示器上显示虚拟现实
环境。
4.根据权利要求3所述的方法,进一步包括:确定与所述真实世界对象的用户交互在所
述虚拟现实环境内的可用性,并且其中检测所述真实世界物理对象响应于确定的所述可用
性。
5.根据前述权利要求中的任一项或多项所述的方法,其中检测的所述真实世界对象的
至少一部分的所述至少一个捕获图像包括以下中的一个或多个:
捕获图像的序列、捕获的视频、实时捕获的图像和实况相机馈送。
6.根据前述权利要求中的任一项或多项所述的方法,进一步包括:监测所述用户的真
实世界视点。
7.根据权利要求6所述的方法,进一步包括:根据监测的所述用户的真实世界视点来对
所述至少一个捕获的图像在所述头戴式显示器上的所述显示进行定位。
8.根据前述权利要求中的任一项或多项所述的方法,进一步包括:捕获所述用户的真
实世界视点的至少一个图像。
9.根据权利要求8所述的方法,其中检测所述用户的真实世界视点中的所述真实世界
对象包括:对所述用户的真实世界视点的捕获的所述至少一个图像执行对象识别。
10.根据前述权利要求中的任一项或多项所述的方法,其中所显示的捕获的所述至少
一个图像基本上由所述真实世界对象组成。
11.根据前述权利要求中的任一项或多项所述的方法,进一步包括:变换在所述头戴式
显示器上显示的虚拟环境的显示,以容纳所述真实世界物理对象的捕获的所述至少一个图
像的所述显示。
12.根据前述权利要求中的任一项或多项所述的方法,进一步包括:响应于对用户输入
的检测,移除所述真实世界物理对象的捕获的所述至少一个图像的所述显示。
13.一种设备,包括被配置为使所述设备能够至少执行如权利要求1至12中的一项或多
项所述的方法的装置。
14.一种芯片组、模块、设备或头戴式显示器,包括根据权利要求13所述的设备。
15.一种计算机程序,当由至少一个处理器执行时,至少引起如权利要求1至12中的任
一项或多项所述的方法被执行。

说明书

用于显示图像的方法、设备和计算机程序

技术领域

本公开的示例涉及用于显示图像的方法、设备和计算机程序。不影响前述内容,一
些示例涉及用于在虚拟现实显示设备中显示真实世界中所捕获图像的方法、设备和计算机
程序。

背景技术

虚拟现实显示设备(例如,诸如头戴式显示器(HMD),近眼显示器(NED),虚拟现实
护目镜/头盔)通常是完全沉浸式的,因为虚拟现实显示设备的用户可能仅能够看到在虚拟
现实显示设备的显示器上所显示的内容,例如,在虚拟世界中发生了什么。然而,这种完全
沉浸式虚拟现实显示设备在虚拟现实显示设备的用户希望与真实世界交互时呈现出一些
问题。

任何先前公布的文档或本说明书中的任何背景技术的列举或讨论不应被视为承
认文档或背景技术是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可
以解决或者不解决一个或多个背景技术中的问题。

发明内容

本发明如独立权利要求阐明的那样。

根据本公开的至少一些但不一定是所有示例,提供了一种方法,包括至少部分地
引起产生以下操作的动作:

检测位于头戴式显示器的用户的真实世界视点中的真实世界物理对象;以及

响应于所述检测,触发检测到的真实世界物理对象的至少一部分的至少一个捕获
图像在头戴式显示器上的显示。

根据本公开的至少一些但不一定是所有示例,提供了一种设备,包括被配置为使
得该设备能够至少执行上述方法的装置。

根据本公开的至少一些但不一定是所有示例,提供了一种设备,包括:至少一个处
理器;以及至少一个包括计算机程序代码的存储器;至少一个存储器和计算机程序代码被
配置为与至少一个处理器一起使得装置至少执行上述方法。

根据本公开的至少一些但不一定是所有示例,提供了一种计算机程序,当由至少
一个处理器执行时,使得至少上述方法被执行。

根据本公开的至少一些但不一定是所有的示例,提供了一种由指令编码的非暂态
计算机可读介质,当由至少一个处理器执行时,使得至少上述方法被执行。

根据本公开的至少一些但不一定是所有示例,提供了一种芯片组或模块,其包括
被配置为使得至少上述方法被执行的处理电路系统。

当前讨论的示例和所附权利要求可以以对本领域普通技术人员显而易见的任何
方式适当地组合。

附图说明

为了更好地理解对于理解本发明的详细描述和某些实施例有用的本公开的各种
示例,现在将仅通过示例的方式参考附图,其中:

图1示意性地示出了一种方法;

图2示意性地示出了另一种方法;

图3示意性地示出了一种设备;

图4示意性地示出了另一设备;

图5示意性地示出了一种方法流程图;

图6A、7A和8A示意性地示出了使用中的设备,图6B、7B和8B示出了设备的显示器的
对应示例屏幕截图;

图9A和10A示意性地示出了设备的进一步使用,图9B和10B示出了设备的显示器的
对应示例屏幕截图;

图11A和11B示出了设备的显示器的示例屏幕截图;并且

图12A和12B示出了设备的显示器的示例屏幕截图。

具体实施方式

附图示意性地示出了包括至少部分地引起导致以下结果的动作的方法:检测
(101)位于头戴式显示器(610)的用户(603)的真实世界视点(602)中的真实世界物理对象
(601);响应于所述检测,触发(102)所检测到的真实世界对象(601)的至少一部分的至少一
个捕获图像(601')在头戴式显示器(610)上的显示。

在不限制权利要求的范围的情况下,本公开的一些示例的优点可以是使得用户能
够在佩戴头戴式显示器时观看所捕获的真实世界对象的图像,从而有助于用户与物理真实
世界对象的交互。在某些特定示例中,头戴式显示器被配置为显示虚拟现实环境以及所检
测到的真实世界对象,该真实世界对象的所捕获到的图像对应于用于在虚拟现实环境中控
制或通信的用户输入设备而被显示。在某些方面,可以想到提供“增强的虚拟现实”(参见
“增强现实”)的本公开的示例,其中虚拟现实用“现实”增强,“现实”即真实世界对象的捕获
图像。

头戴式显示器(HMD)例如可以是可佩戴的显示设备,并且可以包括近眼显示器
(NED)。头戴式显示器可以采取例如以下形式:眼镜,护目镜或头盔。头戴式显示器可以被配
置为虚拟现实显示设备,以在除了虚拟现实环境之外,还显示所捕获的真实世界物理对象
的图像。

用户的真实世界视点可以是例如用户的真实世界:视点、视场、视角
(perspective)、视线或参照系。用户的真实世界视点可以取决于或涉及用户的眼睛和/或
头部的方位/方向。

现在将参考附图描述本公开的各种示例。在附图中使用类似的附图标记来表示类
似的特征。为了清楚起见,不一定在所有附图中显示所有附图标记。

图1示意性地示出了根据本公开的示例的方法100的流程图。图1的组件框是功能
性的,并且所描述的功能可以或可以不由单个物理实体(诸如参考图3中300所描述的)来执
行。

在框101中,检测位于头戴式显示器(图7A的610)的用户(图7A的603)的真实世界
视点(图7A的602a)中的真实世界物理对象(例如图7A的键盘601)。在框102中,对用户真实
世界视点(602a)中的真实世界物理对象(601)的检测触发在头戴式显示器(610)上生成检
测到的真实世界对象的至少一部分的至少一个捕获图像(图7A的601')的显示。

图2示意性地示出了根据本公开的示例的另一方法200的流程图。图2的流程图表
示其中的一个可能的场景。所示的流程框的顺序不是绝对必需的,因此原则上可以不按顺
序执行各个框。此外,不是所有的框都是必要的。

在方法200中,用户使用头戴式显示器来观看虚拟现实环境(例如,图6B的虚拟世
界602')。在框201中,确定在虚拟现实环境内是否存在用于与真实世界对象进行用户交互
的可用性/机会。例如,在真实世界对象是用于向虚拟现实环境中提供用户输入(诸如命令
或通信)的用户输入设备的情况下,可以确定是否存在用于经由用户输入设备来进行用户
输入的合适的机会。在某些特定示例中,诸如图6A至图8B所示,这可以对应于弹出聊天框
605'或用于文本输入的其它机会。响应于框201的确定用户与真实世界对象的交互的可用
性,这然后可以触发用于根据框101在用户的真实世界视点中检测真实世界物理对象的过
程。

由于显示真实世界对象的捕获图像占据了头戴式显示器上的显示空间,因此希望
仅在必要时显示捕获的图像。在本公开的一些示例中,通过仅在确定用于经由真实世界对
象的用户交互的机会之后开始框101的过程,这可以提供以下技术效果:当不存在用户与真
实世界对象交互的机会时,避免框101的检测以及后续的框102的显示的不必要的发生。例
如,如果没有用于文本输入的机会,则这避免了对键盘的不必要的检测和在虚拟现实环境
中显示所捕获的键盘的图像,否则这将不仅浪费资源(例如,尤其是处理和功率),而且还避
免遮蔽虚拟现实环境,从而不必要地不利地影响用户在虚拟现实环境中的沉浸水平。

响应于框201的确定过程,可以发生框101中的对用户的真实世界视点中的真实世
界物理对象的检测。该检测可以包括框202中的捕获用户的真实世界视点的至少一部分的
一个或多个图像。这可以例如经由包括一个或多个图像捕获设备的头戴式显示器来实现,
一个或多个图像捕获设备在头戴式显示器上被适当地放置并且校准,使得它们捕获对应于
用户真实世界视点的对象场景的一个或多个第一人称视点图像。即实际上,捕获在用户没
有佩戴头戴式显示器的情况下将会看到的真实世界场景的一个或多个图像。在框203中,对
在框202中捕获的一个或多个图像执行对象/图像识别过程,以便标识和检测真实世界物理
对象,例如确定步骤201所确定的存在进行交互的可用性的真实世界物理对象。通过对象/
图像识别来检测的真实世界物理对象可以对应于一个或多个预定的物理对象,例如用户输
入设备,诸如键盘、小型键盘、游戏控制器、以及包括触敏输入设备和触敏显示器的其他手
动操作的输入设备。

在已经在用户的真实世界视点602a中检测到真实世界物理对象之后,在框102中
使得检测到的真实世界对象的一个或多个图像被显示在头戴式显示器上。如框204所示,这
可以包含裁剪所捕获的用户的整个真实世界视点的图像,使得裁剪后的图像基本上仅由检
测到的真实世界物理对象组成。然后,可以与虚拟现实环境(602a')的显示同时地在头戴式
显示器的显示器上显示裁剪后的图像(例如,图7B的601')。由此,提供了虚拟现实和真实世
界图像的混合,其中真实世界对象的捕获图像被结合到虚拟环境的显示中。

在框205中,监测和跟踪用户的视点。这可以通过可安装在头戴式显示器中的一个
或多个方位或方向传感器来实现,其可以监视和检测头戴式显示器的方位和方向的变化,
从而基于感测到的用户头部的方向和方位(例如,摇、俯仰和转动)来显示确定佩戴头戴式
显示器的用户的真实世界视点。在替代示例中,不基于用户的头部运动来确定用户的视点,
而是可以基于用户的眼睛的方向和方位来确定用户的视点。在该示例中,可以在头戴式显
示器中提供用于感测用户眼睛的视线的方位和方向的一个或多个设备,诸如面向用户眼睛
跟踪用户眼睛运动的内置式相机。

在框206中,确定真实世界对象相对于用户的真实世界视点的相对位置。这可以例
如基于分析从用户的真实世界视点捕获的图像并且确定所捕获的图像中检测到的真实世
界物体的位置来实现。在框207中,所确定的真实世界对象相对于用户的真实世界视点的相
对位置被用来调整在头戴式显示器的显示器内显示的真实世界对象的所捕获图像的相对
位置。具体地,调整所捕获的图像在显示器中的位置,使得其在虚拟环境的显示的视角/用
户的虚拟视点中的相对位置对应于所确定的真实世界对象相对于用户的真实世界视点的
相对位置。在不限制权利要求的范围的情况下,本公开的一些示例的优点可以是使得捕获
的图像能够显示在头戴式显示器的显示器中的虚拟位置处,该虚拟位置对应于相对于该用
户的真实世界视点的该对象的真实世界位置。通过跟踪真实世界对象相对于用户的真实世
界视点的相对位置,可以保持真实世界对象相对于用户的真实世界视点/真实世界参照系
的位置与真实世界对象相对于用户的虚拟视点/虚拟参照系的所显示的捕获图像的位置之
间的对应关系。

在框208中,可以检测用户输入,诸如由头戴式显示器的图像捕获设备捕获和识别
的预定手势,其在框209中导致捕获图像的显示的移除。这使得用户能够选择性地控制所捕
获的图像的显示的移除,当用户不再需要/要求其显示时。例如,用户可能已经完成了他或
她与真实世界对象的交互和/或不希望与真实世界对象交互,并且因而不需要显示该对象
的捕获的图像。

上文所描述的方法讨论了捕获用户的真实世界视点的一个或多个图像,并且基于
所捕获的图像在头戴式显示器的显示器中显示一个或多个图像。应当理解,捕获的至少一
个图像可以对应于以下中的任何一个:图像序列、视频和实时图像。所显示的至少一个捕获
的图像还可以对应于检测到对象的区域的实况相机馈送。在不限制权利要求的范围的情况
下,本公开的一些示例的优点可以是使得用户能够看到他或她自己,看到他或她自己的与
真实世界对象的实时用户交互,从而便于用户仍在佩戴头戴式显示器并且观看虚拟现实环
境的同时与真实世界对象交互(例如,如图7B所示,看到用户自己的手606'在键盘601'上的
显示)。

在某些示例中,一个或多个框可以以不同的顺序执行,或者在太阳城集团上重叠、串行或
并行地执行,一个或多个框可以以某些方式的组合被省略或添加或改变。例如,框208和209
可以被移动或添加到流程图的任何部分,例如在框201、101和102中的任一个之前或之后。

本公开的示例可以采取方法,设备或计算机程序的形式。因此,示例可以在硬件、
软件或硬件和软件的组合中实现。

图1和图2中所示的框可以表示方法中的动作和/或计算机程序中的指令/代码的
片段。

将理解,每个框和框的组合可以通过各种装置来实现,装置诸如硬件、固件和/或
包括一个或多个计算机程序指令的软件。例如,上述的一个或多个过程可以由计算机程序
指令体现。在这方面,体现上文描述的过程的计算机程序指令可以由存储器设备存储并且
由处理器执行。

如将理解的,任何这样的计算机程序指令可以被加载到计算机或其他可编程设备
(即硬件)上以产生机器,使得当在可编程设备上执行时,指令创建用于实现在框中所规定
的功能的装置。这些计算机程序指令还可以存储在可指导可编程装置以特定方式工作的计
算机可读介质中,以使得存储在计算机可读存储器中的指令产生包括实现在框中所规定的
功能的指令装置的制品。计算机程序指令还可以被加载到可编程设备上,以使得在可编程
设备上执行一系列操作动作,以产生计算机实现的过程,使得在可编程装置上执行的指令
提供用于实现在框中所规定的功能的动作。

现在将参照图3描述根据本公开中的示例的设备300。图3重点在于描述设备的操
作所必需的功能性组件。

设备300包括控制器301。控制器301的实现可以是单独的硬件(例如,包括一个或
多个处理器的处理电路系统和包括一个或多个存储器元件的存储器电路系统)、某些方面
具有软件的形式,包括单独的固件或可以是硬件和软件(包括固件)的组合。

控制器301可以使用能够实现硬件功能的指令来实现,例如通过使用通用或专用
处理器中的可执行计算机程序指令,其可以存储在计算机可读存储介质(磁盘,存储器等)
或由将由这样的处理器执行的信号载体来承载。

在所图示的示例中,设备300包括由处理器302和存储器303提供的控制器301。虽
然在其他实现中示出了单个处理器和单个存储器,但是可以存在多个处理器和/或可以存
在多个存储器,其中的一些或全部可以是集成的/可移除的和/或可以提供永久/半永久/动
态/高速缓存的存储器。

存储器303存储包括计算机程序指令305的计算机程序304,计算机程序指令305在
被加载到处理器302中时控制设备的操作。计算机程序指令提供使设备能够执行当前描述
的方法的逻辑和例程。

至少一个存储器303和计算机程序指令305被配置为利用至少一个处理器302使设
备300至少执行例如太阳城集团图1和图2所描述的方法。

处理器302被配置为从存储器303读取和向存储器303写入。处理器302还可以包括
输入接口306,经由输入接口306,数据(尤其是例如用于检测和显示真实世界对象的图像的
图像捕获数据、用于确定用户视点的传感器数据、用于显示虚拟现实环境的虚拟现实环境
数据和用户输入数据)和/或命令被输入到处理器302。处理器302还可以包括输出接口307,
经由输出接口307,数据(尤其是例如真实世界对象的捕获图像数据,以及用于在头戴式显
示器上显示的虚拟现实环境数据)和/或命令由处理器302输出。

计算机程序可以经由任何合适的传递机制311到达设备300。传递机制311可以是
例如非暂态计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器或数
字通用盘的记录介质或有形地体现计算机程序304的制品。传递机制可以是被配置为可靠
地传送计算机程序304的信号。

设备300可以接收、传播或传输计算机程序304作为计算机数据信号。

对“计算机可读存储介质”、“计算机程序产品”、“有形地体现的计算机程序”等或
者“控制器”、“计算机”、“处理器”等的引用应当被理解为不仅涵盖具有诸如单/多处理器架
构和顺序(冯·诺依曼)/并行架构之类的不同架构的计算机,而且还涵盖了专用电路,诸如
现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备以及其它设备。针对计算机
程序、指令、代码等的引用应当被理解为包含用于可编程处理器的软件或者固件,诸如作为
示例,硬件设备的可编程内容,无论其是用于处理器的指令,还是针对固定功能设备、门阵
列或可编程逻辑设备等的配置设置。

设备可以例如是:电路系统、芯片组、模块或设备/系统310,其额外地包括额外的
设备/组件,例如一个或多个图像捕获设备308、显示设备309和用于检测和监测用户的真实
世界视点的传感器(未示出)。该设备可以被包括在头戴式显示器中,或者可以与头戴式显
示器分离并且与头戴式显示器(直接或以其他方式)通信,例如经由有线或无线通信。该装
置可以用于在头戴式显示器上显示在头戴式显示器的用户的真实世界视点内检测到的真
实世界对象的至少一部分的至少一个捕获图像。

图4示意性地示出了根据本公开的示例的另一设备410。设备410具有提供近眼显
示设备的头戴式显示器的形式,特别是具有用户佩戴的眼镜/护目镜的形式。头戴式显示器
可以提供不透明/不透光/不可看透的可佩戴显示器。

设备410包括图3的设备300以及另外两个向用户提供立体显示的显示设备409,以
及两个图像捕获设备408和408,以使得能够捕获用户的真实世界视点的立体图像。该设备
可以包括一个或多个传感器408'以检测和监测用户的真实世界的视点(例如,用于测量方
向/方位的传感器)。该设备还可以包括一个或多个音频输出设备409'。此外,该设备还可以
包括用于与远程计算设备通信的通信接口(未示出),远程计算设备例如是提供用于在设备
上显示的虚拟现实环境的数据的数据源。

设备300/410可以另外提供一个或多个音频/文本/视频通信功能(例如,电信通
信、视频通信和/或文本传输(短消息服务(SMS)/多媒体消息服务(MMS)/电子邮件)功能),
交互式/非交互式观看功能(例如网络太阳城集团、导航、TV/节目观看功能),音乐录制/播放功能
(例如,运动图像专家组-1音频层3(MP3)或其他格式和/或(频率调制/幅度调制)无线电广
播记录/播放),数据功能的下载/发送,图像捕获功能(例如,使用(例如内置的)数字照相
机)和游戏功能。

尽管上文已经按照包括各种组件的方式描述了上文的装置,但是应当理解,组件
可以实现为或者由装置的相应处理元件或处理器控制。就这一点而言,下文描述的每个组
件可以是以硬件、软件或硬件和软件的组合体现的任何设备、装置或电路系统中的一个或
多个,其被配置为执行各自元件的相应的功能,如下文更为具体的描述的那样。

如在本申请中所使用的,术语“电路系统”是指以下全部内容:

(a)仅硬件的电路实现(诸如仅以模拟和/或数字电路系统的实现);以及

(b)电路和软件(和/或固件)的组合,诸如(如可应用的):(i)处理器的组合或者
(ii)一起工作而使得诸如移动电话或服务器的设备执行各种功能的处理器/软件(包括数
字信号处理器)、软件和存储器的部分;以及

(c)电路,诸如微处理器或者微处理器的部分,其需要软件或固件进行操作,即使
该软件或固件并非物理上存在。

“电路系统”的该定义应用于本申请中对该术语的所有使用,包括在任意权利要求
中。作为另外的示例,如本申请所使用的,术语“电路系统”还将覆盖仅一个处理器(或多个
处理器)或者处理器的一部分及其伴随软件和/或固件的实施方式。例如并且在能够应用于
特定权利要求要素的情况下,术语“电路系统”还将覆盖用于移动电话的基带集成电路或应
用处理器集成电路,或者服务器、蜂窝网络设备或其它网络设备中类似的集成电路。

本公开的示例提供方法和由提供用于执行该方法的动作的功能的各种模块或装
置组成的相应的设备。模块或装置可以被实现为硬件,或者可以被实现为由计算机处理器
执行的软件或固件。特别地,在固件或软件的情况下,本公开的示例可以被提供为包括计算
机可读存储结构的计算机程序产品,在该计算机可读存储结构之上包含用于由计算机处理
器执行的计算机程序指令(即,软件或固件)。

可以在模块中提供设备。如本文所使用的,“模块”是指排除将由终端制造商或用
户添加的某些部分/组件的单元或设备。例如,设备可以被提供为与头戴式显示器结合使用
的模块。

虽然在某些实现方式的示例中,可以在头戴式显示器本身中提供该设备,但是其
他类型的电子设备,例如但不限于手持便携式电子设备、平板计算机、移动电话、个人数字
助理(PDA)、寻呼机、移动计算机、台式计算机、电视机、游戏设备、膝上型计算机、相机、视频
记录器和其他类型的电子系统,可以设置有根据本公开的示例的设备。这样的其他设备和
类型的系统被配置为与头戴式设备的显示器通信并且控制头戴式设备的显示器。

图5示出了与在虚拟现实环境/世界中通过键盘输入文本输入(entry)有关的本公
开的特定示例的流程图500。还参考图6A至8B。

首先,在框501中,确定用户是否能够使用键盘输入任何内容。由于在虚拟环境/世
界视图中显示用户的键盘占用屏幕空间,因此希望仅在需要时显示键盘。如果没有输入任
何内容的可能性,则不执行过程的后序部分,并且将不显示键盘。如果没有输入文本的可能
性,系统将等待,直到在继续过程之前有输入文本的可能性。

输入文本的可能性可以对应于在虚拟环境602'中存在/显示的聊天窗口评论框
605'。这可以指示键盘输入是可能的。如果存在输入文本的可能性,则流程图继续到框502。

在框502中,确定键盘是否在头戴式显示设备的相机的视点中,并且从而确定键盘
是否在用户的真实世界视点中。如果用户的键盘不在相机馈送中(即,根据图6A),则系统等
待,直到键盘在相机馈送中和/或存在输入文本的可能性。在图6A和8A中,用户的真实世界
视点602为键盘601不位于用户的真实世界视点602内。因此,没有捕获到键盘的图像并且在
头戴式显示器上显示,如图6B和8B所示,其中只有虚拟世界环境602'的显示。所显示的虚拟
世界环境602a'具有对应于用户的真实世界视点602a的虚拟视点602a',例如,用户是将他/
她的头部向左、向右还是向上转动,所显示的虚拟环境的视角将进行调整以便表示朝向左、
向右或向上看的相应的虚拟视角/视点。

如果键盘在相机的视图中(例如,用户向下看,使得相机的视图改变并且该相机现
在可以检测到键盘,或者替选地用户可以向上移动键盘,使得该键盘出现在相机的视图中
并且能够被检测),则流程图进行到框503,其中向用户显示相机馈送。可以在头戴式显示器
中显示视频窗口,其显示相机视图的至少一部分。为了确定键盘是否在相机的视图中,可以
对捕获的图像执行对象识别方法。用户可以执行初始设置以教导对象识别系统他或她的键
盘看起来像什么,以便改善对象识别和对键盘的跟踪。在图7A中,用户向下看,即调整了他
的真实世界视点602a,使得键盘601现在位于用户的新的真实世界视点602a内。在对该视点
处的相机馈送的图像进行识别之后,可以检测键盘,并且可以与虚拟现实环境602a'(其具
有对应于用户的真实世界视点602a的虚拟视点602a')一起显示键盘601'的图像。由于在覆
盖虚拟现实环境的视频窗口中向用户呈现实时馈送的键盘的捕获图像,所以用户能够在键
盘附近看到用户的手606的镜头606',使得用户可以看到他或她自己操作键盘并选择所需
的键进行键入。

可以裁剪相机馈送,使得仅显示相机馈送的相关部分,也即键盘本身,而不是相机
馈送的整个视野。用户能够看到键盘以及他或她的操作键盘的手,用户可以输入文本并且
响应聊天窗口。一旦用户已经完成使用键盘,则用户可以再次向上看,如图8A所示,使得用
户的视野不再包括键盘,并且不再显示键盘的图像,如图8B所示。

如图9A所示,用户的真实世界视点602a使得键盘601位于用户的真实世界视点
602a的底部。相应地显示键盘601'的捕获的图像,使得其位于用户的虚拟环境602a'的虚拟
视野的底部。相比之下,在图10A中,用户的真实世界视点602b使得键盘601位于用户的真实
世界视点602b的顶部,并且相应地将键盘601'的捕获的图像显示在虚拟环境602b'的用户
虚拟视点的顶部。因此,所显示的键盘图像601'被显示在相对于虚拟观察点602b'的位置
处,该虚拟观察点602b'对应于实际键盘相对于用户的真实世界观察点602b的位置。这有助
于用户与键盘的交互,因为相对于键盘在真实生活中的真实位置,键盘的图像被感知为处
于合适的位置。

图11A示出头戴式显示器的显示的屏幕截图,其中为向下看键盘的用户呈现键盘
601'的捕获图像的显示以及具有特定虚拟视野的虚拟世界环境602'的表示。如果用户不希
望看到所显示的键盘601'的捕获图像,则用户可以用他或她的手112来执行手势,例如,将
他的双手手掌转为向上并且使它们彼此远离,并且移出相机的视野范围。该预定用户输入
或手势可以被检测和解释为移除键盘601'的显示的控制信号,之后如图11B所示,键盘的图
像被移除。可以使用对象识别技术来跟踪用户的手以确定手势。

图12和12B示出了头戴式显示器的屏幕截图的示例,其中虚拟世界环境702a'可以
被拉伸/压缩、变形或以其他方式变换,以容纳键盘601'的捕获图像的显示的包含物,同时
将虚拟世界环境被键盘的显示遮蔽的程度降到最低。如图12A所示,键盘601'的图像简单地
覆盖在虚拟世界环境702a'的背景图像的上面。因此,键盘的图像遮蔽了虚拟世界环境的某
些方面,例如三个房子的较低层的窗户。在本公开的某些示例中,呈现的虚拟世界环境被变
换(例如,调整其形状、大小和视角),以便容纳键盘的图像,同时仍然保持虚拟世界中的一
切对用户可见。如图12B所示,虚拟世界702a”的图像在键盘的上方和下方被压缩并且在键
盘周围被拉伸,以便减少/避免键盘的覆盖图像遮蔽真实世界环境背景。因此,如图12B所
示,房屋的底层窗户仍保持可见。在本公开的某些示例中,该方法可以包括:尽管存在键盘
的附加显示,确定用户希望保持显示的虚拟世界环境(例如,图12A和12B的示例中的较低层
的窗户)中是否存在任何感兴趣区域/点,在这种情况下,虚拟现实环境可以被适当地变换,
以便最大化虚拟世界环境的可见性,特别是虚拟世界环境中的感兴趣的区域/点。

使用流程图和示意框图来描述本公开的示例。应当理解,(流程图和框图的)每个
框以及框的组合可以由计算机程序的计算机程序指令来实现。这些程序指令可以提供给一
个或多个处理器、处理电路系统或控制器,使得在一个或多个处理器、处理电路系统或控制
器上执行的指令创建用于引起实现在一个或多个框中指定的功能的装置。计算机程序指令
可以由处理器执行以使一系列操作步骤由处理器执行以产生计算机实现的过程,使得在处
理器上执行的指令提供步骤用于实现一个或多个框中指定的功能。

因此,框支持:用于执行指定功能的装置的组合;用于执行指定功能的动作的组
合;以及用于执行指定功能的计算机程序指令/算法。还将理解,每个框和框的组合可以由
执行指定的功能或步骤的专用的基于硬件的系统来实现,或由专用硬件和计算机程序指令
的组合来实现。

在先前的说明书中描述的特征,可以以除了已明确描述的组合之外的组合来使
用。

虽然已经参考某些特征描述了功能,但是这些功能可以由其它特征来执行,无论
是否描述。虽然已经参考特定示例描述了特征,但是这些特征也可以存在于其他示例中,无
论是否被描述。

应当理解,在不脱离如权利要求中所述的本发明的范围的情况下,可以对给出的
示例进行修改。

术语“包括”在本文中以包含而非排他的含义被使用。也就是说,对于X包括Y的任
何引用都指示X可以包括仅一个Y或者可以包括多于一个Y。如果意在以排他性含义来使用
“包括”,则将在上下文中通过提到“仅包括一个…”或者通过使用“构成”而清楚地表明。

在本描述中,参考了各种示例。与示例有关的特征或功能的描述指示那些特征或
功能在该示例中出现。无论是否明确指出,文本中使用的术语“示例”或“例如”或“可以”都
表示这样的特征或功能至少存在于所描述的示例中,而无论其是否作为一个示例进行描
述,并且它们可以在一些或全部的其它示例中出现,但并非必然如此。因此,“示例”、“例如”
或“可以”是指一类示例中的特定实例。该实例的性质可以仅是该实例的性质,或者是该类
别的性质,或者是该类别中包括该类别中的一些但非全部实例的子类别的性质。

在上文的描述中,所描述的设备可以可选地或附加地包括在一些其他示例中的、
包括分布式系统(例如,客户端/服务器设备系统)的设备。在其中所提供的设备形成为(或
方法实现为)分布式系统的示例中,形成系统的组件和/或部分的每个设备提供(或实现)可
以共同实现本公开的实施例的一个或多个特征。在一些示例中,设备由除了其初始制造商
之外的实体重新配置以通过提供附加软件(例如通过用户下载这样的软件)来实现本公开
的实施例,当执行该软件时,该设备实现本公开的实施例的示例(这样的实现或者完全基于
该设备,或者作为如本文中上文所提到的设备系统的一部分)。

上文的描述描述了本公开的一些示例,然而本领域普通技术人员将意识到可能的
替选结构和方法特征,其提供与本文中上文所描述的这种结构和特征的具体示例等同的功
能,并且为了简洁和清楚起见,从上面的描述中省略了。尽管如此,上述描述应当被隐含地
理解为包括对提供等同功能的这种替代结构和方法特征的引用,除非在本公开的实施例的
上述描述中明确地排除了这样的替代结构或方法特征。

尽管在之前的说明书中,努力将注意力集中于本发明中被认为特别重要的那些特
征,但是应当理解的是,申请人要求保护太阳城集团之前所涉及和/或在附图中所示出的任何可专
利的特征或特征的组合,而无论是否对其进行了特别强调。

关 键 词:
用于 显示 图像 方法 设备 计算机 程序
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:用于显示图像的方法、设备和计算机程序.pdf
链接地址:http://zh228.com/p-6059780.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');