太阳城集团

  • / 22
  • 下载费用:30 金币  

提供虚拟光的方法及其处理系统.pdf

摘要
申请专利号:

CN201610351753.6

申请日:

2016.05.24

公开号:

CN106257540A

公开日:

2016.12.28

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06T 15/80申请日:20160524|||公开
IPC分类号: G06T15/80(2011.01)I; G06T15/50(2011.01)I 主分类号: G06T15/80
申请人: 联发科技股份有限公司
发明人: 詹政哲; 陈正哲; 黄柏华
地址: 中国台湾新竹科学工业园区新竹市笃行一路一号
优先权: 2015.06.15 US 62/175,577; 2016.03.31 US 15/088,070
专利代理机构: 北京万慧达知识产权代理有限公司 11111 代理人: 白华胜;王蕊
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201610351753.6

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2017.01.25|||2016.12.28

法律状态类型:

实质审查的生效|||公开

摘要

太阳城集团提供一种提供虚拟光的方法及处理系统。该方法包含:在移动装置上实现虚拟光源;接收用户输入,用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出图像;接收多个传感器输出,多个传感器输出是由多个装置传感器从当前视图中感测太阳城集团而产生的,多个传感器输出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧;以及响应于接收到多个传感器输出及用户输入,根据对虚拟光源的调节及初始二维帧,在移动装置上产生二维输出图像,其中二维输出图像的产生相对于多个传感器输出的接收是实时的。在本发明实施例中使用虚拟光源代替闪光灯,在改进移动装置捕获的图像亮度的同时,不会因移动或抖动而使图像模糊。

权利要求书

1.一种提供虚拟光的方法,其特征在于,包含:
在移动装置上实现虚拟光源,所述虚拟光源在虚拟三维空间中是可调节的;
接收用户输入,所述用户输入指示所述移动装置实时捕获多个装置传感器
的当前视图的二维输出图像;
接收多个传感器输出,所述多个传感器输出是由所述多个装置传感器从所
述当前视图中感测太阳城集团而产生的,所述多个传感器输出包含由所述多个装置传
感器中的一个或多个装置传感器感测的初始二维帧;以及
响应于接收到所述多个传感器输出及所述用户输入,根据对所述虚拟光源
的调节及所述初始二维帧,在所述移动装置上产生所述二维输出图像,其中所
述二维输出图像的产生相对于传感器输出的接收是实时的。
2.如权利要求1所述的方法,其特征在于,还包含:
在所述移动装置的预览屏幕中显示所述当前视图;
在所述移动装置的用户界面中显示所述三维空间中的所述虚拟光源;
接收对所述虚拟光源的用户已选的调节;
根据已接收的所述用户已选的调节,调节所述虚拟光源;以及
根据所述已调节的虚拟光源,实时地在所述预览屏幕上显示所述当前视图
的已修改的版本。
3.如权利要求1所述的方法,其特征在于,还包含:
在所述移动装置的显示屏上提供视野,以及使用所述虚拟光源产生的提亮
效果,产生所述视野显示的当前视图。
4.如权利要求1所述的方法,其特征在于,所述对所述虚拟光源的调节包括
调节所述虚拟光源的位置、辐射方向、辐射区域、辐射强度、辐射类型或颜色。
5.如权利要求1所述的方法,其特征在于,其中所述对所述虚拟光源的调节
是由以下提供的:
显示用户界面,所述用户界面包括所述三维空间中的所述虚拟光源;
接收对所述虚拟光源的用户已选的调节;以及
根据已接收的用户已选的调节,调节所述虚拟光源。
6.如权利要求1所述的方法,其特征在于,所述在移动装置上实现虚拟光源
的步骤包含通过所述多个装置传感器中的一个或多个装置传感器从所述当前视
图中感测太阳城集团以确定环境光。
7.如权利要求6所述的方法,其特征在于,所述确定环境光的步骤为产生显
示屏作为视野的一部分。
8.如权利要求6所述的方法,其特征在于,所述确定环境光的步骤为产生所
述二维输出图像的一部分。
9.如权利要求1所述的方法,其特征在于,实现在移动装置上实现虚拟光源
的步骤包含通过所述多个装置传感器中的一个或多个装置传感器从所述当前视
图中感测太阳城集团以确定环境光及物体。
10.如权利要求1所述的方法,其特征在于,所述虚拟三维空间是从所述多
个传感器输出中的至少一些传感器输出构建而来的。
11.如权利要求1所述的方法,其特征在于,所述产生二维输出图像的步骤
包含根据所述虚拟光源的调节及所述虚拟三维空间,生成二维提亮图像。
12.如权利要求11所述的方法,其特征在于,所述二维提亮图像为仅包含提
亮太阳城集团的图像,所述提亮太阳城集团来自于所述对所述虚拟光源的调节及所述虚拟三
维空间。
13.如权利要求12所述的方法,其特征在于,所述产生所述二维输出图像的
步骤包含将所述二维提亮图像与所述预备二维图像合并。
14.如权利要求11所述的方法,其特征在于,所述产生所述二维提亮图像的
步骤包含:
创造三维场景树,所述三维场景树包含一个或多个提亮节点;
根据对所述虚拟光源的所述调节,调节所述一个或多个提亮节点;以及
基于已调节的一个或多个提亮节点,渲染所述二维提亮图像。
15.如权利要求1所述的方法,其特征在于,还包含:
在所述当前视图感测太阳城集团之前,同步所述多个装置传感器,以同时感测所
述当前视图中的太阳城集团。
16.一种提供虚拟光的处理系统,用于具有多个装置传感器的移动装置,其
特征在于,包含:
处理器及相关电路用于:
接收用户输入,所述用户输入指示所述移动装置实时捕获所述多个装置传
感器的当前视图的二维输出图像;
接收多个传感器输出,所述多个传感器输出是由所述多个装置传感器从所
述当前视图中感测太阳城集团而产生的,所述多个传感器输出包含由所述多个装置传
感器中的一个或多个装置传感器感测的初始二维帧,
从所述多个传感器输出中的至少一些传感器输出,创造虚拟三维空间,
在接收调节所生成的信号之后,根据对在所述虚拟三维空间中的虚拟光源
的所述调节,向所述虚拟三维空间提供提亮效果;以及
响应于接收到所述多个传感器输出及所述用户输入,根据所述对所述虚拟
光源的所述调节及所述初始二维帧,产生所述二维输出图像,其中所述二维输
出图像的产生相对于所述多个传感器输出的接收是实时的。
17.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路包
含应用处理器,所述应用处理器用于提供所述提亮效果。
18.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路包
含图形处理器,所述图形处理器用于产生所述二维输出图像。
19.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路包
含构建模块,所述构建模块用于创造所述虚拟三维空间。
20.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路包
含半导体芯片中的深度地图生成电路。
21.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于执行并行处理,所述并行处理包含(a)在所述移动装置的屏幕上显示所述二
维输出图像以及(b)将所述二维输出图像编码为在非易失性存储器中存储为图
像文件的格式。
22.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于产生所述二维输出图像,而不使用所述移动装置上的非易失性存储器存储所
述初始二维帧。
23.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于将所述虚拟光源实现为虚拟相机闪光灯,所述虚拟相机闪光灯提亮所述初始
二维帧。
24.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于提供所述虚拟光源作为用户可选择的相机选项。
25.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于产生所述二维输出图像以作为静止图像。
26.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于产生视频,所述视频包含所述二维输出图像。
27.如权利要求16所述的处理系统,其特征在于,所述处理系统包含所述多
个装置传感器,以及其中所述多个装置传感器中的至少两个装置传感器为分散
的以及位于所述移动装置的同侧。
28.如权利要求16所述的处理系统,其特征在于,所述多个装置传感器中的
至少一个装置传感器为深度传感器。
29.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路与
所述多个装置传感器直接连接。
30.如权利要求16所述的处理系统,其特征在于,所述多个传感器输出包含
所述多个装置传感器产生的帧。
31.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于使用所述虚拟光源及所述传感器输出产生所述二维输出图像,而不存储及取
回所述初始二维帧。
32.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路用
于控制曝光与来自所述虚拟光源的光的持续太阳城集团之间的关系。
33.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路包
含硬件图像信号处理器,所述硬件图像信号处理器用于接收所述多个传感器输
出。
34.如权利要求16所述的处理系统,其特征在于,所述处理器及相关电路包
括片上系统,所述片上系统执行深度图像生成。

说明书

提供虚拟光的方法及其处理系统

相关申请的交叉引用

本申请要求申请日为2015年6月15日的美国临时申请号为62/175,577的
专利申请的优先权,其全部内容被合并引用到该申请中。

技术领域

本发明涉及向图像提供虚拟光的方法及系统,更具体地涉及通过虚拟三维
空间中的一个或多个虚拟光源,向图像提供虚拟光的方法及系统。

背景技术

诸如相机或其它图像捕获工具的电子装置,可基于照亮场景的光捕获相片。
在低光条件下,单独的环境光可能不足够照亮场景,以及从该场景中捕获的图
像可能会灰暗或曝光不足。

为了改进低光条件下的照明,许多图像捕获工具或装置可包括闪光灯,闪
光灯产生闪光以补充环境光来照亮场景。尽管相机闪光灯可提供高强度光以进
一步照亮场景,但不容易控制它们以产生一致的光量。这样,已获得的图像可
能曝光不适度,以及可能场景的一些区域比场景的其它区域更亮。此外,高强
度光可产生红眼,以及相机闪光灯的体积及重量使得它们不方便携带。

还可使用图像捕获工具的自动曝光功能,来改进低光条件中的照明。该功
能包含打开镜头光圈一段太阳城集团以及控制快门速度以便获得正确的曝光。尽管让
镜头光圈打开一段更长的太阳城集团,会允许图像捕获工具接收更多光,以及因而更
好地照亮图片,但图像捕获工具还变得对相机抖动及物体移动更加敏感,当其
发生时会模糊及毁掉图片。

尽管已经有尝试解决闪光灯及自动曝光功能相关问题的系统及方法,但它
们都是无效的。因此,需要改进的能够照亮及捕获图片或图像且并没有上述问
题的系统及方法。

发明内容

在本发明的一些实施例中,提供一种提供虚拟光的方法。该方法包括:在
移动装置上实现虚拟光源,虚拟光源在虚拟三维空间中是可调节的;接收用户
输入,用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出
图像;接收多个传感器输出,多个传感器输出是由多个装置传感器从当前视图
中感测太阳城集团而产生的,多个传感器输出包含由多个装置传感器中的一个或多个
装置传感器感测的初始二维帧;以及响应于接收到多个传感器输出及用户输入,
根据对虚拟光源的调节及初始二维帧,在移动装置上产生二维输出图像,其中
二维输出图像的产生相对于多个传感器输出的接收是实时的。

在本发明的一些实施例中,提供一种提供虚拟光的处理系统。该处理系统
包括:处理器及相关电路用于:接收用户输入,用户输入指示移动装置实时捕
获多个装置传感器的当前视图的二维输出图像;接收多个传感器输出,多个传
感器输出是由多个装置传感器从当前视图中感测太阳城集团而产生的,多个传感器输
出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧,从多
个传感器输出中的至少一些传感器输出,创造虚拟三维空间,在接收调节所生
成的信号之后,根据对在虚拟三维空间中的虚拟光源的调节,向虚拟三维空间
提供提亮效果;以及响应于接收到多个传感器输出及用户输入,根据对虚拟光
源的调节及初始二维帧,产生二维输出图像,其中二维输出图像的产生相对于
多个传感器输出的接收是实时的。

基于以上技术方案,在本发明实施例中使用虚拟光源代替闪光灯,在改进
移动装置捕获的图像亮度的同时,不会因移动或抖动而使图像模糊。

附图说明

结合附图阅读随后的详细描述之后,本发明的本质及各种有益效果将变得
显而易见,在其中相同的序号表示相同的部分,其中:

图1是根据本发明一些实施例的用于向图像提供虚拟光的方法的示意图;

图2是根据本发明一些实施例的用于执行图1所示的方法的系统的示意图;

图3是根据本发明一些实施例的用于调节一个或多个虚拟光源的用户界面
的示意图;

图4是根据本发明一些实施例的用于生成提亮图像的场景树及渲染器的示
意图;

图5是根据本发明一些实施例的创造提亮图像的方法的示意性流程图;

图6是根据本发明一些实施例的,基于用户已调节的提亮参数创造提亮图
像的方法的示意性流程图;

图7是根据本发明一些实施例的,根据用户已调节的提亮参数产生已提亮
图像的方法的示意性流程图;

图8是根据本发明一些实施例的,根据已自动调节的提亮参数产生已提亮
图像的方法的示意性流程图;

图9是根据本发明一些实施例的,使用虚拟光源捕获视频的系统架构的示
意图。

具体实施方式

根据本发明的原理,提供一种有益的系统,该系统尤其有用于于智能手机
或平板,但可被识别具有其它应用。一般地,为了改进已捕获的图像或视频,
提供一种功能,在该功能中使用传感器太阳城集团生成鉴于智能手机的传感器的场景
的虚拟三维(three-dimensional,3D)模型。接着使用虚拟3D模型来生成二维
(two-dimensional,2D)提亮图像。将提亮图像应用于场景的已捕获图像,以
改进已捕获图像或视频的亮度。如果需要,可将虚拟光源实现为该操作的一部
分,如果需要,可在虚拟3D空间中移动、调节或修改该虚拟光源,以调节提亮
图像以及进而调节已提亮图像。

本发明实施例为可应用于图像、视频或其它视图捕获应用。在一些实施例
中,在其中提供“实况转播”功能,当用户使用他们装置上的相机时,实现该
功能的装置向该用户提供该功能。该功能可实现为可选选项,用户通过或结合
相机应用激活可选选项,以选择在当前图像或视图上使用该功能,或者在已记
录在该装置上的图像或视图上使用该功能(例如,显示的交互选项,其允许用
户应用该功能)。在用户通过装置的屏幕观察特定的场景时,在用户选择(触
发相机)捕获图像或视频之前的预览模式中,该功能还可实现为可用或可操作
的,其中该装置显示了相机的视野。与仅在用户选择记录图像或视频时使用该
功能相反,相机的自动激活也是可预期的。该技术比在拍照时使用实际闪光灯
有显著的优势。实际闪光灯的定时、放大及功耗会造成复杂性和缺点。

应理解的是本说明书可应用于实现为系统、方法、计算机可读介质、装置
或其它设置。

请参考图1,其示意出用于向图像提供虚拟光的方法100的一个实施例。方
法100可包含接收多个传感器捕获的多个帧(帧接收步骤105),基于已接收到
的多个帧中的一个帧获得原始图像(原始图像获得步骤110),基于已接收到的
多个帧中的一组帧构建3D模型(3D模型构建步骤115),提供一个或多个虚
拟光源(虚拟光源提供步骤120),调节一个或多个虚拟光源的一个或多个提亮
参数(参数调节步骤125),基于3D模型及具有已调节的参数一个或多个虚拟
光源生成提亮图像(提亮图像生成步骤130),以及基于原始图像及提亮图像生
成已提亮图像(已提亮图像生成步骤135)。其中,在提供实现虚拟光源时,通
过所述多个装置传感器中的一个或多个装置传感器从所述当前视图中感测太阳城集团
以确定环境光及物体。其中,在一实施例中,已提亮图像的生成相对于原始图
像的接收是实时的。例如,接收多个传感器捕获的多个帧,基于已接收到的多
个帧中的一个帧获得原始图像,接收该原始图像,利用该原始图像和提亮图像
生成已提亮图像,在此方式下,已提亮图像的生成相对于原始图像的接收是实
时的。

图2是用于执行方法100的系统200的一个实施例的示意图。系统200可
包含多个传感器205、构建模块210、应用处理器(Application Processor,AP)
215和图形处理器220。传感器205用于捕获多个帧,该多个帧包括从其获得原
始图像的一个帧,构建模块210用于从多个帧中的两个或多个帧创造3D模型,
应用处理器215用于创造具有提亮节点的3D场景树,以及图形处理器220用于
基于3D模型及具有已调节的提亮节点的3D场景树渲染提亮图像,以及基于原
始图像及提亮图像渲染已提亮图像。在一实施例中,传感器可实时地捕获当前
视图的图像(例如,相机传感器实时捕获的当前视图所反应的图像或视频)。系
统200还可包含显示屏225,显示屏225用于显示已提亮图像。本发明中描述的
所有方法、系统及实施例可在移动装置上实现,移动装置诸如蜂窝手机、平板、
个人数字助理(Personal Data Assistant,PDA)、相机或其它手持装置。应注意
的是在图2中,开放图形库(Open Graphics Library,OpenGL)(或其它编程接
口)示意为部分由硬件图形处理器(Graphics Processing Unit,GPU)实现。然
而,在其它实施例中,OpenGL(或其它编程接口)可全部由硬件或软件实现。
图2提供系统的示意性实施例,其实现或包含本发明的实施例。还预期其它配
置,诸如包含更少的硬件元件或集成电路,或者主要由硬件装置制成,硬件装
置诸如一个或多个特定用途集成电路(Application Specific Integrated Circuit,
ASIC)。图2还示意出处理系统,应理解在该处理系统中该图隐式地或显式地
在其中(实现为处理器的集成半导体芯片)提供一个或多个处理器(诸如智能
手机、平板或其它图像捕获装置的GPU和/或主处理器)。本领域的普通技术人
员能够理解,处理器可具有相关的电路,诸如随机存取存储器(Random Access
Memory,RAM)、只读存储器(Read Only Memory,ROM)、特定用途电路、
通信电路或其它用于实现想要的功能的装置组件。显示屏225或传感器205可
不必视为处理系统的一部分,但如果需要也可视为处理系统的一部分。

在帧接收步骤105中,优选地直接从多个传感器接收多个帧,而不从非易
失性存储装置撷取。非易失性存储装置可以为任意类型已知的计算机存储装置,
当断电时其可保留在其中存储的太阳城集团。非易失性存储装置的例子包括ROM、闪
存存储器、硬盘驱动器以及诸如SD卡的存储卡。在一些实施例中,多个传感器
205可只包含图像传感器,只包含深度传感器,或者图像传感器及深度传感器的
组合(例如,一个或多个图像传感器以及一个或多个深度传感器,或者可执行
该两种类型传感器的功能的传感器)。可预期使用其它类型的传感器。可将多
个传感器205配置为同步以同时捕获帧。多个传感器205中的每个可被配置为
在不同角度捕获帧。图像传感器可以为电荷耦合器件(Charge Coupled Devices,
CCDs)、有源像素传感器(active pixel sensors)、互补金属氧化物半导体
(Complementary Metal Oxide Semiconductor,CMOS)传感器、固态图像传感器
(solid-state images sensors)或任意其它相似的图像传感器。深度传感器可以为
红外线传感器、激光扫描仪、声波传感器或任意其它相似的深度传感器。这样,
接收到的多个帧中的每个可以为包含深度相关太阳城集团的图像或帧,该深度相关信
息取决于使用哪种传感器捕获该帧。图像可以指图像传感器捕获的帧。包含深
度相关太阳城集团的帧可指深度传感器捕获的帧。

在原始图像获得步骤110中,原始图像所基于的帧为图像传感器捕获的帧,
该帧为接收到的多个帧中的一个。根据照亮场景的光捕获该帧。照亮场景的光
可以仅为环境光,或者为环境光和闪光灯光的组合。因而,可使用或不使用相
机闪光灯捕获该帧。还可在自动曝光功能打开或关闭时,或者在移动装置可能
具有的任意其它功能打开或关闭时,捕获该帧。已获得的原始图像可以为未经
处理的该帧的帧本身(接收到的多个帧的实际的或未经加工的帧),或者通过
处理该帧而不向该帧提供提亮图像或未给该帧补充提亮图像的光的已获得的图
像(下文描述提亮图像及提亮图像的光)。处理可以指一个或多个附加的操作,
移动装置可能需要执行该操作以产生原始图像。已处理或未经处理的原始图像
为二维图像。

在3D模型构建步骤115中,一组帧可仅包含图像传感器捕获的帧,仅包含
深度传感器捕获的帧,或者包含图像传感器捕获的帧及深度传感器捕获的帧。
该组帧可包含在两个不同角度捕获的至少两个帧。该至少两个帧可被同时捕获。
3D模型可以由构建模块构建,包含在该组帧中追踪物体的2D特征、估计3D
点及相机姿态或角度。2D特征可以为边、点、线、纹理、高强度对比的特征或
其它相似的特征。3D点为基于在3D域中追踪的特征所估计的点。3D模型从已
估计的3D点及已估计的相机姿态构建而来。模块是指由图2中示意性的系统执
行的软件模块,或者更通常地由处理器及处理器的相关电路执行的软件模块,
用于实现其功能。此外,处理器及相关电路还可用于控制曝光与来自所述虚拟
光源的光的持续太阳城集团之间的关系,使得使用虚拟光源后可以达到较好的效果。

在虚拟光源提供步骤120中,经由AP 215提供一个或多个虚拟光源。一个
或多个虚拟光源中的每个可像相机闪光灯一样运行。在使用虚拟光源时,可使
用它们作为虚拟相机闪光灯代替相机闪光灯,或者增强或补充相机闪光灯的闪
光灯光。一个或多个虚拟光源中的每个可具有一个或多个提亮参数。一个或多
个提亮参数可包含一个或多个虚拟光源的位置、一个或多个虚拟光源的辐射或
照明方向、一个或多个虚拟光源的辐射区域、一个或多个虚拟光源的辐射强度、
一个或多个虚拟光源的辐射类型、一个或多个虚拟光源的辐射颜色以及相机闪
光灯的其它操作模式。每个参数为可调节的。每个参数可由移动装置的用户调
节(手动调节)或由移动装置自动调节(自动调节)。

在参数调节步骤125中,在接收到多个帧之前,每个参数可通过从用户接
收输入以由用户调节。输入可以通过移动装置的屏幕上显示的用户界面接收。
AP可被编程,诸如使用用户体验应用,以提供及显示用户界面。

在一些实施例中,如图3所示,用户界面300可配置为包含3D环境305、
设置在3D环境中的一个或多个虚拟物体310、设置在3D环境中的虚拟移动装
置315以及设置在3D环境中的一个或多个虚拟光源320(总地称为“虚拟元件”
305至320)。虚拟移动装置315的位置及虚拟移动装置315的镜头的方向指示
捕获帧时所在的方向。可以用一种方式向用户显示用户界面300,使得在俯视图
中向用户呈现所有的虚拟元件305至320。在俯视图中,用户可看到虚拟移动装
置315与一个或多个虚拟物体310之间的物理距离、一个或多个虚拟物体310
与一个或多个虚拟光源320之间的物理距离以及虚拟移动装置315与一个或多
个虚拟光源320之间的物理距离。而且在俯视图中,一个或多个虚拟光源320
可被用户输入移动至3D环境305中的任意位置。如果使用了触摸屏以及用户界
面300实现在该触摸屏上,用户输入可以为触摸屏的物理接触,或者用户输入
可以为来自诸如按钮及鼠标的输入装置的物理动作。例如,一个或多个虚拟光
源320可以被移动至一个或多个虚拟物体310背后的位置,这样一个或多个虚
拟物体310在虚拟移动装置315与一个或多个虚拟光源320之间。

一个或多个虚拟光源320还可被移动至这样一个位置,在这个位置虚拟移
动装置315朝向一个或多个虚拟物体310的方向,以及一个或多个虚拟光源320
的照明光彼此垂直的方向(垂直位置)。垂直位置可以指在俯视图中,相对于
一个或多个虚拟物体310的向左或向右的位置。如果用户界面300配置为允许
这样的移动,垂直位置还可以指在俯视图中,相对于一个或多个虚拟物体310
的之下(例如,页面/屏幕中的位置)或之上(例如,页面/屏幕外的位置)的位
置。尽管图3仅示意了俯视图以及一个或多个虚拟光源320的特定位置,还预
期其它视图及位置。一个或多个虚拟光源还可被移动至更靠近或更远离一个或
多个虚拟物体310的位置。

移动装置(或者移动装置的AP)可根据环境光自动调节每个参数。在捕获
帧之时或之前,多个传感器或不同传感器(例如,光传感器)可检测环境光。
根据是否使用闪光灯,环境光可包括或者不可包括闪光灯光。移动装置可自动
调节每个参数,而不显示用户界面或接收来自用户的输入。例如,基于在场景
中检测到的环境光,移动装置可确定应使用的虚拟光源的数量、每个虚拟光源
的位置、每个虚拟光源的角度以及每个虚拟光源的照明强度等等。移动装置可
根据3D模型中的或该组帧中的内容自动调节每个参数,该内容诸如物体数量、
物体形状、物体位置以及物体之间的距离等等。移动装置还可根据环境光及内
容自动调节每个参数。用户与移动装置都可调节参数。例如,在接收到多个帧
之前,一些参数可由用户通过用户界面调节,以及在接收到多个帧之后或者在
构建3D环境之后,移动装置可调节剩余的参数(或剩余的参数中的一些)。图
像捕获工具可根据用户已调节的参数,调节剩余的参数。移动装置的其它调节
顺序也是可预期的。

在提亮图像生成步骤130中,基于3D模型及提亮参数生成提亮图像。特别
地,步骤130可包含创造3D场景树,其中3D场景树包含一个或多个提亮节点、
一个或多个3D模型节点以及一个或多个相机节点,根据已调节的一个或多个参
数调节提亮节点,以及使用已调节的提亮参数,基于3D场景树渲染提亮图像。
3D场景树是从已构建的3D模型以及已调节的提亮参数创造的,其中3D模型是
从构建模块接收到的,已调节的提亮参数是从AP接收到的。3D场景树可通过
本领域普通技术人员已知的方法创造。一个或多个提亮节点中的每个可对应于
一个虚拟光源以及该虚拟光源中的参数,以及一个或多个提亮节点中的每个可
根据对应的虚拟光源的参数上已做的调节来调节。一个或多个3D模型节点以及
一个或多个相机节点包含从已构建的3D模型获得的太阳城集团。一个或多个3D模型
节点的例子可包括对应于数据束的每个节点以及一组相机参数,该数据束用于
在特定的分辨率下渲染3D模型的外表,该组相机参数包括用于渲染3D模型的
一个视点。一个或多个相机节点的例子为帧捕获方向及相机位置。以上节点中
的每个可包含其对应的矩阵形式的太阳城集团,以及它们一起为渲染提亮图像提供必
要的太阳城集团。

图4(a)为3D场景树的例子。图形处理器(例如,图2中的220)支持
OpenGL或相似的编程界面,图形处理器可用于基于3D场景树渲染提亮图像(或
者如图4(b)所示,包含用于描绘提亮图像的渲染器)。具体地,图4(a)中
具有分别由对应的矩阵表示的不同节点。矩阵可定义不同物体之间的位置依赖
关系,例如不同物体可包括光(例如,烛光或墙反射的光)、相机以及模型(例
如,蜡烛)。位置依赖关系可包括位移、旋转和/或缩放。换句话说,节点或矩
阵可表示光、相机及模型之间的位置依赖关系。当调节虚拟光源的参数时,对
应矩阵的值也可被改变。因此,可调节3D场景树以表示已调节的虚拟光源。在
图4(b)中,3D场景树被转译为或被表示为OpenGL语言。然而,应注意的是,
如果需要可实现任意其它界面。提亮图像为仅包含亮度(也称提亮太阳城集团,所述
提亮太阳城集团来自于对虚拟光源的调节及虚拟三维空间)的2D图像。换句话说,图
形处理器或渲染器产生2D图像,该2D图像仅包含来自3D太阳城集团或3D环境中的
光。在提亮图像间光量可能变化,以及变化量取决于已调节的参数。2D图像可
能包含其它类型的数据或太阳城集团。首要目标是使得文件至少包含提亮图像(这里
描述的光用于生成提亮图像以及后续生成已提亮图像)。

图5是创造提亮图像的方法500的流程图。上文已讨论了方法500的许多
方面,以及提供该流程图仅为了便于以另一例子理解本发明实施例。该流程图
还可以为方法100的另一实施例。方法500可包含接收多个传感器帧的步骤505
(或多个传感器捕获的多个帧),同步多个传感器的步骤506(一般将步骤505
及506实现为一个步骤,但是为了方便显示为两个步骤),从多个传感器帧获
得一组帧的步骤510,估计3D点及相机姿态的步骤520,构建3D模型的步骤
525,构建3D场景树的步骤530,其中3D场景树具有一个或多个提亮节点、一
个或多个3D模型节点以及一个或多个相机节点,其中每个提亮节点具有一个或
多个提亮参数,调节一个或多个提亮参数的步骤535,基于具有已调节的提亮参
数的3D场景树渲染提亮图像的步骤540。步骤505可由多个传感器执行。方法
500可使用图2的示意性的系统实现,或者更通常地使用处理器及相关电路实现。

图6是基于用户调节的提亮参数创造提亮图像的方法600的流程图。上文
已讨论了方法600的许多方面,以及提供该流程图仅为了便于以另一例子理解
本发明实施例。该流程图还可以为方法100的另一实施例。方法600可包含在
俯视图中显示一个或多个虚拟光源的步骤605,在用户界面中将一个或多个虚拟
光源移动至合适的位置的步骤610,应用重新提亮的步骤615(本说明书中讨论
的例子),以及产生更好的提亮图像的步骤620。将一个或多个虚拟光源手动移
动至合适的位置,该手动移动可以为上文讨论的调节的提亮参数中的一种形式,
以及还可对其它提亮参数做手动调节。该方法可由图2中的示意性的系统执行,
或更通常地由处理器及相关电路执行。应理解的是,其它系统设置也是可预期
的,诸如一般地智能手机或平板领域中的普通技术人员已知的那些系统设置。

重新参考图1中的已提亮图像生成步骤135,基于原始图像及提亮图像生成
已提亮图像。可以通过合并原始图像及提亮图像来生成已提亮图像。已生成的
已提亮图像为2D图像。如果需要,用于渲染提亮图像的相同的图形处理器可用
于渲染已提亮图像。在一实施例中,已提亮图像的产生相对于传感器输出的接
收(例如接收多个传感器捕获的多个帧,基于已接收到的多个帧中的一个帧获
得原始图像,接收所述原始图像)是实时的。

参考图7,示出了用于向图像提供虚拟光的方法700的另一实施例。该实施
例根据用户已调节的参数产生已提亮图像。在图7中,方法700可包含步骤705,
在步骤705中直接从多个传感器捕获的一个或多个帧获得原始图像,而不从非
易失性存储装置撷取该一个或多个帧。方法700可包含步骤710,在步骤710中,
在3D空间中提供一个或多个虚拟光源,该一个或多个虚拟光源具有一个或多个
提亮参数。方法700还可包含步骤715,在步骤715中,从用户接收输入,该用
户在3D空间中调节一个或多个提亮参数。方法700还可包含步骤720,在步骤
720中,将原始图像转换为已提亮图像,该已提亮图像合并由已调节的一个或多
个提亮参数提供的提亮效果。例如,通过提供一种在用户使用智能手机捕获新
图像时能够应用的虚拟提亮功能,给智能手机提供一种新功能。

参考图8,示出了用于向图像提供光的方法800的另一实施例。该实施例根
据已自动调节的提亮参数产生已提亮图像。在图8中,方法800可包含步骤805,
在步骤805中接收多个传感器捕获的多个帧。方法800可包含步骤810,在步骤
810中基于多个帧中的一个帧获得原始图像,自动调节一个或多个虚拟光源的一
个或多个提亮参数,以在3D空间中提供一个或多个提亮效果。方法800还可包
含步骤815,在步骤815中根据已调节的一个或多个参数,将原始图像转换为已
提亮图像,这样将已提亮图像与3D空间中提供的一个或多个提亮效果合并。

图9是根据本发明一些实施例的使用虚拟提亮捕获视频的系统900的示意
图。在图9中,系统900可被配置包含多个传感器,诸如相机传感器905及910,
在一些实施例中传感器905及910用于捕获移动帧或静止帧。系统900还包含
片上系统(System on a Chip,SOC)925,片上系统925包含至少一个硬件图像
信号处理器(hardware-image signal processor,HW ISP)920、深度地图生成器
915及GPU 930,硬件图像信号处理器920用于从传感器905及910接收输入,
深度地图处理器915用于从HW ISP 920接收已处理的图像信号,以由此进一步
处理3D视频信号(以从传感器太阳城集团生成深度地图或称深度图像),以及GPU 930
用于从HW ISP 920接收已处理的图像太阳城集团,以及从深度地图生成器915接收3D
视频信号,在由GPU 930进一步处理之前,还可通过算法模块945向GPU 930
发送已处理的图像信号及3D视频信号。在一些实施例中,算法模块945可以为
基于软件的或基于硬件的。

系统900还可包括显示屏935及编码器940,显示屏935用于提供及显示已
处理的最终图像(例如静止图像)或视频,编码器940用于存储该最终图像或
视频。具体地,编码器940将二维输出图像编码为在非易失性存储器中存储为
图像文件的格式,例如用于生成用于存储的文件,诸如为jpeg格式。

在一些实施例中,系统900还可由图9中示出的除了传感器905及910以
及显示屏935的其他每个元件实现,元件为硬件或软件或者两者的组合。例如,
在一些实施例中,算法模块945为软件,但图9中示出的其它元件实现为硬件。
在另一实施例中,算法模块945及深度地图生成器915都可实现为软件,以及
图9中示出的其它元件实现为硬件。在又一实施例中,图9中示出的所有元件,
除了传感器905及910及显示屏935,都实现为软件。

在一些实施例中,深度地图生成器915实现在SOC 925中以及可用于实时
获得深度地图太阳城集团。

在一些实施例中,在系统900中,虚拟光源的位置(和/或其它参数)可由
用户通过用户界面手动调节,或由系统自动调节。应注意的是,在一些其它实
施例中,可手动调节部分参数以及可自动调节部分参数。换句话说,基于虚拟
光源的已调节的位置,用户可观看已应用重新提亮效果的视频(包括视频中的
每个图像)。

与传统的闪光灯相比,主要不同在于,传统的闪光灯对于一个图像必须发
光一次,对于不同的图像必须发光一次又一次,导致各自的发光操作造成每个
图像的重新提亮效果。然而,在本发明的实施例中,虚拟光源没有所谓的发光
太阳城集团。在一些实施例中,系统900构建视频中每个图像各自的3D模型以提亮
(light)该图像。换句话说,在经由SOC 925计算时,基于虚拟光源的已调节
的位置,计算视频中每个图像各自的3D模型。

实现本说明书中描述的功能的软件及计算机可读指令存储在非易失性存储
器(例如,可编程逻辑)中,以及由具有处理器的电子装置(计算机处理器)
执行,以提供本发明的功能及相关步骤,电子装置诸如智能手机。软件被从非
易失性存储器应用至处理器以提供功能。以及,在一些实施例中,诸如帧、图
像或中间图像的数据仅承载或存储在易失性存储器中或在易失性状态中(例如,
当系统操作于产生最终图像时)。这与本发明实施例的实时方面有关。实时意
味着在接收到一个或多个输入(在本发明中为一个或多个帧)时,装置执行操
作及产生输出。从用户的角度描述了不同的方式,这传授了装置的操作的含义,
当用户或装置选择拍照(引起传感器生成帧)时,装置操作使得装置的用户察
觉到输出是即刻产生的(例如,用户没有察觉到可感知的延迟)。在一些实施
例中,实时(实时处理/计算)意味着执行该处理或计算操作,而不从非易失性
存储器中撷取相关数据。

本说明书中贯穿使用的术语原始图像可指初始2D帧,以及在本公开中其可
交换使用。

可从以上说明书理解的是,本发明实施例的系统、装置或方法的功能及特
征包括生成及发送信号以完成该动作。

应理解的是变换、说明书或修改是可预期的。将该技术应用于其它领域也
是可预期的。

所描述的示例性的系统、装置及方法是示意性的目的。此外,由于多个修
改及改变对于本领域的普通技术人员将显而易见,因此不想将本发明限制于本
公开所示出的准确构建。因此,可诉诸落入本发明范围内的所有合适的修改或
等同变换。

因此,例如本说明书中描述的各个处理或方法或的步骤的任意顺序和/或时
间顺序(或装置连接或操作的顺序)是示意性的以及不应理解为限制性的。因
此,应理解的是尽管各个处理或方法的步骤,或者操作的连接或顺序可显示或
描述为以顺序或太阳城集团顺序,但是他们不必受限于以任何特定的顺序实现。例如,
这些处理或方法中的步骤以便可以不同的顺序实现,而仍落在本发明的范围内。
此外,在一些实施例中,响应于更早的工作、处理或特征的后续的工作、处理
或特征,对于本领域的普通技术人员是显而易见的。

隐含的以及应理解的是,本说明书中描述的示意性的系统或应用提供计算
机实现的功能,除非本说明书明确描述用户干预或手动操作,其自动执行处理
或处理步骤。

虽然已通过举例的方式和优先实施例的方式描述本发明,应理解本发明并
不限于此。本领域的普通技术人员不脱离本发明的范围和精神,仍可做出不同
的变换和修改。因此,下面的权利要求及其等同变换限定和保护本发明的范围。

关 键 词:
提供 虚拟 方法 及其 处理 系统
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:提供虚拟光的方法及其处理系统.pdf
链接地址:http://zh228.com/p-6100849.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');