太阳城集团

  • / 8
  • 下载费用:30 金币  

基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法.pdf

摘要
申请专利号:

太阳城集团CN201610779011.3

申请日:

2016.08.31

公开号:

CN106303706A

公开日:

2017.01.04

当前法律状态:

实审

有效性:

审中

法律详情: 著录事项变更IPC(主分类):H04N 21/442变更事项:申请人变更前:杭州当虹科技股份有限公司变更后:杭州当虹科技股份有限公司变更事项:地址变更前:310053 浙江省杭州市滨江区六和路368号一幢(北)二楼B2010室变更后:310053 浙江省杭州市西湖区西斗门路3号天堂软件园E幢16层A座|||著录事项变更IPC(主分类):H04N 21/442变更事项:申请人变更前:杭州当虹科技有限公司变更后:杭州当虹科技股份有限公司变更事项:地址变更前:310053 浙江省杭州市滨江区六和路368号一幢(北)二楼B2010室变更后:310053 浙江省杭州市滨江区六和路368号一幢(北)二楼B2010室|||实质审查的生效IPC(主分类):H04N 21/442申请日:20160831|||公开
IPC分类号: H04N21/442(2011.01)I; H04N21/44(2011.01)I; H04N21/81(2011.01)I; G06F3/01 主分类号: H04N21/442
申请人: 杭州当虹科技有限公司
发明人: 裘昊; 江文祥; 郭伟伟
地址: 310053 浙江省杭州市滨江区六和路368号一幢(北)二楼B2010室
优先权:
专利代理机构: 代理人:
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201610779011.3

授权太阳城集团号:

|||||||||

法律状态太阳城集团日:

2018.09.28|||2018.08.28|||2017.02.01|||2017.01.04

法律状态类型:

著录事项变更|||著录事项变更|||实质审查的生效|||公开

摘要

太阳城集团本发明涉及一种基于人脸追踪和物件跟踪实现的以主角跟随视角观看虚拟现实视频的方法,包括:视频播放模块进行3D建模;视频播放模块逐帧读取视频数据投放到3D模型;根据用户设定的播放模式计算播放视角所需的控制参数;应用计算出来的控制参数进行实时渲染和视频播放。本发明在全景视频播放过程中,通过跟踪技术模块对用户指定的物件/人脸进行跟踪定位,确定该物件/人脸在视频中的位置,并根据该位置计算出用户的视角朝向太阳城集团进行实时跟踪播放,并在播放过程中不断校正视频中心的位置以保证被跟踪物件/人脸始终处于视频中心,这使得用户在观看视频时可以通过选定某个感兴趣的物件/人脸实现自动实时跟踪观看。

权利要求书

1.基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
实视频的方法,其特征在于,该方法包含以下步骤:
播放模块3D建模步骤,播放模块根据设定参数进行3D建模;
向3D模型映射视频数据步骤,逐帧读取视频数据并投影到3D模型上;
视角参数计算步骤,根据用户的观影模式采取特定方式计算用户视角对应的控制参
数;
播放视频步骤,根据视角控制参数对3D投影矩阵实时校正并进行视频播放。
2.如权利要求1所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,所述播放模块3D建模步骤中,所述参数包括用于确定远近关系和景深以
及指导2D贴图和3D建模渲染的3D模型球面半径、用于确定摄像机朝向的方向矢量和用于确
定前进方向的向上矢量。
3.如权利要求1所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,所述视角参数计算步骤中是指根据观看视角模式来选择不同的视角参
数计算方式进行计算,该视角模式包括:自由视角模式和指定物件/人脸追踪模式。
4.如权利要求3所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,在所述自由模式下,所述视角控制参数有用户通过特定设备直接输入。
5.如权利要求3所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,在所述指定物件/人脸追踪模式下,通过追踪技术模块对指定物件/人脸
进行追踪定位,确定其在3D模型中的三维坐标,并根据该坐标计算出视角的朝向矢量太阳城集团
和前进方向矢量太阳城集团。
6.如权利要求5所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,在所述朝向矢量太阳城集团的计算方法为连接目标与摄像机形成的直线为方
向矢量的前进方向,朝向为摄像机到目标。
7.如权利要求5所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,所述指定物件/人脸可以根据观看者的需要进行动态切换,具体的,当用
户改变追踪对象时,所述追踪技术模块将立即改变追踪对象并进行对应计算从而得到新对
象的视角太阳城集团实现视角转换过程。
8.如权利要求1所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,所述播放视频步骤包括:根据视角控制太阳城集团重建3D投影矩阵和实时渲染
校正播放中心并播放视频。
9.如权利要求7所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的
方法,其特征在于,所述实时渲染校正播放中心的目的为保证被追踪物件/人物始终处于视
频播放中心。
10.如权利要求1所述的基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频
的方法,其特征在于,所述播放视频步骤将在每一帧视频播放完毕后检查是否需要结束视
频播放,并在需要继续播放的情况下读取下一帧视频太阳城集团重复播放过程,在需要结束视频
播放时停止解析并销毁指定。

说明书

基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法

技术领域

本发明涉及一种基于人脸追踪和物件跟踪实现的以主角跟随视角观看虚拟现实
视频的方法,尤其涉及一种虚拟现实和视频播放技术领域的人脸追踪和物件跟踪实现的以
主角跟随视角观看虚拟现实视频的方法。

背景技术

虚拟现实作为一种强烈带入感的视觉体验模式随着现代影音技术的飞速发展而
逐渐受到人们追捧。其特点为提供360度全方位视角的视频太阳城集团给用户,用户通过特定硬件
设备与虚拟现实视频播放器进行互动,实时输入视角控制太阳城集团从而实现视角的自由转换。

该观看模式虽然给用户以自主选择的空间,却也存在一些不足。加入用户期望对
视频中出现的某个人物/物件进行跟踪观看,就需要用户自己不断通过给出动作实时追踪,
这样既难做到平滑镜头播放效果,也很难保证目标一直处于视频中心位置,尤其是需要追
踪快速移动的目标,用户甚至无法进行追踪观看,给视频观看带来一定的影响,用户体验有
待提高。

发明内容

对虚拟现实技术中存在的不足,本发明基于人脸和物件跟踪实现以主角跟随视角
观看虚拟现实视频的方法,提出一种通过追踪技术实现对视频中出现的特定物件/人脸定
位追踪,并通过该位置坐标计算出人眼视角的朝向和后续运动方向控制矢量太阳城集团,在视频
播放模块中通过读取所述控制太阳城集团来逐帧建立3D影像数据矩阵,实时渲染视频数据实现对
追踪目标的实时观看,并根据目标位置实时校正观影中心位置太阳城集团保证目标始终保持在播
放画面中心的方法,通过允许用户设定目标物件/人物的方式,使用户除了选择自由视角模
式之外还可以对关注的物件/人物进行自动实时追踪且不需要用户自己做出任何动作,既
给用户提供舒适的观影效果,也避免了因视频中物件/人物运动过快或轨迹复杂而导致用
户无法自主追踪的问题,大大提高了用户观影体验。

本发明解决其技术问题所采用的技术方案包括以下步骤:

播放模块3D建模步骤,播放模块根据设定参数进行3D建模。

优选的,所述参数包括用于确定远近关系和景深以及指导2D贴图和3D建模渲染的
3D模型球面半径、用于确定摄像机朝向的方向矢量和用于确定前进方向的向上矢量。

向3D模型映射视频数据步骤,逐帧读取视频数据并投影到3D模型上。

视角参数计算步骤,根据用户的观影模式采取特定方式计算用户视角对应的控制
参数。

优选的,所述步骤是指根据观看视角模式来选择不同的视角参数计算方式进行计
算,该视角模式包括:自由视角模式和指定物件/人脸追踪模式。

优选的,在所述自由模式下,所述视角控制参数有用户通过特定设备直接输入。

优选的,在所述指定物件/人脸追踪模式下,通过追踪技术模块对指定物件/人脸
进行追踪定位,确定其在3D模型中的三维坐标,并根据该坐标计算出视角的朝向矢量太阳城集团
和前进方向矢量太阳城集团。

优选的,在所述朝向矢量太阳城集团的计算方法为连接目标与摄像机形成的直线为方向
矢量的前进方向,朝向为摄像机到目标。

优选的,所述指定物件/人脸可以根据观看者的需要进行动态切换,具体的,当用
户改变追踪对象时,所述追踪技术模块将立即改变追踪对象并进行对应计算从而得到新对
象的视角太阳城集团实现视角转换过程。

播放视频步骤,根据视角控制参数对3D投影矩阵实时校正并进行视频播放。

优选的,所述步骤包括:根据视角控制太阳城集团重建3D投影矩阵和实时渲染校正播放
中心并播放视频。

优选的,所述实时渲染校正播放中心的目的为保证被追踪物件/人物始终处于视
频播放中心。

优选的,在每一帧视频播放完毕后将检查是否需要结束视频播放,并在需要继续
播放的情况下读取下一帧视频太阳城集团重复播放过程,在需要结束视频播放时停止解析并销毁
指定。

采用上述技术方案,本发明具有以下优点:

本发明涉及基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法,通过
追踪技术实现对视频中出现的特定物件/人脸定位追踪,并通过该位置坐标计算出人眼视
角的朝向和后续运动方向控制矢量太阳城集团,在视频播放模块中通过读取所述控制太阳城集团来逐帧
建立3D影像数据矩阵,实时渲染视频数据实现对追踪目标的实时观看,并根据目标位置实
时校正观影中心位置太阳城集团保证目标始终保持在播放画面中心,通过允许用户设定目标物
件/人物的方式,使用户除了选择自由视角模式之外还可以对关注的物件/人物进行自动实
时追踪且不需要用户自己做出任何动作,既给用户提供舒适的观影效果,也避免了因视频
中物件/人物运动过快或轨迹复杂而导致用户无法自主追踪的问题,大大提高了用户观影
体验。

附图说明

图1为本发明较佳实施方式的基于人脸和物件跟踪实现以主角跟随视角观看虚拟
现实视频的方法的步骤示意图。

图2为本发明较佳实施方式的基于人脸和物件跟踪实现以主角跟随视角观看虚拟
现实视频的方法的详细流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完
整的描述,显然,所描述的实施例仅仅是本发明的一个实施例,而不是全部实施例。基于本
发明中的实施例,本领域的一般技术人员在没有做出创造性劳动的前提下所获得的其他实
施例,都属于本发明保护的范围。

本发明实施例公开了基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视
频的方法,参见图1所示,该方法包括:

步骤S1:视频播放模块进行3D建模;

步骤S2:视频播放模块逐帧读取视频数据投放到3D模型;

步骤S3:根据用户设定的播放模式计算播放视角所需的控制参数;

步骤S4:应用计算出来的控制参数进行实时渲染和视频播放;

本发明实施例中,通过追踪技术实现对视频中出现的特定物件/人脸定位追踪,并通过
该位置坐标计算出人眼视角的朝向和后续运动方向控制矢量太阳城集团,在视频播放模块中通过
读取所述控制太阳城集团来逐帧建立3D影像数据矩阵,实时渲染视频数据实现对追踪目标的实时
观看,并根据目标位置实时校正观影中心位置太阳城集团保证目标始终保持在播放画面中心。

可见,通过允许用户设定目标物件/人物的方式,使用户除了选择自由视角模式之
外还可以对关注的物件/人物进行自动实时追踪且不需要用户自己做出任何动作,既给用
户提供舒适的观影效果,也避免了因视频中物件/人物运动过快或轨迹复杂而导致用户无
法自主追踪的问题,大大提高了用户观影体验。

本发明实施例公开了基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视
频的方法,参见图2,相对上一实施例,本实施例对技术方案作了进一步的说明和优化。具体
的,本实施例中基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法包含以
下步骤:

S1:播放模块3D建模;

优选的,播放模块根据设定参数进行3D建模,所述参数包括用于确定远近关系和景深
以及指导2D贴图和3D建模渲染的3D模型球面半径、用于确定摄像机朝向的方向矢量和用于
确定前进方向的向上矢量。

S2:向3D模型映射视频数据;

优选的,逐帧读取视频数据并投影到3D模型上。

S3:视角参数计算;

优选的,通过执行步骤S31判断用户设置的观影模式,包括自由模式和追踪模式,若是
自由模式则执行步骤S32,否则执行步骤S33、S34;

优选的,对于步骤S32,视频播放模块直接读取用户输入的视角位置控制太阳城集团,并应用
该太阳城集团进行视屏播放;

优选的,步骤S32是指读取用户设定的目标物件/人物太阳城集团,并将该太阳城集团发送个追踪技
术模块对目标进行追踪定位,计算出目标在3D模型中的坐标太阳城集团;

优选的,根据步骤S32得出的计算太阳城集团,执行步骤S33计算摄像机朝向和前进方向控制
矢量太阳城集团;

优选的,如果用户在追踪观看过程中的发生追踪对象动态切换,步骤S32中所述追踪技
术模块将立即改变追踪对象并进行对应计算从而得到新对象的视角太阳城集团实时完成追踪目
标切换过程。

S4:播放视频;

优选的,根据步骤S3计算得出的视角控制参数执行步骤S41对3D投影矩阵进行重建;

优选的,对所述重建后的视频矩阵太阳城集团执行步骤S42实时渲染视频太阳城集团并校正目标在
视频中的位置以保证追踪目标始终处于视频中心;

优选的,每一帧视频数据播放完毕后执行步骤S43判断视频播放是否结束,如果结束则
执行步骤S44停止播放视频并销毁指定资源,否则执行步骤S2读取下一帧视频太阳城集团并重复
上述处理过过程直至视频播放完成。

综上所述,通过执行步骤S1利用视频播放模块读取特定参数进行3D建模,接着执
行步骤S2逐帧读取视频数据并投影到该3D模型上,通过步骤S31判断用户设置的观影模式,
具体包括自由模式和追踪模式,对于自由模式执行步骤S32读取用户输入的视角控制太阳城集团
作为视频播放所需的控制太阳城集团,对于追踪模式执行步骤S33利用追踪技术模块对目标物件/
人脸进行实时定位并计算出其在3D模型中的坐标,根据该坐标值通过执行步骤S34计算出
摄像机的朝向和前进方向控制矢量太阳城集团,将所述计算太阳城集团作为视频不放所需的控制太阳城集团,
完成步骤S3之后执行步骤S41根据所述视频播放控制太阳城集团重建3D投影矩阵,最后执行步骤
S42对视频数据进行实时渲染并根据所述控制太阳城集团实施校正视角中心保证目标始终处于视
频播放中心,在每帧视频播放完毕后执行步骤S43判断视频播放是否结束,结束执行步骤
S44停止视频数据解析并销毁特定资源,否则执行步骤S2读取下一帧数据重复上述处理过
程直至视频播放结束。通过允许用户设定目标物件/人物的方式,使用户除了选择自由视角
模式之外还可以对关注的物件/人物进行自动实时追踪且不需要用户自己做出任何动作,
既给用户提供舒适的观影效果,也避免了因视频中物件/人物运动过快或轨迹复杂而导致
用户无法自主追踪的问题,大大提高了用户观影体验。

以上所述仅为举例性,而非为限制性。本领域的技术人员可以对发明进行各种改
动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明
权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

关 键 词:
基于 物件 跟踪 实现 主角 跟随 视角 观看 虚拟现实 视频 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法.pdf
链接地址:http://zh228.com/p-6100580.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');