太阳城集团

  • / 9
  • 下载费用:30 金币  

一种蓝牙控制显示内容同步的方法.pdf

摘要
申请专利号:

CN201610789956.3

申请日:

2016.08.31

公开号:

CN106331426A

公开日:

2017.01.11

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):H04N 5/04申请日:20160831|||公开
IPC分类号: H04N5/04; H04N5/06; H04W4/00(2009.01)I; G06F3/14 主分类号: H04N5/04
申请人: 成都炫境科技有限公司
发明人: 刘亚博; 代波; 王强
地址: 610041 四川省成都市高新区天华一路99号7栋1单元3层308
优先权:
专利代理机构: 北京天奇智新知识产权代理有限公司 11340 代理人: 杨春
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201610789956.3

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2017.02.08|||2017.01.11

法律状态类型:

太阳城集团实质审查的生效|||公开

摘要

太阳城集团本发明提供了一种蓝牙控制显示内容同步的方法,该方法包括:发送端的AR设备A与接收端的AR设备B分别与一组转发设备C建立蓝牙传输网络连接,根据设备A、B与每个转发设备之间的传输性能参数选定转发设备,向设备B进行屏幕画面的转发。本发明提出了一种蓝牙控制显示内容同步的方法,减少AR设备直接链路的压力的对视频流畅效果影响。

权利要求书

1.一种蓝牙控制显示内容同步的方法,用于在多个AR设备中进行画面同步传输和显
示,其特征在于,包括:
发送端的AR设备A与接收端的AR设备B分别与一组转发设备C建立蓝牙传输网络连接,
根据设备A、B与每个转发设备之间的传输性能参数选定转发设备,向设备B进行屏幕画面的
转发。
2.根据权利要求1所述的方法,其特征在于,所述转发设备C包括多个设备C1…Cn,所述
方法还包括:
设备A发送握手信号到转发设备C,转发设备C接收数据并计算设备A与转发设备C之间
数据传输链路的丢包率和传输速率组成的传输性能参数;设备C发送握手信号到设备B,设
备B回传数据到转发设备C,转发设备C计算转发设备C与设备B之间数据传输链路的丢包率
和传输速率组成的传输性能参数;转发设备C将其自身的计算速度、与设备A之间以及与设
备B之间的传输性能参数一同发送回发送端的设备A;
设备A根据备选转发设备C的传输性能参数,将此参数相似的转发设备C分为一组,作为
转发设备组;对同一转发设备C而言,计算设备A与转发设备C、转发设备C与设备B之间的传
输速率,并以其中较小的传输速率值为参考进行分组;设备A根据其传输时的基本传输数据
速率和转发设备组的传输性能参数选中一组转发性能满足预定义传输要求的转发设备组
作为选定转发设备组,即选择传输速率大于基本传输数据速率的备选转发设备组中传输速
率最大的一组作为选定转发设备组,并建立中继链路;
设备A对自身画面太阳城集团进行抓取,将所抓取的画面太阳城集团和抓取时的太阳城集团以及设备标识
号等参数一并封装到传输数据帧中,并通过蓝牙传输网络向设备B和已经建立链路链接的
选定转发设备组发送同一帧传输数据;与设备A和设备B建立链接的选定转发设备组将接收
的传输数据通过蓝牙传输网络向设备B转发;当设备B接收到设备A或者选定转发设备组中
任意一个设备传输的数据后开始计时,并等待其他设备传来的数据;计时太阳城集团超过预设的
最大延迟时,设备B通知尚未将传输数据传输给设备B的链路所对应的设备A或转发设备C丢
弃超时的传输数据;然后设备B将已经接收到的传输数据进行选择合并;设备B将处理后的
传输数据进行屏幕显示;
在对某一时刻从设备A和设备C接收的传输数据进行同步性检测时,计算前一时刻各路
画面传输太阳城集团的终端反馈不同步次数,将其与设置的终端反馈不同步次数的可接受阈值、
终端反馈不同步次数的不接受阈值进行比较,若各路传输数据中最小终端反馈不同步次数
小于终端反馈不同步次数的可接受阈值或者大于终端反馈不同步次数的不接受阈值,则选
择终端反馈不同步次数最低的一路传输数据为设备B的显示数据;若各路传输数据中最小
不同步次数介于终端反馈不同步次数的可接受阈值和终端反馈不同步次数的不接受阈值
之间,则选取设备B接收到的传输数据中出现次数最多的传输数据为设备B的显示数据,若
存在出现次数相同的传输数据,则选取其中终端反馈不同步次数低的传输数据为设备B的
显示数据。

说明书

一种蓝牙控制显示内容同步的方法

技术领域

本发明涉及屏幕显示,特别涉及一种蓝牙控制显示内容同步的方法。

背景技术

人们工作生活中的多媒体设备己经从传统的以单个智能设备,转变成桌面电脑、
智能手机、平板电脑和电视机以及虚拟现实、增强现实设备共同存在。因此从单独的设备,
逐渐转变成同步、综合使用这些设备,能够获得更好的用户体验。传统的计算机同步显示平
台通常是为有线局域网环境设计的。但是,在云计算的场景中,用户可能处于各种各样的网
络环境,例如蓝牙、3G网络、WiFi。现有的同步显示平台尚未考虑多种网络场景的可扩展性,
在带宽,延迟和图像质量上成为瓶颈。例如,有些方法将画面像素划分到不同的位图层之
中,通常这会导致较高的编码复杂度;画面流媒体压缩效率不够理想。

发明内容

为解决上述现有技术所存在的问题,本发明提出了一种蓝牙控制显示内容同步的
方法,包括:

发送端的AR设备A与接收端的AR设备B分别与一组转发设备C建立蓝牙传输网络连
接,根据设备A、B与每个转发设备之间的传输性能参数选定转发设备,向设备B进行屏幕画
面的转发。

优选地,所述转发设备C包括多个设备C1…Cn,所述方法还包括:

设备A发送握手信号到转发设备C,转发设备C接收数据并计算设备A与转发设备C
之间数据传输链路的丢包率和传输速率组成的传输性能参数;设备C发送握手信号到设备
B,设备B回传数据到转发设备C,转发设备C计算转发设备C与设备B之间数据传输链路的丢
包率和传输速率组成的传输性能参数;转发设备C将其自身的计算速度、与设备A之间以及
与设备B之间的传输性能参数一同发送回发送端的设备A;

设备A根据备选转发设备C的传输性能参数,将此参数相似的转发设备C分为一组,
作为转发设备组;对同一转发设备C而言,计算设备A与转发设备C、转发设备C与设备B之间
的传输速率,并以其中较小的传输速率值为参考进行分组;设备A根据其传输时的基本传输
数据速率和转发设备组的传输性能参数选中一组转发性能满足预定义传输要求的转发设
备组作为选定转发设备组,即选择传输速率大于基本传输数据速率的备选转发设备组中传
输速率最大的一组作为选定转发设备组,并建立中继链路;

设备A对自身画面太阳城集团进行抓取,将所抓取的画面太阳城集团和抓取时的太阳城集团以及设备
标识号等参数一并封装到传输数据帧中,并通过蓝牙传输网络向设备B和已经建立链路链
接的选定转发设备组发送同一帧传输数据;与设备A和设备B建立链接的选定转发设备组将
接收的传输数据通过蓝牙传输网络向设备B转发;当设备B接收到设备A或者选定转发设备
组中任意一个设备传输的数据后开始计时,并等待其他设备传来的数据;计时太阳城集团超过预
设的最大延迟时,设备B通知尚未将传输数据传输给设备B的链路所对应的设备A或转发设
备C丢弃超时的传输数据;然后设备B将已经接收到的传输数据进行选择合并;设备B将处理
后的传输数据进行屏幕显示;

在对某一时刻从设备A和设备C接收的传输数据进行同步性检测时,计算前一时刻
各路画面传输太阳城集团的终端反馈不同步次数,将其与设置的终端反馈不同步次数的可接受阈
值、终端反馈不同步次数的不接受阈值进行比较,若各路传输数据中最小终端反馈不同步
次数小于终端反馈不同步次数的可接受阈值或者大于终端反馈不同步次数的不接受阈值,
则选择终端反馈不同步次数最低的一路传输数据为设备B的显示数据;若各路传输数据中
最小不同步次数介于终端反馈不同步次数的可接受阈值和终端反馈不同步次数的不接受
阈值之间,则选取设备B接收到的传输数据中出现次数最多的传输数据为设备B的显示数
据,若存在出现次数相同的传输数据,则选取其中终端反馈不同步次数低的传输数据为设
备B的显示数据。

本发明相比现有技术,具有以下优点:

本发明提出了一种蓝牙控制显示内容同步的方法,减少AR设备直接链路的压力的
对视频流畅效果影响。

附图说明

图1是根据本发明实施例的一种蓝牙控制显示内容同步的方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描
述。结合这样的实施例描述本发明,但是本发明不限于任何实施例。本发明的范围仅由权利
要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以
便提供对本发明的透彻理解。出于示例的目的而提供这些细节,并且无这些具体细节中的
一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种蓝牙控制显示内容同步的方法。图1是根据本发明实
施例的一种蓝牙控制显示内容同步的方法流程图。

本发明首先在画面压缩过程中,将输入的显示帧以固定大小划分为块,基于帧序
列的帧内相关性和帧间相关性压缩编码;基于内容自适应的编码方法,即利用位图区域特
征将画面分类为位图区域和文字区域;位图区域和文字区域分别置于位图层和文字层中,
位图区域采用图像编码进行处理,对文字区域进行颜色描述和量化以及利用光强度和饱和
度的通道相关性编码。在画面同步传输过程中,根据画面内容而划分为多个区块进行独立
的编码和传输;根据以上压缩方法的特性,利用改进的延迟降低方法来传输画面。

本发明利用多AR设备协同画面同步显示平台,基于远程Agent而在AR终端部署同
步显示平台。Agent维护了一个虚拟同步显示平台用于解析、排版和绘制显示画面,绘制出
来的画面图像在编码后传输到AR终端。AR终端接收并且解码码流,然后将画面图像显示出
来。在基于Agent的AR终端同步显示平台的基础上,利用显示画面播放进度同步机制,实现
播放进度的无缝衔接。

输入的画面图像首先以64×64的大小分块。然后通过在相邻帧之间进行差别检
测,找出内容和位置均不变的块,本发明称之为时移块。通过联合熵编码来压缩每一个时移
块的类型,在其余的块中执行基于块边界对齐的运动检测来找出内容不变但是发生位移的
区域。对于每一个运动块,将其类型和运动向量进行编码。在检测出相邻帧之间的不变内容
之后,将其余的块分类为位图区域和文字区域,然后分别采用不同的方法进行压缩。

本发明在分类时,对于一个块i,令XP(i)和YP(i)分别表示当前梯度系数下将当前
区域分类为位图区域进行编码时的失真率以及比特率,XT(i)和YT(i)分别表示当前梯度系
数下将当前区域分类为文字区域进行编码时的失真率以及比特率。如果满足以下条件:

XT(i)≤XP(i),并且YT(i)<YP(i)

则当前区域被分类为文字区域。

如果满足以下条件:

XP(i)<XT(i),并且YP(i)≤YT(i)

则当前区域被分类为位图区域。

否则,当前区域将以拉格朗日失真率优化算法进行分类。

分类完成后,首先进行像素级的量化,将一个块中出现频率最高的四种颜色确定
为基础色。采用的量化函数表示如下:


其中x是要量化的颜色,BCk,是4个基础色,k=0,...,3,Δ1和Δ2是由两个预设量
化增量。

如果|x-BCk|≥Δ1,则这个颜色x被称为非基础色。文字内容的三个颜色通道各自
独立进行量化。经过量化后,输入的画面图像的每一个块S(i,j)(0≤i≤w-l,0≤j≤i-1,w
和h分别是块的宽度和高度)的各个颜色通道都可以用一个灰度矩阵I(i,j)以及基础色、非
基础色来描述。I(i,j)的定义如下,

如果S(i,j)-BCk<Δ1,则I(i,j)=k,否则I(i,j)=4

在压缩文字内容时,如果某个块中文字像素占最大比例,则方法优先将其分类为
文字区域进行压缩。利用基础色压缩文字像素而利用非基础色压缩位图像素可以保持压缩
文字像素时的高效率。

然后采用如下的方法将灰度矩阵I(i,j)转换成为二维关联图P(i,j)来表示文字
内容的二维相关性。


这样对二维关联图做一维扫描就可以利用文字内容的二维相关性。当P(i,j)=0
时,进一步编码索引值I(i,j)。

对于要编码的块中的每一行,首先尝试以整行模式对其匹配编码。如果没有整行
模式可以匹配,则将该行分解为若干个像素组,并对每一个像素组进行模式匹配。像素二维
关联图数值代表了像素域的模式。将每L个像素二维关联图数值组成一个像素组二维符号,
然后根据像素组模式的概率分布对其进行联合熵编码。像素组二维符号可以进一步转换为
简单的符号0和1,如下:


其中k=0,…,w/L-1,j=0,…,h-1;m取[0,L-1]

如果G(i,j)=0则进一步对像素组二维符号进行编码。

对于位图层,在编码后分别生成个各自独立的JPEG流,对应于位图区域位置的内
容以附近编码块颜色的平均值填充。统计一幅图像上的所有位图区域的颜色分布,然后将
所有颜色量化为512个颜色。将位图区域量化的质量参数映射为量化增量。令QS1…,QSn表示
n个基础色量化中的每个量化增量。以量化增量对图像中的位图区域进行量化时,将使均方
差和比特率之和最小化的QSk确定为最优量化增量值。

为减小画面传输的延迟,本发明首先将抓取到的画面图像划分为多个区块,各个
区块独立进行编码。编码产生的比特结果打包之后送入传输队列,然后通过UDP通道传输到
AR终端。AR终端接收到这些包,解码出各个区块并将其显示在屏幕上。当传输队列满时,编
码控制模块停止屏幕编码过程,直到传输队列中有足够的空间容纳下一个编码帧。然后利
用改进的传输方法来减少不必要的重传,从而降低传输延迟。

首先仍然将画面图像以固定大小划分为块进行编码,并且显示屏幕以帧为单位进
行解码。构造一个帧更新表U(x,y)(0<x<W/w,0<y<H/h)其中x,y表示图像中的一个块的位
置。W和H分别是画面图像的宽度和高度,w和h分别是图像中一个块的宽度和高度。对于第n
帧,以S(x,y,n)表示其中位于(x,y)的块的内容是否和前一帧对应位置的块完全相同(即时
移块)。如果S(x,y,n)=1,则内容相同。当接收到第n帧数据时,如果S(x,y,n)=0并且n大于
U(x,y),则将第n帧解码结果中位于(x,y)的块复制到当前帧的缓冲区,然后更新U(x,y)为
n。

为在画面同步传输环境下降低传输延迟,本发明采用以下方法,如果某一帧中的
一个非时移块的数据已经接收并且状态更新,则之前帧中同一个位置的块的数据标识为过
期,不再重传这些数据。具体地,在主机端构造每个数据块的状态表,对于每个数据包,获取
包中数据块集合,将当前集合中的每个数据块的索引设置为i,如果当前块的类型不是时移
块并且所在帧的编号大于i在状态表中的状态Ai,则将所在帧的编号作为状态Ai。每当接收
到AR终端的更新消息,状态表都会进行更新。

接收终端每隔预设周期都会向发送终端反馈一个状态包,包含该太阳城集团段内数据包
接收的相关太阳城集团。若发送终端在预设太阳城集团内没接收到状态包,则判定当前网络为过载状态;
若当前丢包率低于固定阈值,则判定当前网络为空闲状态;其他情况判定为正常状态。

若判定网络为过载,使用衰减系数λ降低当前比特率参数Bx:

Bx=max(λ×Bx,Bmin}(0<λ<1)

若判定网络为欠载,使用增长系数θ增加当前比特率参数Bx:

Bx=min{Bx+θ,Bmax}(θ<<Bx)

发送端若判定网络为正常状态下逼近过载时,使用衰减系数δ小幅度调整当前比
特率参数Bx:

Bx=max(Bx-δ,Bmin}(δ<<Bx)

其中Bmax和Bmin分别代表比特率参数的最小值和最大值。

如果编码器输出码率达到设定的最小值时,网络依然处于过载状态,则采用以下
方法进一步降低输送到网络的数据量:当Bx等于Bmin且出现次数达到p次时,将I帧和P帧全
部丢弃,只发送B帧,控制更少的数据量输出。在当连续q(q>p)个周期网络仍然过载,发送
端继续丢弃部分B帧;当Bx大于Bmin时,发送终端发送所有类型的视频帧。在出现丢包率降低
至正常状态时,发送端首先仍将I帧和P帧全部丢弃,继续判断Bx等于Bmin出现的次数是否达
到p次,若不超过p次,才发送所有帧,保证视频实时流式传输。

在基于Agent的播放进度衔接方面,当一个认证用户的一台AR设备连接到Agent
时,Agent的终端管理器识别出该用户并且为这个设备创建一个新的虚拟显示实例,执行画
面引擎的逻辑,并且维护所有的显示画面播放中的状态;在设备成功连接后,Agent通知相
同用户的所有其他AR设备可以和这个设备之间进行播放进度保持一致。

画面播放进度衔接是通过更改虚拟显示实例和AR终端设备之间的对应关系而实
现的。当AR设备B发送一个带有目标AR设备A的同步请求到Agent时,Agent将其播放进度和
目标设备对应起来,将设备B中绘制出的画面图像发送到设备A,同时设备A的用户输入也发
送给设备B。所有的显示画面播放状态都由虚拟显示实例维护,这种机制可以保持所有的显
示画面播放状态;

所述Agent根据预先设定的模式进行画面播放进度衔接,在迁移模式下,设备B的
播放进度衔接到设备A,而设备A的播放进度将被释放掉。在共享模式下,设备B的播放进度
会衔接到设备A,同时,为设备B创建一个新的拥有相同状态的播放实例,设备B原来的播放
进度中的状态,用来构建这个新的实例。在互换模式下,设备B的播放进度和设备A的播放进
度相互交换。

在另一优选的实施例中,为减少设备A和B直接链路的压力的影响,发送端的AR设
备A与接收端的AR设备B通过转发设备C进行蓝牙传输。转发设备C可包括多个设备C1…Cn。首
先设备A发送握手信号到转发设备C,转发设备C接收数据并计算设备A与转发设备C之间数
据传输链路的丢包率和传输速率组成的传输性能参数;设备C发送握手信号到设备B,设备B
回传数据到转发设备C,转发设备C计算转发设备C与设备B之间数据传输链路的丢包率和传
输速率组成的传输性能参数。转发设备C将其自身的计算速度、与设备A之间以及与设备B之
间的传输性能参数一同发送回发送端的设备A。

设备A根据备选转发设备C的传输性能参数,将此参数相似的转发设备C分为一组,
作为转发设备组。对同一转发设备C而言,计算设备A与转发设备C、转发设备C与设备B之间
的传输速率,并以其中较小的传输速率值为参考进行分组。设备A根据其传输时的基本传输
数据速率和转发设备组的传输性能参数选中一组转发性能满足预定义传输要求的转发设
备组作为选定转发设备组,即选择传输速率大于基本传输数据速率的备选转发设备组中传
输速率最大的一组作为选定转发设备组,并建立中继链路。

设备A对自身画面太阳城集团进行抓取,将所抓取的画面太阳城集团和抓取时的太阳城集团以及设备
标识号等参数一并封装到传输数据帧中,并通过蓝牙传输网络向设备B和已经建立链路链
接的选定转发设备组发送同一帧传输数据;与设备A和设备B建立链接的选定转发设备组将
接收的传输数据通过蓝牙传输网络向设备B转发。当设备B接收到设备A或者选定转发设备
组中任意一个设备传输的数据后开始计时,并等待其他设备传来的数据。计时太阳城集团超过预
设的最大延迟时,设备B通知尚未将传输数据传输给设备B的链路所对应的设备A或转发设
备C丢弃超时的传输数据;然后设备B将已经接收到的传输数据进行选择合并。设备B将处理
后的传输数据进行屏幕显示。

在对某一时刻从设备A和设备C接收的传输数据进行同步性检测时,计算前一时刻
各路画面传输太阳城集团的终端反馈不同步次数,将其与设置的终端反馈不同步次数的可接受阈
值、终端反馈不同步次数的不接受阈值进行比较,若各路传输数据中最小终端反馈不同步
次数小于终端反馈不同步次数的可接受阈值或者大于终端反馈不同步次数的不接受阈值,
则选择终端反馈不同步次数最低的一路传输数据为设备B的显示数据。若各路传输数据中
最小不同步次数介于终端反馈不同步次数的可接受阈值和终端反馈不同步次数的不接受
阈值之间,则选取设备B接收到的传输数据中出现次数最多的传输数据为设备B的显示数
据,若存在出现次数相同的传输数据,则选取其中终端反馈不同步次数低的传输数据为设
备B的显示数据。

综上所述,本发明提出了一种蓝牙控制显示内容同步的方法,减少AR设备直接链
路的压力的对视频流畅效果影响。

显然,本领域的技术人员应该理解,上述的本发明的各模块或各步骤可以用通用
的计算系统来实现,它们可以集中在单个的计算系统上,或者分布在多个计算系统所组成
的网络上,可选地,它们可以用计算系统可执行的程序代码来实现,从而,可以将它们存储
在存储系统中由计算系统来执行。这样,本发明不限制于任何特定的硬件和软件结合。

应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的
原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何
修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨
在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修
改例。

关 键 词:
一种 蓝牙 控制 显示 内容 同步 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种蓝牙控制显示内容同步的方法.pdf
链接地址:http://zh228.com/p-6100872.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');