太阳城集团

  • / 12
  • 下载费用:30 金币  

基于双向的局部和全局运动估计的帧率转换.pdf

摘要
申请专利号:

太阳城集团CN201010583657.7

申请日:

2010.12.08

公开号:

CN102088589B

公开日:

2015.01.14

当前法律状态:

有效性:

法律详情: 授权|||实质审查的生效IPC(主分类):H04N 7/01申请日:20101208|||公开
IPC分类号: H04N7/01; H04N5/14 主分类号: H04N7/01
申请人: 英特尔公司
发明人: A·利维; A·米亚斯科夫斯基; B·赫维茨
地址: 美国加利福尼亚
优先权: 2009.12.08 US 12/633,088
专利代理机构: 永新专利商标代理有限公司 72002 代理人: 赵腾飞;王英
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201010583657.7

授权太阳城集团号:

102088589B||||||

法律状态太阳城集团日:

2015.01.14|||2011.07.20|||2011.06.08

法律状态类型:

授权|||实质审查的生效|||公开

摘要

根据一些实施例,帧率转换可以使用前向和反向的局部和全局运动估计。在一些实施例中,可以对于块产生空间和相邻预测值。可以对于每一个预测值执行小范围块匹配。可以基于来自相邻块的投票,从多个候选中选择用于块的最终或最佳运动矢量。可以从多个所选择的运动矢量计算全局运动矢量。可以基于两个连续帧以及前向和后向的局部和全局运动估计来计算经过运动补偿的内插。

权利要求书

1.一种方法,包括:使用前向运动估计和反向运动估计来执行帧率转换;以及计算前向全局运动估计和反向全局运动估计,以用于帧率转换。2.根据权利要求1所述的方法,其中,所述使用前向运动估计和反向运动估计来执行帧率转换包括:使用分级搜索来执行运动估计。3.根据权利要求1所述的方法,包括:对于所选择的块产生太阳城集团预测值和相邻预测值。4.根据权利要求1所述的方法,包括:对于每一个预测值执行小范围块匹配。5.根据权利要求3所述的方法,包括:将具有最小绝对差之和的运动矢量确定为候选运动矢量。6.根据权利要求4所述的方法,包括:基于来自相邻块的投票,从多个候选中选择用于所选择的块的最终运动矢量。7.根据权利要求1所述的方法,包括:执行运动补偿。8.根据权利要求7所述的方法,包括:计算多个值的中值,所述多个值包括在依据用从前一帧至下一帧的运动矢量前向移位的位置而计算的位置处的、从所述下一帧获取的像素的值。9.根据权利要求8所述的方法,包括:使用在用从所述下一帧至所述前一帧的运动矢量反向移位的位置处的、来自所述前一帧的像素,来计算所述中值。10.根据权利要求9所述的方法,包括:确定至少5个值的所述中值,其中,所述值之一是从所述下一帧获取的所述像素和从所述前一帧获取的所述像素的平均。11.根据权利要求8所述的方法,包括:使用在用从所述下一帧至所述前一帧的全局运动估计反向移位的位置处的、来自所述前一帧的像素来计算所述中值。12.根据权利要求8所述的方法,包括:使用在用从所述前一帧至所述下一帧的全局运动估计前向移位的位置处的、来自所述下一帧的像素,来计算所述中值。13.一种计算机可读介质,用于存储指令,所述指令使得计算机:前向和反向估计局部和全局运动,以用于帧率转换。14.根据权利要求13所述的介质,进一步存储指令,所述指令用于:使用前向运动矢量和前向全局运动以及反向运动矢量和反向全局运动,基于内插来计算像素。15.根据权利要求13所述的介质,进一步存储指令,所述指令用于:对于所选择的块产生太阳城集团预测值和相邻预测值。16.根据权利要求13所述的介质,进一步存储指令,所述指令用于:使用10x10的范围对于每一个预测值执行小范围块匹配。17.根据权利要求15所述的介质,进一步存储指令,所述指令用于:将具有最小绝对差之和的运动矢量确定为候选运动矢量。18.根据权利要求17所述的介质,进一步存储指令,所述指令用于:基于来自相邻块的投票,从多个候选中选择用于所选择的块的最终运动矢量。19.根据权利要求13所述的介质,进一步存储指令,所述指令用于:执行运动补偿。20.根据权利要求13所述的介质,进一步存储指令,所述指令用于:通过计算多个值的中值来执行运动补偿,所述多个值包括在依据用从前一帧至下一帧的运动矢量前向移位的位置而计算的位置处的、从所述下一帧获取的像素的值。21.根据权利要求20所述的介质,进一步存储指令,所述指令用于:使用在用从所述下一帧至所述前一帧的运动矢量反向移位的位置处的、来自所述前一帧的像素来计算所述中值。22.根据权利要求21所述的介质,进一步存储指令,所述指令用于:确定至少5个值的中值,其中,所述值之一是从所述下一帧获取的所述像素和从所述前一帧获取的所述像素的平均。23.根据权利要求21所述的介质,进一步存储指令,所述指令用于:使用在用从所述下一帧至所述前一帧的全局运动估计反向移位的位置处的、来自所述前一帧的像素,来确定中值。24.根据权利要求21所述的介质,进一步存储指令,所述指令用于:使用在用从所述前一帧至所述下一帧的全局运动估计前向移位的位置处的、来自所述下一帧的像素,来确定中值。25.一种装置,包括:前向运动估计单元,其包括投票过程单元,用于基于来自相邻块的投票,从多个候选中选择用于所选择的块的最终运动矢量;以及反向运动估计单元,其包括投票过程单元,用于基于来自相邻块的投票,从多个候选中选择用于所选择的块的最终运动矢量。26.根据权利要求25所述的装置,所述前向运动估计单元和所述反向运动估计单元使用分级搜索来执行运动估计。27.根据权利要求25所述的装置,其中,所述前向运动估计单元和所述反向运动估计单元对于所选择的块产生太阳城集团预测值和相邻预测值。28.根据权利要求25所述的装置,其中,所述前向运动估计单元和所述反向运动估计单元对于每一个预测值执行小范围块匹配。29.根据权利要求27所述的装置,所述前向运动估计单元和所述反向运动估计单元将具有最小绝对差之和的运动矢量确定为候选运动矢量。30.根据权利要求29所述的装置,所述前向运动估计单元和所述反向运动估计单元基于所述邻居投票来选择最佳候选运动矢量。31.根据权利要求25所述的装置,其中,所述运动估计单元耦合到运动补偿设备。32.根据权利要求30所述的装置,其中,所述运动补偿设备计算多个值的中值,所述多个值包括在依据用从前一帧至下一帧的运动矢量前向移位的位置而计算得到的位置处的、从所述前一帧和所述下一帧之中的所述下一帧获取的像素的值。33.根据权利要求32所述的装置,其中,所述运动补偿设备使用从所述下一帧至所述前一帧的运动矢量反向移位的、来自所述前一帧的像素来计算所述中值。34.根据权利要求33所述的装置,其中,所述运动补偿设备确定至少3个值的中值,其中,所述值之一是从所述下一帧获取的所述像素和从所述前一帧获取的所述像素的平均。35.根据权利要求34所述的装置,其中,所述运动补偿设备使用在用从所述下一帧至所述前一帧的全局运动估计反向移位的位置处的、来自所述前一帧的像素来确定中值。36.根据权利要求34所述的装置,其中,所述运动补偿设备使用在用从所述前一帧至所述下一帧的全局运动估计前向移位的位置处的、来自所述下一帧的像素来确定中值。

说明书

基于双向的局部和全局运动估计的帧率转换

技术领域

本发明总体上涉及处理视频太阳城集团。

背景技术

可以以给定的帧率来提供视频。该视频由静止帧的序列组成。该帧率是每秒的帧数量。

一些显示器使用与输入视频的帧率不同的帧率。因此,帧率转换将帧率向上或向下转换,使得输入帧率与显示器的帧率匹配。

附图说明

图1是根据本发明的一个实施例的帧率转换装置;

图2是根据一个实施例的运动估计单元的更详细地描述;

图3是根据一个实施例的运动补偿设备的更详细的描述;

太阳城集团图4是根据本发明的一个实施例的太阳城集团预测值(predictor)及金字塔预测值的描述;

图5是根据本发明的一个实施例的空间预测值的描述;

图6是一个实施例的流程图;以及

图7是对于一个实施例的系统描述。

具体实施方式

帧率转换用于改变视频序列的帧率。典型的帧率转换算法应用是,对于国家电视系统委员会(NTSC)系统而言,将影片内容从每秒24帧转换为每秒60帧,或对于逐行倒相(PAL)系统而言,将影片内容从每秒25帧转换为每秒50帧。高清晰度电视支持每秒120或240帧的显示,这也需要帧的向上转换。根据一些实施例,帧率转换算法可以补偿在视频序列中描述的运动。

在一个实施例中,使用双向的、分级的局部和全局运动估计和运动补偿。“双向”表示在前向和反向上在两个锚定帧(anchor frame)之间估计运动。“分级运动估计(hierarchical motion estimation)”指的是使用所提供的视频太阳城集团的每一次不断提高的分辨率来精炼运动估计的情况。双向的、分级的局部和全局运动估计之后是最终运动补偿阶段,该阶段将所述两个锚定帧和所有的运动估计元素整合到一个内插阶段内。

根据一个实施例,可以接收两个视频帧的输入序列。这些帧可以包括由x、y和太阳城集团t坐标指定的一系列像素。运动矢量可以从第一帧至第二帧以及从第二帧至第一帧来确定,换句话说,在前向和反向上确定。本算法使用所得到的局部和全局运动、所提供的太阳城集团戳以及连续的帧数据来在这两个帧之间创建内插帧。太阳城集团戳对应于帧率,并且具体地说,对应于输出帧的期望帧率。

因此,前一帧P可以具有由x、y和t变量指定的像素,并且后一帧N可以具有采用x、y和t+1变量的像素。输出帧C具有采用x、y、t’变量的像素。内插得到的输出帧C可以具有太阳城集团t+q,其中,q小于1并且大于0。可以在x和y坐标中由p来指示像素位置。运动矢量MVAB(x,y)是从帧A至帧B的、在屏幕空间中的坐标x和y处的运动矢量。全局运动矢量GMAB是从帧A至帧B的主运动矢量(dominant motion vector)。

太阳城集团因此,参见图1,向前向运动估计单元12a和反向运动估计单元12b提供前一帧P和后一帧N。每一个运动估计单元12的输出是运动矢量场和全局运动矢量,该运动矢量场和全局运动矢量在前向运动估计单元12a的情况下是从前一帧P至后一帧N,或者在反向运动估计单元12b的情况下是从后一帧至前一帧,如图1中所述。向运动补偿设备22提供前向和反向运动估计的结果,运动补偿设备22接收所述运动矢量和内插的输出帧C的太阳城集团q。

太阳城集团参见图2,运动估计单元12可以实现图1的前向运动估计单元12a或反向运动估计单元12b。其可以以软件或硬件来实现。在硬件实施例中,可以在一些实施例中使用硬件加速器。

输入帧被指示为A和B,它们在一个实施例中仅包括Y、U、V颜色系统中的Y分量。也可以使用其他颜色方案。该运动估计单元的输入还可以包括用于在分级系统的多个金字塔级的每一级处的每一个块的太阳城集团预测值。太阳城集团预测值是根据先前的运动估计计算的在参考帧中的源块的预期位置。如所指示,输出是在每一个金字塔级处的每一个块的运动矢量和在帧中的全局运动或主运动矢量。

各个子单元包括:金字塔单元16,用于根据输入帧建立金字塔结构;以及,全局运动估计单元20,其计算从A至B的全局或主运动矢量。以下,更详细地描述块搜索单元15和投票单元18。

全局运动估计单元20通过使用参照原始帧分辨率的金字塔的最低一级的从A至B的运动矢量来计算从帧A至帧B的主运动。计算所有运动矢量的平均,然后,去除与该平均有显著不同的所有运动矢量。再一次计算剩余运动矢量集合的平均,并且同样去除与该新的平均不同的运动矢量。这个处理继续进行,直到其收敛为止,这表示平均运动矢量从当前的迭代至下一个迭代不发生改变。最终的平均运动矢量即为全局或主运动矢量。

太阳城集团在图3中更详细地示出了运动补偿设备22。运动补偿设备22包括运动矢量平滑24、像素内插25和中值计算器26。运动矢量平滑24基于相关的块运动矢量来计算内插帧的每一个像素的前向和反向运动矢量。给定像素的运动矢量是其所属的块的运动矢量与其紧邻的邻居块的运动矢量的加权平均。基于每一个像素在块中的位置来为该像素计算权重。

像素内插单元25计算内插帧的每一个像素的每一个颜色分量(例如,Y、U和V)的四个内插版本。这些内插版本可以是:在由从P至N的对应运动矢量和太阳城集团戳q指示的位置中的、来自帧N的像素a;在由从N至P的对应运动矢量和太阳城集团戳q指示的位置中的、来自帧P的像素b;在由从P至N的全局运动矢量和太阳城集团戳q指示的位置中的、来自帧N的像素d;以及,在由从N至P的全局运动矢量和太阳城集团戳q指示的位置中的、来自帧P的像素e。在一个实施例中,内插方法可以是最近邻内插或双线性内插以及任何其他内插方法。

太阳城集团中值计算器26计算每一个分量的a、b、c、d和e像素的中值,所述分量例如是每一个像素的Y、U、V,其中,c是a和b像素的平均。运动补偿块使用P和N帧,其中包括在YUV系统中的所有的Y、U和V颜色分量。运动补偿块使用用于仅最低金字塔级的块的从P至N的前向运动矢量和用于仅最低金字塔级的块的从N至P的反向运动矢量。使用从P至N的前向全局运动矢量和从N至P的反向全局运动矢量以及q,q是内插帧的太阳城集团戳,并且是在0到1之间的值。输出是内插帧。

太阳城集团金字塔单元16(图2)建立图像的金字塔结构,其中,金字塔的第一或基本图像是原始图像,第二或较低分辨率的图像是基本单元或原始图像的大小的四分之一,并且第三图像是比第二图像更低分辨率的图像,第三图像的大小是第二图像的四分之一。

太阳城集团在单元12中的运动估计过程可以在前向和反向上是相同的。运动估计使用了金字塔单元16,金字塔块16具有给定数量的级。在一个实施例中,使用了三个级,但是可以提供任何数量的级。为了实现平滑的运动场,使用来自金字塔的前一级以及来自前一个运动估计的运动矢量预测值。在一个实施例中,运动估计输出可以包括用于每一个8x8块的一个运动矢量。

参见图4,使用原始图像30、第二级图像32和第三级图像34来描述一个三级金字塔。块30、32和34都以表示金字塔(Pyramid)的P标注,并且指示了N帧的金字塔表示的三个级。三个块36、38和40被标注为表示先前金字塔(Previous Pyramids)的PP,其被标记为是前一帧的金字塔表示。再次指出,预测值是在参考帧中的源块的预期位置。对于每个8x8块,根据在图4中被标记为太阳城集团的前一帧的运动矢量场计算一个预测值,并根据在图4中所示的金字塔的先前的更低一级计算四个预测值。在最高的金字塔级,即具有最低分辨率的金字塔级,仅有一个空间预测值——零位移。

太阳城集团参见图5,在图5中被标记为46的、在给定的金字塔级中的每一个8x8块与在更低一级中的四个块46a、46b、46c、46d相关。因此,每一个8x8块[46a]具有:一个空间预测值,该空间预测值是源自于其直接父块(direct ancestor block)的,所述直接父块在图5中被标记为块46;以及,三个其他预测值,它们是源自于三个相邻块41、42和44。

对于每一个预测值,执行小范围块匹配搜索,并且在源块与参考块之间确定相似度测量,例如绝对差之和(SAD)。在这个搜索范围中,在绝对差之和最小时的块位移,即运动矢量,被输出为与这个预测值相关的候选。

太阳城集团在一个实施例中,每一个预测值有9个运动矢量位置。在一个实施例中,对于在源帧中的每一个8x8块以及对于每一个预测值,搜索区域是10x10,使得针对每一个方向提供±1的搜索范围。对于每一个方向,搜索覆盖三个位置(-1,0,+1),因此,搜索位置的总数是3x3或9。

块的最终运动矢量的选择是基于邻居投票过程的。在邻居投票中,针对每一个块,基于相邻块的运动矢量候选来选择最佳的运动矢量。对于当前块的每一个运动矢量候选,对8个相邻块的类似的运动矢量候选的数量进行计数。由于最多次数地作为候选而获得最大票数的运动矢量被选择为最佳运动矢量。

运动补偿设备22基于前向运动场和反向运动场运动矢量,通过使用前一帧P和原始帧N来产生输出的内插帧C。可以由平滑滤波器24平滑在前向和反向上的运动场,该平滑滤波器24在一个实施例中可以是9x9滤波器。在一个实施例中,在中值计算器26中,每一个输出像素被计算为5个不同值(a、b、c、d和e)的中值。即,在下一帧N和前一帧P之间计算在新的内插帧C中的像素位置p。假定,这个新的帧处于太阳城集团轴上0到1之间的某个位置q处,在太阳城集团0处的P帧与太阳城集团1处的N帧之间。

参见图6,根据一个实施例,可以以软件、硬件或固件来实现序列。在软件实施例中,可以使用例如通用处理器或图形处理器的处理器来实现该序列,以执行指令序列。该指令序列可以被存储在可由执行中的处理器访问的计算机可读介质上。所述计算机可读介质可以是任何存储设备,包括磁存储设备、半导体存储设备或光学存储设备。

太阳城集团初始,该序列在框50开始,在框50中接收前一帧和后一帧的像素。在框54和64,准备前一帧和后一帧的金字塔结构。其后在金字塔运动估计阶段52a、52b、52c中处理像素。在前向运动估计阶段,使用先前的前向运动场(框55)为每一个8x8块产生太阳城集团和空间预测值,如框56中所示。接下来,对于每一个预测值执行小范围块匹配,如在框58中所示。其后在框60中,具有最小绝对差之和的运动矢量被识别为候选。基于邻居投票来从候选中选择最佳候选,如框62中所示。某个金字塔级的运动矢量结果被提供到本级的框73内和下一级的框66内。然后在框73中进行全局运动估计。

太阳城集团在反向上,在框65、66、68、70、72和73中执行同一序列。

在框74中,对最后一个金字塔级的运动估计结果进行组合以用于运动补偿。运动补偿阶段可以包括:在框76中的滤波,用于平滑运动矢量场以建立每一个像素的运动矢量;在使用运动矢量的框77a和77d和使用全局运动的77b和77c中的内插;以及,在框78中的中值计算。

在图7中所示的计算机系统130可以包括硬盘驱动器134和可移除介质136,硬盘驱动器134和可移除介质136通过总线124而耦合到芯片组核心逻辑110。在一个实施例中,该核心逻辑可以耦合到图形处理器112(经由总线105)和主或主机处理器122。图形处理器还可以通过总线126耦合到帧缓冲器114。帧缓冲器114可以通过总线107而耦合到显示器屏幕118,显示器屏幕118进而通过总线108耦合到例如键盘或鼠标120的常规部件。在软件实施方式的情况下,相关的计算机可执行代码可以被存储在任何半导体、磁性或光学存储器中,包括主存储器132。因此,在一个实施例中,代码139可以被存储在例如主存储器132的机器可读介质中,以由例如处理器112或122的处理器执行。在一个实施例中,所述代码可以实现在图6中所示的序列。

太阳城集团在一些实施例中,双向方法和投票过程可以减少在对象边缘附近的伪影,因为这些图像区域由于在单向方法中产生的孔径(aperture)问题而容易出现运动场不准确的问题。虽然双向方法并未解决孔径问题本身,但是最后的内插是更精确的,因为其依赖于来自两个独立的运动场的最佳结果。

太阳城集团可在各种硬件架构中实现在此所述的图形处理技术。例如,图形功能可以被集成在芯片组内。替代地,可以使用分立的图形处理器。作为另一个实施例,可以通过包括多核芯处理器在内的通用处理器来实现图形功能。

太阳城集团在本说明书中对于“一个实施例”或“实施例”的提及表示在本发明中涵盖的至少一种实施方式中包括结合该实施例所描述的特定特征、结构或特性。因此,短语“一个实施例”或“在实施例中”的出现不必指的是同一实施例。而且,可以以除了所举例说明的特定实施例之外的其他适当形式来建立所述特定特征、结构或特性,并且,在本申请的权利要求内涵盖所有这样的形式。

虽然已经针对有限数量的实施例描述了本发明,但是本领域内的技术人员可以理解根据上述实施例的各种修改和变型。意欲所附的权利要求涵盖落在本发明的真实精神和范围内的所有这样的修改和变型。

关 键 词:
基于 双向 局部 全局 运动 估计 转换
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:基于双向的局部和全局运动估计的帧率转换.pdf
链接地址:http://zh228.com/p-6420205.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');