太阳城集团

  • / 24
  • 下载费用:30 金币  

多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置.pdf

摘要
申请专利号:

CN201080006489.3

申请日:

2010.02.05

公开号:

CN102308584B

公开日:

2015.01.07

当前法律状态:

授权

有效性:

有权

法律详情: 授权|||实质审查的生效IPC(主分类):H04N 7/32申请日:20100205|||公开
IPC分类号: H04N19/597(2014.01)I 主分类号: H04N19/597
申请人: 日本电信电话株式会社
发明人: 志水信哉; 木全英明
地址: 日本东京都
优先权: 2009.02.12 JP 2009-029249
专利代理机构: 中国专利代理(香港)有限公司 72001 代理人: 毛立群;王忠忠
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201080006489.3

授权太阳城集团号:

太阳城集团102308584B||||||

法律状态太阳城集团日:

2015.01.07|||2012.02.22|||2012.01.04

法律状态类型:

太阳城集团授权|||实质审查的生效|||公开

摘要

太阳城集团本发明的多视点图像编码/译码,在对编码/译码对象帧进行分割,按每个区域进行编码/译码的情况下,首先,不仅在处理对象区域,而且在与该处理对象区域邻接的已经编码/译码完成的区域中,也以同一预测方法生成预测图像。接着,根据邻接区域中的预测图像和译码图像,估计对亮度、颜色的失配进行校正的校正参数。由于这时估计的校正参数在译码侧也能够求取,所以不需要进行编码。而且,使用估计的校正参数,对针对处理对象区域生成的预测图像进行校正,由此生成实际使用的校正预测图像。

权利要求书

1: 一种多视点图像编码方法, 将以第 1 摄影机摄影的被摄体的输入图像分割成多个编 码对象区域, 使用以配置在与所述第 1 摄影机不同位置的第 2 摄影机摄影的、 所述被摄体的 已经编码完成的图像, 按每个所述编码对象区域进行预测编码, 其中, 具有 : 样本区域设定步骤, 在所述输入图像中将与所述编码对象区域邻接的已经译码完成的 区域作为样本区域而设定 ; 预测图像生成步骤, 针对属于所述编码对象区域和所述样本区域的像素, 根据以所述 第 2 摄影机摄影的所述编码完成图像来生成预测图像 ; 校正参数估计步骤, 基于针对所述样本区域的所述预测图像和针对所述样本区域已经 译码了的译码图像, 对校正亮度和颜色的失配的校正参数进行估计 ; 预测图像校正步骤, 使用所述校正参数, 对针对所述编码对象区域的所述预测图像进 行校正, 生成第 1 校正预测图像 ; 图像编码步骤, 使用所述第 1 校正预测图像, 对所述编码对象区域的图像信号进行编 码, 生成码数据 ; 以及 图像译码步骤, 对所述码数据进行译码, 生成所述编码对象区域的译码图像。
2: 根据权利要求 1 所述的多视点图像编码方法, 其中, 具备 : 样本图像校正步骤, 使用所述校正参数, 对针对所述样本区域的所述预测图像进行校 正, 生成第 2 校正预测图像 ; 以及 校正参数评价步骤, 基于所述第 2 校正预测图像和所述译码图像, 对所述校正参数进 行评价, 在所述预测图像校正步骤中, 通过比较所述校正参数的评价值和预先决定的阈值, 在 判断为所述校正参数的可靠度高的情况下, 使用所述校正参数对针对所述编码对象区域的 所述预测图像进行校正, 生成所述第 1 校正预测图像, 在判断为所述校正参数的可靠度低 的情况下, 将针对所述编码对象区域的所述预测图像作为所述第 1 预测图像。
3: 根据权利要求 1 所述的多视点图像编码方法, 其中, 具备 : 样本像素分类步骤, 使用所述预测图像和所述译码图像的差分值, 对属于所述样本区 域的像素进行分群 ; 以及 样本区域修正步骤, 在以所述分群而获得的群内, 将属于要素数最多的群的像素作为 所述样本区域而重新设定来对修正了的样本区域进行设定, 在所述校正参数估计步骤中, 仅使用属于所述修正了的样本区域的像素来进行所述校 正参数的估计。
4: 一种多视点图像译码方法, 将以第 1 摄影机摄影的被摄体的图像使用配置在与所述 第 1 摄影机不同位置的第 2 摄影机摄影的所述被摄体的图像进行编码后的译码对象图像的 码数据, 使用以所述第 2 摄影机摄影的已经译码完成的所述被摄体的图像, 按照将所述译 码对象图像分割后的多个译码对象区域的每一个进行译码, 其中, 具有 : 样本区域设定步骤, 在所述译码对象图像中将与所述译码对象区域邻接的已经译码完 成的区域作为样本区域而设定 ; 预测图像生成步骤, 针对属于所述译码对象区域和所述样本区域的像素, 根据以所述 第 2 摄影机摄影的所述编码完成图像来生成预测图像 ; 校正参数估计步骤, 基于针对所述样本区域的所述预测图像和针对所述样本区域已经 2 译码了的译码图像, 对校正亮度和颜色的失配的校正参数进行估计 ; 预测图像校正步骤, 使用所述校正参数, 对针对所述译码对象区域的所述预测图像进 行校正, 生成第 1 校正预测图像 ; 以及 图像译码步骤, 使用所述第 1 校正预测图像, 根据所述码数据对所述译码对象区域的 图像信号进行译码。
5: 根据权利要求 4 所述的多视点图像译码方法, 其中, 具备 : 样本图像校正步骤, 使用所述校正参数, 对针对所述样本区域的所述预测图像进行校 正, 生成第 2 校正预测图像 ; 以及 校正参数评价步骤, 基于所述第 2 校正预测图像和所述译码图像, 对所述校正参数进 行评价, 在所述预测图像校正步骤中, 通过比较所述校正参数的评价值和预先决定的阈值, 在 判断为所述校正参数的可靠度高的情况下, 使用所述校正参数对针对所述译码对象区域的 所述预测图像进行校正, 生成所述第 1 校正预测图像, 在判断为所述校正参数的可靠度低 的情况下, 将针对所述译码对象区域的所述预测图像作为所述第 1 预测图像。
6: 根据权利要求 4 所述的多视点图像译码方法, 其中, 具备 : 样本像素分类步骤, 使用所述预测图像和所述译码图像的差分值, 对属于所述样本区 域的像素进行分群 ; 以及 样本区域修正步骤, 在以所述分群而获得的群内, 将属于要素数最多的群的像素作为 样本区域重新设定来对修正了的样本区域进行设定, 在所述校正参数估计步骤中, 仅使用属于所述修正了的样本区域的像素, 进行所述校 正参数的估计。
7: 一种多视点图像编码装置, 将以第 1 摄影机摄影的被摄体的输入图像分割成多个编 码对象区域, 使用以与所述第 1 摄影机不同的第 2 摄影机摄影的、 所述被摄体的已经编码完 成的图像, 按每个所述编码对象区域进行预测编码, 其中, 具有 : 样本区域设定部, 在所述输入图像中将与所述编码对象区域邻接的已经译码完成的区 域作为样本区域而设定 ; 预测图像生成部, 针对属于所述编码对象区域和所述样本区域的像素, 根据以所述第 2 摄影机摄影的所述编码完成图像来生成预测图像 ; 校正参数估计部, 基于针对所述样本区域的所述预测图像和针对所述样本区域已经译 码了的译码图像, 对校正亮度和颜色的失配的校正参数进行估计 ; 预测图像校正部, 使用所述校正参数, 对针对所述编码对象区域的所述预测图像进行 校正, 生成校正预测图像 ; 图像编码部, 使用所述校正预测图像, 对所述编码对象区域的图像信号进行编码, 生成 码数据 ; 以及 图像译码部, 对所述码数据进行译码, 生成所述编码对象区域的译码图像。
8: 一种多视点图像译码装置, 将以第 1 摄影机摄影的被摄体的图像使用与所述第 1 摄 影机不同的第 2 摄影机摄影的所述被摄体的图像进行编码后的译码对象图像的码数据, 使 用以所述第 2 摄影机摄影的已经译码完成的所述被摄体的图像, 按照将所述译码对象图像 分割后的多个译码对象区域的每一个进行译码, 其中, 具有 : 3 样本区域设定部, 在所述译码对象图像中将与所述译码对象区域邻接的已经译码完成 的区域作为样本区域而设定 ; 预测图像生成部, 针对属于所述译码对象区域和所述样本区域的像素, 根据以所述第 2 摄影机摄影的所述编码完成图像来生成预测图像 ; 校正参数估计部, 基于针对所述样本区域的所述预测图像和针对所述样本区域已经译 码了的译码图像, 对校正亮度和颜色的失配的校正参数进行估计 ; 预测图像校正部, 使用所述校正参数, 对针对所述译码对象区域的所述预测图像进行 校正, 生成校正预测图像 ; 以及 图像译码部, 使用所述校正预测图像, 根据码数据对所述译码对象区域的图像信号进 行译码。
9: 一种多视点图像编码程序, 用于使计算机执行权利要求 1 至 3 的任一项所述的多视 点图像编码方法。
10: 一种多视点图像译码程序, 用于使计算机执行权利要求 4 至 6 的任一项所述的多视 点图像译码方法。

说明书


多视点图像编码方法、 多视点图像译码方法、 多视点图像编 码装置、 多视点图像译码装置、 多视点图像编码程序以及多 视点图像译码程序

    技术领域 本发明涉及对通过多个摄影机对某个被摄体进行摄影的图像进行编码的多视点 图像编码方法及其装置、 对通过该多视点图像编码方法编码了的码数据进行译码的多视点 图像译码方法及其装置、 用于实现该多视点图像编码方法的多视点图像编码程序、 用于实 现该多视点图像译码方法的多视点图像译码程序。
     本申请基于 2009 年 2 月 12 日在日本申请的日本特愿 2009-29249 号要求优先权, 在这里引用其内容。
     背景技术
     多视点图像指的是以多个摄影机对相同的被摄体和背景进行摄影的多个图像, 多 视点活动图像 (多视点视频) 是其活动图像。
     作为用于通常的活动图像编码、 多视点活动图像编码的技术, 提出了运动补偿预 测和视差补偿预测。
     运动补偿预测是在以 H.264 为代表的近年来的活动图像编码方式的国际标准中 也采用的手法, 在编码对象帧与已经编码完成的参照帧之间对被摄体的运动进行补偿, 取 得图像信号的帧间差分, 仅对该差分信号进行编码 (参照非专利文献 1) 。
     另一方面, 视差补偿预测通过使用以其它的摄影机摄影的帧作为参照帧来对被摄 体的视差进行补偿, 一边取得图像信号的帧间差分一边进行编码 (参照非专利文献 2) 。
     在这里使用的视差指的是在配置于不同位置的摄影机的图像平面上, 被摄体上的 相同位置被投影的位置的差。在视差补偿预测中, 将其以二维矢量来表现并进行编码。如 图 8 所示, 由于视差是依赖于摄影机和被摄体到摄影机的距离 (深度) 而产生的太阳城集团, 所以存 在利用该原理的被称为视点合成预测 (视点内插预测) 的方式。
     在视点合成预测 (视点内插预测) 中, 有对在编码侧或译码侧获得的多视点视频使 用摄影机的位置太阳城集团和三角测量的原理对被摄体的深度进行估计, 使用该估计的深度对编 码对象帧进行合成 (内插) 而生成预测图像的方式 (参照专利文献 1、 非专利文献 3) 。再有, 在编码侧对深度进行估计的情况下, 需要对使用的深度 (depth) 进行编码。
     在视差补偿预测、 视点合成预测中, 当在摄影机的摄像元件的响应中存在个体差 时, 或按每个摄影机进行增益控制、 伽玛校正时, 或每个摄影机的被摄体深度、 光圈等的设 定相异时, 或在场景中有依赖于方向的照明效果时, 编码效率劣化。其理由在于, 因为以在 编码对象帧和参照帧中被摄体的亮度、 颜色相同作为前提来进行预测。
     作为为了应对该被摄体的亮度、 颜色的变化而研究的方式, 有被称为亮度补偿、 颜 色补偿的方式。在该方式中, 通过将校正了亮度、 颜色后的参照帧作为在预测中使用的帧, 从而将编码的预测残差抑制得较小。
     在 H.264 中, 采用利用 1 次函数进行校正的 Weighted Prediction (加权预测) (参照非专利文献 1) , 在非专利文献 3 中, 提出了使用颜色表进行校正的方式。
     现有技术文献 专利文献 专利文献 1 : 日本特开 2007-036800 号公报 “映像符号化方法、 映像復号方法、 映像符号 化プログラム、 映像復号プログラム及びそれらのプログラムを記録したコンピュータ読 み取り可能な記録媒体” 非专利文献 非专利文献 1 : ITU-T Rec. H.264/ISO/IEC 11496-10, "Advanced video coding for generic audiovisual services", Final Committee Draft, Document JVT-E022d7, September 2002.(pp.10-13, pp.62-73) 非专利文献 2 : Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004. 非 专 利 文 献 3: K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto, S.Shimizu, K.Kamikura, and Y.Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007。 发明内容 发明要解决的课题 在使用上述的亮度补偿、 颜色校正的编码的情况下, 存在以下 2 个问题。
     第 1 个问题是附加亮度补偿 / 颜色校正参数导致的码量的增加。由于产生对在通 常的视差补偿预测、 视点合成 ( 内插 ) 预测中不需要编码的亮度补偿 / 颜色校正参数进行 编码的需要, 所以编码效率降低。
     第 2 个问题是缺乏对局部的失配 (mismatch) 的应对能力。在这里, 失配指的是在 编码对象帧与参照帧、 视点合成图像之间存在的亮度、 颜色的不一致。
     在通常的活动图像编码中的减弱 (fade) 、 闪烁 (flash) 的情况下, 由于画面整体 同样地变化, 所以以单一的校正参数能够进行充分的亮度补偿、 颜色校正。可是, 由于被摄 体不是完全扩散反射体或每个摄影机的景深、 焦点不完全一致, 导致失配不是依赖于场景、 而是依赖于被摄体的失配, 该失配是局部的。因此, 在利用单一的校正参数的亮度补偿、 颜 色校正中, 不能充分减小预测差分。
     对于该问题, 为了应对局部的变化也考虑使用多个校正参数的方法。 可是, 当使用 该方法时, 由于不仅是对多个校正参数进行编码的码量, 而且需要对表示对每个图像区域 使用哪个校正参数的太阳城集团进行编码, 所以招致进一步的码量增大, 不能够解决第 1 个问题。
     本发明正是鉴于这样的情况而完成的, 其目的在于提供一种新的多视点图像编码 和译码技术, 即使在摄影机间伴随局部的亮度、 颜色的失配的多视点图像 (多视点静止图 像、 活动图像) 中, 也能够实现高效率的编码, 并且实现在实现高效率的编码中所需要的码 量的削减。
     用于解决课题的方案
     [1] 本发明的基本的技术思想 为了解决上述的课题, 在本发明中, 在对编码 / 译码对象帧进行分割, 按每个区域进行 编码 / 译码的情况下, 采用如下手段。
     首先, 不仅在处理对象区域, 而且在与该处理对象区域邻接的已经编码 / 译码完 成的区域中, 也以同一预测方法生成预测图像。 接着, 根据邻接区域中的预测图像和译码图 像, 估计对亮度、 颜色的失配进行校正的校正参数。 接着, 使用估计的校正参数, 对针对处理 对象区域生成的预测图像进行校正, 由此生成实际使用的校正预测图像。
     在对编码对象帧和参照帧进行比较来计算校正参数的现有的方法的情况下, 由于 编码对象帧不能在译码侧获得, 所以需要对校正参数进行编码。
     另一方面, 在本发明中, 因为根据邻接区域中的预测图像和译码图像来估计校正 参数, 所以对编码 / 译码完成帧和参照帧 (成为预测图像的生成源的帧) 进行比较来计算校 正参数。由于任一个帧都是在译码侧能够获得的帧, 所以不需要对校正参数进行编码。也 就是说, 通过本发明能够解决码量增加的问题。
     此外, 由于编码处理是尽可能忠实地对输入信号进行变换的处理, 所以能够将编 码对象帧和编码 / 译码完成帧看作大致相同的帧。也就是说, 通过本发明计算出的校正参 数能够使预测图像接近编码对象帧, 将编码的预测差分充分减小。 此外, 在本发明中, 按处理对象区域的每个使用邻接区域的太阳城集团来估计校正参数。 由此, 能够进行与局部的亮度、 颜色的失配对应的校正。
     在上述的多视点图像编码 / 译码中, 使用估计的校正参数对邻接区域的预测图像 进行校正, 将其结果与邻接区域的编码 / 译码完成图像进行比较, 由此能够计算校正参数 的可靠度。在该可靠度没有超过阈值的情况下 (可靠度低的情况下) , 不进行利用校正参数 的校正, 将针对处理对象区域而生成的预测图像直接作为校正预测图像也可。 再有, 作为可 靠度, 能够使用通过如下函数计算的值, 即校正后的预测图像和编码 / 译码完成图像的差 分的最大值、 方差值等越大, 可靠度示出越低的值的函数 (倒数等的函数) 。
     此外, 在估计校正参数时, 也能够使用如下方法, 即, 求取邻接区域中的预测图像 与编码 / 译码完成图像的每个像素的差分, 对应于该差分值对邻接区域的像素进行分群, 仅使用属于要素数最多的群的像素来导出校正参数。
     [2] 本发明的结构 接着, 针对本发明的多视点图像编码装置和多视点图像译码装置的结构进行说明。
     [2-1] 本发明的多视点图像编码装置的结构 本发明的多视点图像编码装置, 将以第 1 摄影机摄影的被摄体的输入图像分割成多个 编码对象区域, 使用以配置在与所述第 1 摄影机不同位置的第 2 摄影机摄影的、 所述被摄体 的已经编码完成的图像, 按每个编码对象区域进行预测编码, 由此对多视点图像 (多视点的 静止图像、 活动图像) , 其中, 具有 : (1) 样本区域设定部, 在所述输入图像中将与编码对象区 域邻接的已经译码完成的区域作为样本区域而设定 ; (2) 预测图像生成部, 针对属于编码 对象区域和样本区域的像素, 根据以所述第 2 摄影机摄影的所述编码完成图像来生成预测 图像 ; (3) 校正参数估计部, 基于针对样本区域的预测图像和针对所述样本区域已经译码 了的译码图像, 对校正亮度、 颜色的失配的校正参数进行估计 ; (4) 预测图像校正部, 使用 校正参数, 对针对编码对象区域的预测图像进行校正, 生成第 1 校正预测图像 ; (5) 图像编
     码部, 使用第 1 校正预测图像, 对编码对象区域的图像信号进行编码, 生成码数据 ; 以及 (6) 图像译码部, 对该码数据进行译码, 生成编码对象区域的译码图像。
     本发明的实施方式的多视点图像编码装置还具备 : (7) 样本图像校正部, 使用估 计的校正参数, 对针对样本区域的预测图像进行校正, 生成第 2 校正预测图像 ; 以及 (8) 校 正参数评价部, 基于该第 2 校正预测图像和译码图像, 对估计的校正参数进行评价。在该情 况下, 在预测图像校正部中, 通过比较估计的校正参数的评价值和预先决定的阈值, 在判断 为估计的校正参数的可靠度高的情况下, 使用估计的校正参数对针对编码对象区域的预测 图像进行校正, 生成所述第 1 校正预测图像, 在判断为该校正参数的可靠度低的情况下, 将 针对编码对象区域的预测图像作为第 1 预测图像也可。
     此外, 本发明的实施方式的多视点图像编码装置还具备 : (9) 样本像素分类部, 使 用预测图像和译码图像的差分值, 对属于样本区域的像素进行分群 ; 以及 (10) 样本区域修 正部, 在以分群而获得的群内, 将属于要素数最多的群的像素作为样本区域重新设定来对 修正了的样本区域进行设定。在该情况下, 校正参数估计部仅使用属于修正了的样本区域 的像素, 进行校正参数的估计也可。
     通过以上的各处理单元工作而实现的本发明的多视点图像编码方法也能够以计 算机程序来实现。该计算机程序记录在适当的计算机能够读取的记录介质中而被提供, 或 经由网络而被提供, 在实施本发明时被安装并通过在 CPU 等的控制单元上工作, 从而实现 本发明。 [2-2] 本发明的多视点图像译码装置的结构 本发明的多视点图像译码装置, 将以第 1 摄影机摄影的被摄体的图像使用配置在与所 述第 1 摄影机不同位置的第 2 摄影机摄影的所述被摄体的图像进行编码后的译码对象图像 的码数据, 使用以所述第 2 摄影机摄影的已经译码完成的所述被摄体的图像, 按照将所述 译码对象图像分割后的多个译码对象区域的每一个进行译码, 其中, 具有 : (1) 样本区域设 定部, 在所述译码对象图像中将与所述译码对象区域邻接的已经译码完成的区域作为样本 区域而设定 ; (2) 预测图像生成部, 针对属于译码对象区域和设定的样本区域的像素, 根据 以所述第 2 摄影机摄影的所述编码完成图像来生成预测图像 ; (3) 校正参数估计部, 基于针 对设定的样本区域的预测图像和针对所述样本区域已经译码了的译码图像, 对校正亮度和 颜色的失配的校正参数进行估计 ; (4) 预测图像校正部, 使用该校正参数, 对针对译码对象 区域的预测图像进行校正, 生成第 1 校正预测图像 ; 以及 (5) 图像译码部, 使用该第 1 校正 预测图像, 根据码数据对译码对象区域的图像信号进行译码。
     本发明的实施方式的多视点图像译码装置还具备 : (6) 样本图像校正部, 使用估 计的校正参数, 对针对样本区域的所述预测图像进行校正, 生成第 2 校正预测图像 ; 以及 (7) 校正参数评价部, 基于该第 2 校正预测图像和所述译码图像, 对估计的校正参数进行评 价。在该情况下, 在预测图像校正部中, 通过比较所述校正参数的评价值和预先决定的阈 值, 在判断为所述校正参数的可靠度高的情况下, 使用该校正参数对针对译码对象区域的 所述预测图像进行校正, 生成所述第 1 校正预测图像, 在判断为所述校正参数的可靠度低 的情况下, 将针对译码对象区域的所述预测图像作为所述第 1 预测图像也可。
     此外, 本发明的实施方式的多视点图像译码装置还具备 : (8) 样本像素分类部, 使 用所述预测图像和所述译码图像的差分值, 对属于样本区域的像素进行分群 ; 以及 (9) 样
     本区域修正部, 在以分群而获得的群内, 将属于要素数最多的群的像素作为样本区域重新 设定来对修正了的样本区域进行设定。在该情况下, 校正参数估计部仅使用属于修正了的 样本区域的像素, 进行所述校正参数的估计也可。
     通过以上的各处理单元工作而实现的本发明的多视点图像译码方法以计算机程 序也能够实现, 该计算机程序记录在适当的计算机能够读取的记录介质中而被提供, 或经 由网络而被提供, 在实施本发明时通过被安装并在 CPU 等的控制单元上工作, 从而实现本 发明。
     发明的效果 根据本发明, 即使在摄影机间局部地产生亮度、 颜色的失配的情况下, 也局部地求取用 于应对该失配的校正参数, 因此能够减小预测差分。因此, 能够实现高效率的多视点图像、 多视点活动图像的编码和译码。
     并且, 根据本发明, 因为不需要对这样求取的校正参数另外进行编码 / 译码, 所以 在多视点图像、 多视点活动图像的编码和译码时能够大幅削减码量。 附图说明
     图 1 是表示本发明的第 1 实施方式的多视点视频编码装置的框图。 图 2 是表示本发明的第 1 实施方式的多视点视频编码装置执行的处理的流程图。 图 3 是表示本发明的第 1 实施方式的多视点视频编码装置执行的处理的细节的流 图 4 是表示本发明的第 1 实施方式的多视点视频编码装置执行的处理的流程图。 图 5 是表示本发明的第 2 实施方式的多视点视频译码装置的框图。 图 6 是表示本发明的第 2 实施方式的多视点视频译码装置执行的处理的流程图。 图 7 是表示本发明的第 2 实施方式的多视点视频译码装置执行的处理的细节的流 图 8 是表示视差补偿预测方式的图。程图。
     程图。
     具体实施方式
     以下, 参照表示本发明的实施方式的附图详细地说明本发明。
     再有, 在以下的说明中, 通过对视频 (帧) 附加能够特别指定位置的太阳城集团 (以记号 [] 夹着的太阳城集团, 是坐标值或能够与坐标值对应起来的索引) , 从而通过该位置的像素表示被采 样的视频信号。
     [1] 本发明的第 1 实施方式例的多视点视频编码装置 图 1 示出本发明的第 1 实施方式的多视点视频编码装置 100 的装置结构。
     如图 1 所示, 实施方式例 1 的多视点视频编码装置 100 具备 : 编码对象图像输入部 101、 编码对象图像存储器 102、 参照摄影机图像输入部 103、 参照摄影机图像存储器 104、 预 测图像生成部 105、 校正参数估计部 106、 预测图像校正部 107、 图像编码部 108、 图像译码部 109、 译码图像存储器 110。
     编码对象图像输入部 101 将以第 1 摄影机摄影的被摄体的图像的帧作为编码对象 进行输入。编码对象图像存储器 102 对输入的编码对象帧进行蓄积。参照摄影机图像输入部 103 将以与第 1 摄影机不同的第 2 摄影机对同一被摄体进行摄影而获得的图像的帧作为 参照帧而输入。参照摄影机图像存储器 104 对输入的参照帧进行蓄积。预测图像生成部 105 使用参照帧来生成编码对象帧的预测图像。校正参数估计部 106 基于编码对象区域的 周围区域的预测图像和译码图像来估计校正参数。预测图像校正部 107 使用估计的校正参 数对编码对象区域的预测图像进行校正。图像编码部 108 一边将校正后的预测图像作为预 测信号进行使用一边对编码对象区域的图像信号进行编码。图像译码部 109 对编码了的图 像信号进行译码。译码图像存储器 110 对译码了的图像进行蓄积。
     图 2 表示以该方式构成的本实施方式的多视点视频编码装置 100 执行的处理流 程。
     接着, 按照该处理流程, 对本实施方式的多视点视频编码装置 100 执行的处理详 细地进行说明。
     首先, 通过编码对象图像输入部 101 输入编码对象帧 Org, 储存在编码对象图像存 储器 102 中。 通过参照摄影机图像输入部 103 输入参照帧 Ref, 储存在参照摄影机图像存储 器 104 中 [A1]。
     输入的参照帧是对已经编码完成的图像进行译码后的图像帧。 这是因为通过使用 与在译码装置获得的太阳城集团相同的太阳城集团能够抑制漂移 (drift) 等的编码噪声的产生。但是, 在容许这些的编码噪声的产生的情况下, 输入编码前的原始信号也可。 再有, 在存在多个参 照帧的情况下, 在这里输入多个参照帧。 接着, 编码装置 100 将编码对象帧分割为多个编码对象区域, 按该编码对象区域 的每一个一边生成 / 校正预测图像, 一边在图像编码部 108 对编码对象帧的图像信号进行 编码 [A2-A9]。
     也就是说, 当以 blk 表示编码处理块的索引 (index) , 以 numBlks 表示总编码处理 块数时, 在以 0 对 blk 进行初始化后 [A2], 一边对 blk 加上 1[A8], 一边到 blk 变为 numBlks 为止 [A9], 反复进行以下的处理 [A3-A7]。
     在按每个编码处理块反复进行的处理中, 编码装置 100 首先在预测图像生成部 105 一边使用参照帧, 一边使用同一生成手法生成对于块 blk(编码对象区域) 和其周围的 编码完成区域 (样本区域) 的预测图像 Pred[A3]。
     在这里, 作为周围区域能够使用与块 blk 邻接的编码处理块、 邻接像素等的各种 单位的区域。虽然使用任何定义的周围区域均可, 但需要使用与在译码侧使用的定义相同 的区域。在本实施方式例中, 以 Nblk 表示在块 blk 的周围的编码完成区域中包含的像素的 集合, 以 Cblk 表示在块 blk 中包含的像素的集合。
     作为预测图像的生成方法, 只要是使用参照帧 Ref 的方法的话使用任何方法均 可, 但在块 blk 及其周围区域中使用相同的方法生成预测图像 Pred。例如, 在使用利用视 差矢量的视差补偿预测的情况下, 使用单一的视差矢量 dv, 如下式 (1) 那样生成预测图像 Pred。
     此外, 在使用视点合成 (内插) 预测的情况下, 对使用参照帧 Ref 合成 (内插) 了编码 对象摄影机的图像整体的视点合成 (内插) 图像 Synth, 以下式 (2) 那样生成预测图像 Pred。
     接着, 使用周围区域中的预测图像和译码图像 Dec, 在校正参数估计部 106 求取校正参 数 [A4]。
     作为校正方法、 校正参数估计, 使用任何方法均可, 但需要使用与在译码侧使用的 方法相同的方法。
     作为校正方法, 有利用偏移 (offset) 的校正、 使用 1 次函数的校正、 抽头长 k 的二 维线性滤波器处理等。当将校正对象的像素设为 p, 将校正前的值设为 In, 将校正后的值设 为 Out 时, 它们分别能够以下面的数式 (3) ~ 数式 (5) 来表示。
     利用偏移的校正、 使用了 1 次函数的校正是利用线性滤波器处理的校正的特殊的 例子。再有, 校正处理不必须是线性处理, 只要能够进行校正参数估计的话, 使用非线性滤 波器也可。作为非线性的校正方法的例子, 有伽玛校正。伽玛校正能够以下面的数式 (6) 表 示。在这些校正模型的例子中, offset、 (α,β)、 ({Fi,j }, o)、 (γ,a,b) 分别成为校 正参数。
     在周围区域中, 校正前的值是预测图像, 理想的校正后的值是译码图像。因此, 当 以它们的差变小的方式求取校正参数时, 能够进行精度高的校正。
     例如, 在利用偏移值的校正中, 能够使用下面的数式 (7) 求取 offset。再有, || || 表示该集合的要素数。
     此外, 在进行利用 1 次函数的校正的情况下, 作为导出使均方误差最小化的校正 参数的方法, 能够使用最小二乘法进行求取。在该情况下, 校正参数 (α,β) 能够以下面的 数式 (8) 来表示。
     这些校正参数按亮度、 色差信号的每一个来求取也可, 按 RGB 等的颜色通道的每一个 来求取也可。此外, 以进行在 R 通道的 0~127 和 128~255 中使用不同的校正参数的校正的 方式, 对各通道进行细分, 按每个固定的范围进行不同的校正也可。
     在估计了校正参数之后, 在预测图像校正部 107 按照校正参数来校正对于块 blk 的预测图像 Pred, 生成校正预测图像 CPred[A5]。 该校正预测图像 CPred 的生成处理具体如图 3 的处理流程所示, 按每个像素来进 行。在图 3 的处理流程中, pix 表示像素的识别太阳城集团, numPixblk 表示块 blk 内的像素数。
     例如, 在进行使用了偏移值的校正的情况下, 按照下面的数式 (9) 生成 CPred。
     作为校正方法 (校正模型) , 以进行使用了偏移值的数式 (3) 的校正的情况为例进 行说明。 如图 4 所示, 在处理 A4 中, 在将周围的编码完成区域的预测图像的像素值设为 In, 将周围的编码完成区域的译码图像的像素值设为 Out 的情况下通过估计 offset, 决定成为 像素值变换式的校正模型。接着, 在处理 A5 中, 通过对该决定了的像素值变换式的 In 代入 块 blk 的预测图像的像素值, 从而校正块 blk 的预测图像。
     在对块 blk 的预测图像的校正完成之后, 在图像编码部 108 中一边将校正预测图 像 CPred 作为预测信号一边将对于块 blk 的编码对象帧 Org 编码。
     使用任何编码方法均可, 但在 H.264 等的通常的编码手法中, 通过对 Org 和 CPred 的差分施加 DCT/ 量化 /2 值化 / 熵编码, 从而进行编码。
     编码结果的比特流成为多视点编码装置 100 的输出。与此一起, 按每个块在图像 译码部 109 进行译码, 作为译码结果的译码图像 Dec 为了其它块中的校正参数估计而储存 在译码图像存储器 110 中 [A7]。
     这样, 本实施方式的多视点视频编码装置 100 为了能够对在摄影机间伴随局部的 亮度、 颜色的失配的多视点视频高效率地进行编码, 局部地求取用于应对该失配的校正参 数。进而, 为了回避码量的增加, 以不需要另外进行编码 / 译码的方式求取该校正参数, 并 且执行该多视点视频的编码。
     在本实施方式例中, 在仅存在 1 个预测模式的情况下进行了说明, 但在从存在的 多个预测模式中选择 1 个编码效率最好的模式进行编码的多视点视频编码装置 100 的情况 下, 也能够使用本发明。
     具体地, 对各预测模式进行处理 A3~A6, 比较编码效率, 最终将对编码效率最高的
     预测模式的编码结果作为多视点视频编码装置 100 的输出, 并且向图像译码部 109 发送。 这 时, 从图像编码部 108 向预测图像生成部 105 发送控制信号, 该控制信号表示使用什么样的 预测模式。图 1 的虚线表示该控制信号。
     [2] 本发明的第 2 实施方式例的多视点视频译码装置 接着, 针对本发明的第 2 实施方式例进行说明。
     图 5 示出本发明的实施方式例 2 的多视点视频译码装置 200 的装置结构。
     如图 5 所示, 本实施方式的多视点视频译码装置 200 具备 : 码数据输入部 201、 码 数据存储器 202、 参照摄影机图像输入部 203、 参照摄影机图像存储器 204、 预测图像生成部 205、 校正参数估计部 206、 预测图像校正部 207、 图像译码部 207、 译码图像存储器 209。码 数据输入部 201 将通过第 1 摄影机摄影的被摄体的图像帧的码数据作为译码对象进行输 入。码数据存储器 202 对输入的码数据进行蓄积。参照摄影机图像输入部 203 对成为参照 帧的、 通过与第 1 摄影机不同的第 2 摄影机摄影的同一被摄体的图像帧进行输入。参照摄 影机图像存储器 204 对输入的参照帧进行蓄积。预测图像生成部 205 使用参照帧来生译码 对象帧的预测图像。校正参数估计部 206 基于译码对象区域的周围区域的预测图像和译码 图像来估计校正参数。预测图像校正部 207 使用估计的校正参数对译码对象区域的预测图 像进行校正。图像译码部 208 一边将校正后的预测图像作为预测信号进行使用一边对译码 对象区域的码数据进行译码。译码图像存储器 209 对译码了的图像进行蓄积。
     图 6 表示这样构成的第 2 实施方式的多视点视频译码装置 200 执行的处理流程。
     接着, 按照该处理流程, 对多视点视频译码装置 200 执行的处理详细地进行说明。
     首先, 通过码数据输入部 201 输入码数据, 储存在码数据存储器 202 中。通过参照 摄影机图像输入部 203 输入参照帧 Ref) , 储存在参照摄影机图像存储器 204 中 [B1]。通过 与摄影了该参照帧 Ref 的摄影机对应地设置的多视点视频译码装置 200, 参照帧 Ref 已经被 译码。
     再有, 在存在多个参照帧的情况下, 在这里输入多个参照帧。
     接着, 译码装置 200 将译码对象帧分割为多个译码对象区域, 按该译码对象区域 的每一个一边生成 / 校正预测图像, 一边在图像译码部 208 对译码对象帧的图像信号进行 译码 [B2-B8]。
     也就是说, 当以 blk 表示译码处理块的索引, 以 numBlks 表示总译码处理块数时, 译码装置 200 在以 0 对 blk 进行初始化后 [B2], 一边对 blk 加上 1[B7], 一边到 blk 变为 numBlks 为止 [B8], 反复进行以下的处理 [B3-B6]。
     在按译码处理块的每一个反复进行的处理中, 译码装置 200 首先在预测图像生成 部 205 一边使用参照帧, 一边使用同一生成手法生成对于块 blk(译码对象区域) 和其周围 的译码完成区域 (样本区域) 的预测图像 Pred[B3]。
     在这里的处理与实施方式例 1 的处理 A3 相同。 与处理 A3 同样地, 作为周围区域能 够使用与块 blk 邻接的译码处理块、 邻接像素等的各种单位的区域。虽然使用任何定义的 周围区域均可, 但需要使用与在编码侧使用的定义相同的区域。在本实施方式例中, 以 Nblk 表示在块 blk 的周围的译码完成区域中包含的像素的集合, 以 Cblk 表示在块 blk 中包含的 像素的集合。
     再有, 作为在这里进行的预测图像 (第 1 和第 2 摄影机间的预测图像) 的生成手法,需要使用与在编码侧使用的方法相同的方法。在从多个预测模式中选择 1 个进行编码的情 况下, 在码数据中包含表示使用了哪个预测模式的太阳城集团。因此, 在预测图像生成部 105 中接 收该控制信号, 以指定的预测方法生成块 blk 和周围区域的预测图像。图 5 的虚线表示该 控制信号。
     接着, 使用周围区域中的预测图像和译码图像 Dec, 在校正参数估计部 206 求取校 正参数 [B4]。
     在校正方法、 校正参数估计中使用任何方法均可, 但需要使用与在编码侧使用的 方法相同的方法。在这里的处理与实施方式例 1 的处理 A4 相同。
     在估计了校正参数之后, 在预测图像校正部 207 按照校正参数校正对于块 blk 的 预测图像 Pred, 生成校正预测图像 CPred[B5]。
     在这里的处理与实施方式例 1 的处理 A5 相同, 如图 7 的处理流程所示, 按每个像 素来进行。在这里, 在图 7 的处理流程中, pix 表示像素的识别太阳城集团, numPixblk 表示块 blk 内的像素数。
     在对块 blk 的预测图像的校正完成之后, 在图像译码部 208 中一边将校正预测 图像 CPred 作为预测信号一边将对于块 blk 的码数据译码, 获得对于块 blk 的译码图像 Dec[blk][B6]。
     在这里进行的译码处理需要使用与在生成码数据时使用的方法对应的方法。例 如, 在使用 H.264 进行编码的情况下, 通过对进行了熵译码、 多值化、 反量化、 反 DCT 而译码 的残差信号加上预测信号, 从而进行译码处理。
     译码结果的译码图像成为多视点视频译码装置 200 的输出, 并且为了其它块中的 校正参数估计而储存在译码图像存储器 209 中。
     像这样, 在如图 5 那样构成的多视点视频译码装置 200 中, 以对如图 1 那样构成的 多视点视频编码装置 100 生成的多视点视频译码的码数据进行译码的方式来处理。
     在上述说明的实施方式例 1 和实施方式例 2 中, 在全部的块中进行校正, 但也可以 采用通过按每个块对 1 位 (bit) 的标签太阳城集团进行编码, 从而选择是否进行校正的结构。
     此外, 也有不对 1 位的标签太阳城集团进行编码, 而测定校正参数的可靠度, 对应于该可 靠度选择是否进行校正的方法。
     具体地, 在处理 A4 和处理 B4 中求取校正参数之后, 求取下面的数式 (10) ~ 数式 (12) 所示那样的表现校正的可靠度和有效性的值。仅在该值比预先赋予的阈值大的情况 下, 在处理 A5 和处理 B5 中对块 blk 的预测图像进行校正。
     在这里, 数式 (10) 的第 1 项表示译码图像 Dec 和校正前的预测图像 Pred 的差分绝 对值和, 第 2 项表示译码图像 Dec 和校正预测图像 CPred 的差分绝对值和。由此, 数式 (10) 表示通过进行校正, 真值和预测值的差分绝对值和被削减到什么程度。 此外, 数式 (11) 的第 1 项表示译码图像 Dec 和校正前的预测图像 Pred 的差分平方和, 第 2 项表示译码图像 Dec 和校正预测图像 CPred 的差分绝平方和, 数式 (11) 表示通过进行校正, 真值和预测值的差 分平方和被削减到什么程度。此外, 数式 (12) 是表示校正模型对于获得的样本是多可靠。这些数式 (10) ~ 数式 (12) 表示的值均不使用处理对象块而使用周围区域的值来 进行求取, 因此仅对在整体中使用的阈值进行编码, 对译码侧通知即可。
     为了求取更耐用 (robust) 的校正参数, 在第 1 实施方式和第 2 实施方式的周围区 域的设定中, 能够进行将在周围区域中的像素中具有离群值 (outlier) 的像素从校正参数 估计时的样本中除去的处理。
     例如, 以译码图像和预测图像的差分为尺度, 对周围区域中的各像素进行分群 (clustering) , 仅将属于要素数最多的群的像素作为在校正参数估计中使用的周围像素集 合 Nblk 的要素。
     作为最简单的分群方法, 有如下方法, 即如果译码图像和预测图像向的差分值的 方差 (variance) 是某个阈值以下的话, 作为整体设为 1 个群, 在比阈值大的情况下以差分 值的平均为分界分割为 2 个群。在该情况下, 如果全部的群中包含的像素的译码图像和预 测图像的差分值的方差变为某个阈值以下的话, 结束分群。
     作为更复杂的分群方法, 有如下方法, 即最初以各像素设为 1 个群, 在使某 2 个群 融合时, 以从群内的像素的译码图像和预测图像的差分值的方差的增加是最少的群起的顺 序进行融合的方法。在该情况下, 在使任意 2 个群融合也产生具有超过某个阈值的方差的 群的情况下, 结束分群。
     再有, 在本实施方式例中, 说明了对 1 个摄影机的 1 个帧进行编码或译码的处理, 但通过将该处理按每个帧反复进行, 能够实现多视点视频的编码或译码。 进而, 通过按每个 摄影机反复进行, 能够实现多个摄影机的多视点视频的编码或译码。
     以上说明的处理也能够通过计算机和软件程序来实现。 该程序记录在计算机可读 取的记录介质来提供也可, 通过网络来提供也可。
     此外, 在以上的实施方式例中, 以多视点视频编码装置和多视点视频译码装置为 中心进行了说明, 但通过与该多视点视频编码装置的各部分的工作对应的步骤, 能够实现
     本实施方式的多视点视频编码方法。此外, 通过与该多视点视频译码装置的各部分的工作 对应的步骤, 能够实现本实施方式的多视点视频译码方法。
     以上, 参照附图对本发明的实施方式进行了说明, 但上述实施方式不过是本发明 的例示, 很明显本发明不被上述实施方式所限定。
     因此, 在不脱离本发明的范围中, 也能够进行结构要素的追加、 省略、 置换、 或其他 的变更。
     产业上的利用可能性 本发明能够应用于多视点图像的编码方法, 通过应用本发明, 即使在摄影机间局部地 产生亮度、 颜色的失配的情况下, 也能够实现高效率的多视点图像、 多视点活动图像的编码 和译码。此外, 能够大幅削减在该实现中的码量。
     附图标记说明 100 多视点视频编码装置 ; 101 编码对象图像输入部 ; 102 编码对象图像存储器 ; 103 参照摄影机图像输入部 ; 104 参照摄影机图像存储器 ; 105 预测图像生成部 ; 106 107 108 109 110 200 201 202 203 204 205 206 207 208 209 校正参数估计部 ; 预测图像校正部 ; 图像编码部 ; 图像译码部 ; 译码图像存储器 ; 多视点视频译码装置 ; 码数据输入部 ; 码数据存储器 ; 参照摄影机图像输入部 ; 参照摄影机图像存储器 ; 预测图像生成部 ; 校正参数估计部 ; 预测图像校正部 ; 图像译码部 ; 译码图像存储器。

关 键 词:
视点 图像 编码 方法 译码 装置 以及
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置.pdf
链接地址:http://zh228.com/p-6420524.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');