太阳城集团

  • / 17
  • 下载费用:30 金币  

触控设备及其工作方法.pdf

摘要
申请专利号:

太阳城集团CN201510437036.0

申请日:

2015.07.23

公开号:

CN104991684A

公开日:

2015.10.21

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06F 3/042申请日:20150723|||公开
IPC分类号: G06F3/042 主分类号: G06F3/042
申请人: 京东方科技集团股份有限公司
发明人: 李英杰
地址: 100015北京市朝阳区酒仙桥路10号
优先权:
专利代理机构: 北京银龙知识产权代理有限公司11243 代理人: 许静; 黄灿
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201510437036.0

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2015.11.18|||2015.10.21

法律状态类型:

实质审查的生效|||公开

摘要

太阳城集团本发明提供了一种触控设备及其工作方法,属于触控技术领域。其中,触控设备包括:深度摄像头装置;设置在所述深度摄像头装置视野范围内的显示屏幕;与所述显示屏幕和所述深度摄像头装置分别连接的控制器;其中,所述深度摄像头装置用于捕捉视野范围内的深度图像画面,并将所述深度图像画面发送给所述控制器;所述控制器用于接收所述深度图像画面,根据所述深度图像画面进行计算并识别出触控操作,将与所述触控操作对应的操作界面输出到所述显示屏幕。本发明的技术方案能够在保证触摸交互体验的前提下,降低大屏幕触摸设备的成本。

权利要求书

权利要求书
1.  一种触控设备,其特征在于,包括:
深度摄像头装置;
设置在所述深度摄像头装置视野范围内的显示屏幕;
与所述显示屏幕和所述深度摄像头装置分别连接的控制器;
其中,所述深度摄像头装置用于捕捉视野范围内的深度图像画面,并将所述深度图像画面发送给所述控制器;
所述控制器用于接收所述深度图像画面,根据所述深度图像画面进行计算并识别出触控操作,将与所述触控操作对应的操作界面输出到所述显示屏幕。

2.  根据权利要求1所述的触控设备,其特征在于,所述触摸设备还包括:
用于放置所述显示屏幕和所述深度摄像头装置的壳体,所述壳体包括有第一支撑面和与所述第一支撑面相垂直的第二支撑面;
其中,所述显示屏幕固定在所述第一支撑面上,所述深度摄像头装置固定在所述第二支撑面上,且所述深度摄像头装置的镜头轴线与所述显示屏幕所在平面所成角度α小于90度。

3.  根据权利要求2所述的触控设备,其特征在于,所述控制器包括:
第一初始设定模块,用于控制所述显示屏幕全屏点亮或全屏黑屏,并控制所述深度摄像头装置进行图像捕捉,得到红绿蓝RGB图像画面;对接收到的所述RGB图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述RGB图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系;或
第二初始设定模块,用于在所述第一支撑面与所述显示屏幕不在同一平面时,控制所述深度摄像头装置对设置在壳体内的显示屏幕进行图像捕捉,得到深度图像画面;对接收到的所述深度图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述深度图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系。

4.  根据权利要求3所述的触控设备,其特征在于,所述控制器还包括:
处理模块,用于在所述触控设备工作时,对接收到的当前帧深度图像画面进行逐行逐列处理,确定触控物体在所述画面坐标系中的像素坐标值;
计算模块,用于根据屏幕坐标系与画面坐标系之间的映射关系,利用所述像素坐标值确定触控物体在所述显示屏幕中的屏幕坐标值,并根据所述触控物体的屏幕坐标值输出操作界面到所述显示屏幕。

5.  根据权利要求4所述的触控设备,其特征在于,
所述处理模块具体用于对接收到的当前帧深度图像画面进行逐行处理和逐列处理,在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第一阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第一阈值时,判断触控物体位于显示屏幕上方,并将第N行-第N+n行、第M列-第M+m列像素所在区域中心点的屏幕坐标值作为所述触控物体的像素坐标值。

6.  根据权利要求5所述的触控设备,其特征在于,
所述处理模块还用于在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第二阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第二阈值时,判断触控物体未接触所述显示屏幕;
在所述第N行-第N+n行像素的亮度与第N-1行像素的亮度差值均小于第二阈值大于第一阈值,且第M列-第M+m列像素的亮度与第M-1列像素的亮度差值均小于第二阈值大于第一阈值时,判断触控物体接触所述显示屏幕,其中,所述第二阈值大于所述第一阈值。

7.  根据权利要求6所述的触控设备,其特征在于,所述控制器还包括:
点击动作识别模块,用于在根据前一帧深度图像画面判断触控物体未接触所述显示屏幕,且根据当前帧深度图像画面判断触控物体接触显示屏幕时,识别出触控操作为点击所述显示屏幕;
所述计算模块具体用于根据所述触控物体的屏幕坐标值和所述点击动作识别模块识别出的点击动作输出操作界面到所述显示屏幕。

8.  根据权利要求5所述的触控设备,其特征在于,所述控制器还包括:
移动轨迹识别模块,用于比对前一帧深度图像画面和当前帧深度图像画面中触控物体的屏幕坐标值,并根据所述屏幕坐标值的变化轨迹确定所述触控物 体的移动轨迹;
所述计算模块还用于根据所述移动轨迹识别模块识别出的所述触控物体的移动轨迹输出操作界面到所述显示屏幕。

9.  一种如权利要求1-8中任一项所述触控设备的工作方法,其特征在于,包括:
利用所述深度摄像头装置捕捉视野范围内的深度图像画面,并将所述深度图像画面发送给所述控制器;
利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作,将与所述触控操作对应的操作界面输出到所述显示屏幕。

10.  根据权利要求9所述的触控设备的工作方法,其特征在于,利用所述深度摄像头装置捕捉视野范围内的深度图像画面之前还包括:
控制所述显示屏幕全屏点亮或全屏黑屏,并控制所述深度摄像头装置进行图像捕捉,得到红绿蓝RGB图像画面;利用所述控制器对所述RGB图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述RGB图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系;或
在所述第一支撑面与所述显示屏幕不在同一平面时,控制所述深度摄像头装置对设置在壳体内的显示屏幕进行图像捕捉,得到深度图像画面;利用所述控制器对所述深度图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述深度图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系。

11.  根据权利要求10所述的触控设备的工作方法,其特征在于,利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作,将与所述触控操作对应的操作界面输出到所述显示屏幕包括:
在所述触控设备工作时,利用所述控制器对当前帧深度图像画面进行逐行逐列处理,确定触控物体在所述画面坐标系中的像素坐标值;
根据屏幕坐标系与画面坐标系之间的映射关系,利用所述像素坐标值确定触控物体在所述显示屏幕中的屏幕坐标值,并根据所述触控物体的屏幕坐标值 输出操作界面到所述显示屏幕。

12.  根据权利要求11所述的触控设备的工作方法,其特征在于,所述确定触控物体在所述画面坐标系中的像素坐标值包括:
对接收到的当前帧深度图像画面进行逐行处理和逐列处理,在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第一阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第一阈值时,判断触控物体位于显示屏幕上方,并将第N行-第N+n行、第M列-第M+m列像素所在区域中心点的屏幕坐标值作为所述触控物体的像素坐标值。

13.  根据权利要求12所述的触控设备的工作方法,其特征在于,所述方法还包括:
在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第二阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第二阈值时,判断触控物体未接触所述显示屏幕;
在所述第N行-第N+n行像素的亮度与第N-1行像素的亮度差值均小于第二阈值大于第一阈值,且第M列-第M+m列像素的亮度与第M-1列像素的亮度差值均小于第二阈值大于第一阈值时,判断触控物体接触所述显示屏幕,其中,所述第二阈值大于所述第一阈值。

14.  根据权利要求13所述的触控设备的工作方法,其特征在于,利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作包括:
在根据前一帧深度图像画面判断触控物体未接触所述显示屏幕,且根据当前帧深度图像画面判断触控物体接触显示屏幕时,识别出触控操作为点击所述显示屏幕;
将与所述触控操作对应的操作界面输出到所述显示屏幕包括:
根据所述触控物体的屏幕坐标值和所述点击动作识别模块识别出的点击动作输出操作界面到所述显示屏幕。

15.  根据权利要求12所述的触控设备的工作方法,其特征在于,利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作包括:
比对前一帧深度图像画面和当前帧深度图像画面中触控物体的屏幕坐标 值,并根据所述屏幕坐标值的变化轨迹确定所述触控物体的移动轨迹;
将与所述触控操作对应的操作界面输出到所述显示屏幕包括:
根据所述移动轨迹识别模块识别出的所述触控物体的移动轨迹输出操作界面到所述显示屏幕。

说明书

说明书触控设备及其工作方法
技术领域
本发明涉及触控技术领域,特别是指一种触控设备及其工作方法。
背景技术
广告机是新一代的智能设备,通过终端软件控制、网络太阳城集团传输和多媒体终端显示构成一个完整的广告播控系统,并通过图片、文字、视频、小插件等多媒体素材进行广告宣传。
目前,现有的广告机功能比较单一,只是定向的对靠近的人群进行设定的广告内容的展示,用户无法通过广告机获得这些产品的详细资料,以及交互太阳城集团,这样的宣传效果欠佳,无法勾起消费者的购买欲,起不到很高的广告效果。为了能够使用户与广告机进行互动,可以在广告机上设置触摸屏,使得用户通过触摸屏与广告机进行互动,提升广告机的市场竞争力。
现有的触摸屏多为电容式或电阻式触摸屏,成本比较昂贵,由于广告机的尺寸都比较大,因此,如果将触摸屏应用在广告机上将会大大增加广告机的成本。为了降低广告机的成本,如图1所示,现有技术在广告机1的显示屏幕3上方设置红外线摄像头2,通过红外线摄像头2识别人体动作,进行人机互动,但是由于红外线摄像头2朝向显示屏幕前方,所以这种识别方式在识别人的动作时需要一段距离,同时由于红外线摄像头2的画面精度,因此无法实现对触控物体的具体位置定位,只能对用户手势的类型做定性的判断;另外当广告机前有多人运动时,也会影响到正常的人机交互,降低了用户的触摸交互体验。
发明内容
本发明要解决的技术问题是提供一种触控设备及其工作方法,能够在保证触摸交互体验的前提下,降低大屏幕触摸设备的成本。
为解决上述技术问题,本发明的实施例提供技术方案如下:
一方面,提供一种触控设备,包括:
深度摄像头装置;
设置在所述深度摄像头装置视野范围内的显示屏幕;
与所述显示屏幕和所述深度摄像头装置分别连接的控制器;
其中,所述深度摄像头装置用于捕捉视野范围内的深度图像画面,并将所述深度图像画面发送给所述控制器;
所述控制器用于接收所述深度图像画面,根据所述深度图像画面进行计算并识别出触控操作,将与所述触控操作对应的操作界面输出到所述显示屏幕。
进一步地,所述触摸设备还包括:
用于放置所述显示屏幕和所述深度摄像头装置的壳体,所述壳体包括有第一支撑面和与所述第一支撑面相垂直的第二支撑面;
其中,所述显示屏幕固定在所述第一支撑面上,所述深度摄像头装置固定在所述第二支撑面上,且所述深度摄像头装置的镜头轴线与所述显示屏幕所在平面所成角度α小于90度。
进一步地,所述控制器包括:
第一初始设定模块,用于控制所述显示屏幕全屏点亮或全屏黑屏,并控制所述深度摄像头装置进行图像捕捉,得到红绿蓝RGB图像画面;对接收到的所述RGB图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述RGB图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系;或
第二初始设定模块,用于在所述第一支撑面与所述显示屏幕不在同一平面时,控制所述深度摄像头装置对设置在壳体内的显示屏幕进行图像捕捉,得到深度图像画面;对接收到的所述深度图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述深度图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系。
进一步地,所述控制器还包括:
处理模块,用于在所述触控设备工作时,对接收到的当前帧深度图像画面 进行逐行逐列处理,确定触控物体在所述画面坐标系中的像素坐标值;
计算模块,用于根据屏幕坐标系与画面坐标系之间的映射关系,利用所述像素坐标值确定触控物体在所述显示屏幕中的屏幕坐标值,并根据所述触控物体的屏幕坐标值输出操作界面到所述显示屏幕。
进一步地,所述处理模块具体用于对接收到的当前帧深度图像画面进行逐行处理和逐列处理,在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第一阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第一阈值时,判断触控物体位于显示屏幕上方,并将第N行-第N+n行、第M列-第M+m列像素所在区域中心点的屏幕坐标值作为所述触控物体的像素坐标值。
进一步地,所述处理模块还用于在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第二阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第二阈值时,判断触控物体未接触所述显示屏幕;
在所述第N行-第N+n行像素的亮度与第N-1行像素的亮度差值均小于第二阈值大于第一阈值,且第M列-第M+m列像素的亮度与第M-1列像素的亮度差值均小于第二阈值大于第一阈值时,判断触控物体接触所述显示屏幕,其中,所述第二阈值大于所述第一阈值。
进一步地,所述控制器还包括:
点击动作识别模块,用于在根据前一帧深度图像画面判断触控物体未接触所述显示屏幕,且根据当前帧深度图像画面判断触控物体接触显示屏幕时,识别出触控操作为点击所述显示屏幕;
所述计算模块具体用于根据所述触控物体的屏幕坐标值和所述点击动作识别模块识别出的点击动作输出操作界面到所述显示屏幕。
进一步地,所述控制器还包括:
移动轨迹识别模块,用于比对前一帧深度图像画面和当前帧深度图像画面中触控物体的屏幕坐标值,并根据所述屏幕坐标值的变化轨迹确定所述触控物体的移动轨迹;
所述计算模块还用于根据所述移动轨迹识别模块识别出的所述触控物体 的移动轨迹输出操作界面到所述显示屏幕。
本发明实施例还提供了一种上述触控设备的工作方法,包括:
利用所述深度摄像头装置捕捉视野范围内的深度图像画面,并将所述深度图像画面发送给所述控制器;
利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作,将与所述触控操作对应的操作界面输出到所述显示屏幕。
进一步地,利用所述深度摄像头装置捕捉视野范围内的深度图像画面之前还包括:
控制所述显示屏幕全屏点亮或全屏黑屏,并控制所述深度摄像头装置进行图像捕捉,得到红绿蓝RGB图像画面;利用所述控制器对所述RGB图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述RGB图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系;或
在所述第一支撑面与所述显示屏幕不在同一平面时,控制所述深度摄像头装置对设置在壳体内的显示屏幕进行图像捕捉,得到深度图像画面;利用所述控制器对所述深度图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述深度图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系。
进一步地,利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作,将与所述触控操作对应的操作界面输出到所述显示屏幕包括:
在所述触控设备工作时,利用所述控制器对当前帧深度图像画面进行逐行逐列处理,确定触控物体在所述画面坐标系中的像素坐标值;
根据屏幕坐标系与画面坐标系之间的映射关系,利用所述像素坐标值确定触控物体在所述显示屏幕中的屏幕坐标值,并根据所述触控物体的屏幕坐标值输出操作界面到所述显示屏幕。
进一步地,所述确定触控物体在所述画面坐标系中的像素坐标值包括:
对接收到的当前帧深度图像画面进行逐行处理和逐列处理,在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第一阈值,且第M列-第M+m 列像素的亮度均比第M-1列像素的亮度大第一阈值时,判断触控物体位于显示屏幕上方,并将第N行-第N+n行、第M列-第M+m列像素所在区域中心点的屏幕坐标值作为所述触控物体的像素坐标值。
进一步地,所述方法还包括:
在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第二阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第二阈值时,判断触控物体未接触所述显示屏幕;
在所述第N行-第N+n行像素的亮度与第N-1行像素的亮度差值均小于第二阈值大于第一阈值,且第M列-第M+m列像素的亮度与第M-1列像素的亮度差值均小于第二阈值大于第一阈值时,判断触控物体接触所述显示屏幕,其中,所述第二阈值大于所述第一阈值。
进一步地,利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作包括:
在根据前一帧深度图像画面判断触控物体未接触所述显示屏幕,且根据当前帧深度图像画面判断触控物体接触显示屏幕时,识别出触控操作为点击所述显示屏幕;
将与所述触控操作对应的操作界面输出到所述显示屏幕包括:
根据所述触控物体的屏幕坐标值和所述点击动作识别模块识别出的点击动作输出操作界面到所述显示屏幕。
进一步地,利用所述控制器对接收到的所述深度图像画面进行计算并识别出触控操作包括:
比对前一帧深度图像画面和当前帧深度图像画面中触控物体的屏幕坐标值,并根据所述屏幕坐标值的变化轨迹确定所述触控物体的移动轨迹;
将与所述触控操作对应的操作界面输出到所述显示屏幕包括:
根据所述移动轨迹识别模块识别出的所述触控物体的移动轨迹输出操作界面到所述显示屏幕。本发明的实施例具有以下有益效果:
上述方案中,采用深度摄像头装置捕捉深度图像画面,根据深度图像画面计算出触控操作,由于深度摄像头价格比较低廉,因此可以降低大屏幕触摸设 备的成本;利用深度摄像头装置能够对触控物体的进行具体位置定位,不但能够支持触摸检测,还可以识别出悬空操作;即使触控设备前有多人运动时,也不会影响到触控操作的识别,保证了用户的触摸交互体验。
附图说明
图1为现有技术中广告机的结构示意图;
图2-图4为本发明实施例触控设备的结构示意图;
图5为本发明实施例触控设备的工作方法的流程示意图。
附图标记
1广告机  2红外线摄像头  3显示屏幕  4深度摄像头装置  5壳体
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供一种触控设备及其工作方法,能够在保证触摸交互体验的前提下,降低大屏幕触摸设备的成本。
实施例一
本实施例提供了一种触控设备,如图2所示,本实施例的触控设备包括:
深度摄像头装置4;
设置在深度摄像头装置4视野范围内的显示屏幕3;
与显示屏幕3和深度摄像头装置4分别连接的控制器(未图示);
其中,深度摄像头装置4用于捕捉视野范围内的深度图像画面,并将深度图像画面发送给控制器;
控制器用于接收深度图像画面,根据深度图像画面进行计算并识别出触控操作,将与触控操作对应的操作界面输出到显示屏幕3。
本实施例采用深度摄像头装置捕捉深度图像画面,根据深度图像画面计算出触控操作,由于深度摄像头价格比较低廉,因此可以降低大屏幕触摸设备的成本;利用深度摄像头装置能够对触控物体的进行具体位置定位,不但能够支持触摸检测,还可以识别出悬空操作;即使触控设备前有多人运动时,也不会影响到触控操作的识别,保证了用户的触摸交互体验。
进一步地,如图2所示,触摸设备还包括:
用于放置显示屏幕3和深度摄像头装置4的壳体5,壳体5包括有第一支撑面和与第一支撑面相垂直的第二支撑面;
其中,显示屏幕3固定在第一支撑面上,深度摄像头装置4固定在第二支撑面上,且如图4所示,深度摄像头装置4的镜头轴线与显示屏幕3所在平面所成角度α小于90度。
进一步地,触摸设备的结构示意图还可以如图3所示,只要保证深度摄像头装置4的镜头轴线与显示屏幕3所在平面所成角度α小于90度,显示屏幕3位于深度摄像头装置4视野范围内即可。
进一步地,控制器包括第一初始设定模块和第二初始设定模块,用于在触控设备工作之前,对触控设备进行初始设定,具体地,第一初始设定模块,用于控制所述显示屏幕全屏点亮或全屏黑屏,并控制所述深度摄像头装置进行图像捕捉,得到红绿蓝RGB图像画面;对接收到的所述RGB图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述RGB图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系;第二初始设定模块,用于在所述第一支撑面与所述显示屏幕不在同一平面时,控制所述深度摄像头装置对设置在壳体内的显示屏幕进行图像捕捉,得到深度图像画面;对接收到的所述深度图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述深度图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系。
进一步地,控制器还包括:
处理模块,用于在触控设备工作时,对接收到的当前帧深度图像画面进行 逐行逐列处理,确定触控物体在画面坐标系中的像素坐标值;
计算模块,用于根据屏幕坐标系与画面坐标系之间的映射关系,利用像素坐标值确定触控物体在显示屏幕中的屏幕坐标值,并根据触控物体的屏幕坐标值输出操作界面到显示屏幕。
比如显示屏幕当前显示的操作界面上有多个图标,每个图标对应一个应用,控制器在确定触控物体的屏幕坐标值后,即可确定触控物体点击的应用,进而调出该应用对应的操作界面,并将该操作界面输出到显示屏幕。
进一步地,由于触控物体一般体积都比较大,为了保证精确判断触控物体的像素坐标值,可以将触控物体图像的中心点对应的像素坐标值作为触控物体的像素坐标值,处理模块具体用于对接收到的当前帧深度图像画面进行逐行处理和逐列处理,在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第一阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第一阈值时,判断触控物体位于显示屏幕上方,并将第N行-第N+n行、第M列-第M+m列像素所在区域中心点的屏幕坐标值作为触控物体的像素坐标值。
进一步地,还可以根据深度摄像头装置捕捉的深度图像画面判断触控物体是否接触显示屏幕,具体地,处理模块用于在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第二阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第二阈值时,判断触控物体未接触显示屏幕;
在第N行-第N+n行像素的亮度与第N-1行像素的亮度差值均小于第二阈值大于第一阈值,且第M列-第M+m列像素的亮度与第M-1列像素的亮度差值均小于第二阈值大于第一阈值时,判断触控物体接触显示屏幕,其中,第二阈值大于第一阈值。
进一步地,还可以根据深度摄像头装置捕捉的深度图像画面识别触控物体是否点击显示屏幕,控制器还包括:
点击动作识别模块,用于在根据前一帧深度图像画面判断触控物体未接触显示屏幕,且根据当前帧深度图像画面判断触控物体接触显示屏幕时,识别出触控操作为点击显示屏幕;
计算模块具体用于根据触控物体的屏幕坐标值和点击动作识别模块识别 出的点击动作输出操作界面到显示屏幕。
进一步地,还可以根据深度摄像头装置捕捉的深度图像画面识别触控物体的移动轨迹,控制器还包括:
移动轨迹识别模块,用于比对前一帧深度图像画面和当前帧深度图像画面中触控物体的屏幕坐标值,并根据屏幕坐标值的变化轨迹确定触控物体的移动轨迹;
计算模块还用于根据移动轨迹识别模块识别出的触控物体的移动轨迹输出操作界面到显示屏幕。
实施例二
本实施例还提供了一种上述触控设备的工作方法,如图5所示,本实施例包括:
步骤101:利用深度摄像头装置捕捉视野范围内的深度图像画面,并将深度图像画面发送给控制器;
步骤102:利用控制器对接收到的深度图像画面进行计算并识别出触控操作,将与触控操作对应的操作界面输出到显示屏幕。
本实施例采用深度摄像头装置捕捉深度图像画面,根据深度图像画面计算出触控操作,由于深度摄像头价格比较低廉,因此可以降低大屏幕触摸设备的成本;利用深度摄像头装置能够对触控物体的进行具体位置定位,不但能够支持触摸检测,还可以识别出悬空操作;即使触控设备前有多人运动时,也不会影响到触控操作的识别,保证了用户的触摸交互体验。
进一步地,在触控设备工作之前,需要对触控设备进行初始设定,即利用深度摄像头装置捕捉视野范围内的深度图像画面之前还包括:
控制所述显示屏幕全屏点亮或全屏黑屏,并控制所述深度摄像头装置进行图像捕捉,得到红绿蓝RGB图像画面;利用所述控制器对所述RGB图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述RGB图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系;或
在所述第一支撑面与所述显示屏幕不在同一平面时,控制所述深度摄像头 装置对设置在壳体内的显示屏幕进行图像捕捉,得到深度图像画面;利用所述控制器对所述深度图像画面进行逐行处理,检测亮度从暗到亮或从亮到暗的边界点,进而确定所述显示屏幕的四个顶点在所述深度图像画面中的二维坐标值,建立屏幕坐标系与画面坐标系之间的映射关系。
之后,在触控设备工作时,即可根据屏幕坐标系与画面坐标系之间的映射关系确定触控物体的屏幕坐标值。
进一步地,利用控制器对接收到的深度图像画面进行计算并识别出触控操作,将与触控操作对应的操作界面输出到显示屏幕包括:
在触控设备工作时,利用控制器对当前帧深度图像画面进行逐行逐列处理,确定触控物体在画面坐标系中的像素坐标值;
根据屏幕坐标系与画面坐标系之间的映射关系,利用像素坐标值确定触控物体在显示屏幕中的屏幕坐标值,并根据触控物体的屏幕坐标值输出操作界面到显示屏幕。
比如显示屏幕当前显示的操作界面上有多个图标,每个图标对应一个应用,控制器在确定触控物体的屏幕坐标值后,即可确定触控物体点击的应用,进而调出该应用对应的操作界面,并将该操作界面输出到显示屏幕。
进一步地,由于触控物体一般体积都比较大,为了保证精确判断触控物体的像素坐标值,可以将触控物体图像的中心点对应的像素坐标值作为触控物体的像素坐标值,确定触控物体在画面坐标系中的像素坐标值包括:
对接收到的当前帧深度图像画面进行逐行处理和逐列处理,在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第一阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第一阈值时,判断触控物体位于显示屏幕上方,并将第N行-第N+n行、第M列-第M+m列像素所在区域中心点的屏幕坐标值作为触控物体的像素坐标值。
进一步地,还可以根据深度摄像头装置捕捉的深度图像画面判断触控物体是否接触显示屏幕,所述方法还包括:
在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第二阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第二阈值时,判断 触控物体未接触显示屏幕;
在第N行-第N+n行像素的亮度与第N-1行像素的亮度差值均小于第二阈值大于第一阈值,且第M列-第M+m列像素的亮度与第M-1列像素的亮度差值均小于第二阈值大于第一阈值时,判断触控物体接触显示屏幕,其中,第二阈值大于第一阈值。
进一步地,还可以根据深度摄像头装置捕捉的深度图像画面识别触控物体是否点击显示屏幕,利用控制器对接收到的深度图像画面进行计算并识别出触控操作包括:
在根据前一帧深度图像画面判断触控物体未接触显示屏幕,且根据当前帧深度图像画面判断触控物体接触显示屏幕时,识别出触控操作为点击显示屏幕;
将与触控操作对应的操作界面输出到显示屏幕包括:
根据触控物体的屏幕坐标值和点击动作识别模块识别出的点击动作输出操作界面到显示屏幕。
进一步地,还可以根据深度摄像头装置捕捉的深度图像画面识别触控物体的移动轨迹,利用控制器对接收到的深度图像画面进行计算并识别出触控操作包括:
比对前一帧深度图像画面和当前帧深度图像画面中触控物体的屏幕坐标值,并根据屏幕坐标值的变化轨迹确定触控物体的移动轨迹;
将与触控操作对应的操作界面输出到显示屏幕包括:
根据移动轨迹识别模块识别出的触控物体的移动轨迹输出操作界面到显示屏幕。
实施例三
下面对本发明的触控设备及其工作方法进行进一步地介绍:
现有的触摸屏多为电容式或电阻式触摸屏,成本比较昂贵,由于广告机的尺寸都比较大,因此,如果将触摸屏应用在广告机上将会大大增加广告机的成本。为了降低广告机的成本,现有技术利用红外线摄像头来进行画面捕捉,但捕捉到的画面精度较差,因此无法实现对触控物体的具体位置定位,只能对用 户手势的类型做定性的判断;另外当广告机前有多人运动时,也会影响到正常的人机交互,降低了用户的触摸交互体验。
为了解决上述问题,本实施例提供了一种触控设备,包括:深度摄像头装置;设置在深度摄像头装置视野范围内的显示屏幕;与显示屏幕和深度摄像头装置分别连接的控制器;其中,深度摄像头装置用于捕捉视野范围内的深度图像画面,并将深度图像画面发送给控制器;控制器用于接收深度图像画面,根据深度图像画面进行计算并识别出触控操作,将与触控操作对应的操作界面输出到显示屏幕。
深度摄像头装置可以包括有一个以上的深度摄像头,深度摄像头可以基于双眼视差或者TOF方式进行画面捕捉,其中,TOF是Time of flight的简写,直译为飞行太阳城集团的意思。所谓飞行太阳城集团法3D成像,是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)太阳城集团来得到目标物距离,得到整幅图像的深度太阳城集团。由于深度摄像头价格比较低廉,因此可以降低大屏幕触摸设备的成本;利用深度摄像头装置能够对触控物体的进行具体位置定位,不但能够支持触摸检测,还可以识别出悬空操作;即使触控设备前有多人运动时,也不会影响到触控操作的识别,保证了用户的触摸交互体验。
如图2-图4所示,显示屏幕3和深度摄像头装置4均设置在触控设备的壳体5上,深度摄像头装置4位于显示屏幕3上方且深度摄像头装置4的镜头轴线与显示屏幕3所在平面所成角度α小于90度,保证显示屏幕3位于深度摄像头装置4视野范围内。控制器可以位于电脑等移动设备上,也可以是一个单独的具有运算,存储及控制等功能的设备,深度摄像头装置4与控制器可以通过USB等数据线连接,将捕捉到的深度图像画面通过数据线传送到控制器,控制器根据接收到的深度图像画面进行计算处理,最后确定触控操作,再执行所识别的触控操作对应的功能,同时输出操作界面到显示屏幕上。
在触控设备工作之前,首先需要建立显示屏幕的屏幕坐标系与深度摄像头装置4捕捉的画面坐标系之间的映射关系。由于显示屏幕和壳体都在深度摄像头装置的视野范围内,所以首先需要在深度摄像头装置捕捉的深度图像画面内 识别出显示屏幕的位置以及长度和宽度,这里面说的位置、长度和宽度不是实际的物理空间的尺寸,而是在深度图像画面的具体分辨率下,显示屏幕的位置像素以及长宽像素数,具体实现方法可以有如下两种:
(1)对于双目深度摄像头或者kinect这种带有一个RGB(红绿蓝)摄像头的深度摄像头装置来说,可以利用RGB图像来确定显示屏幕的四个顶点A,B,C,D的虚拟二维坐标值,具体方法是将显示屏幕全屏点亮,则显示屏幕的亮度会高于周围壳体的亮度,控制器对深度摄像头装置捕捉的深度图像画面进行逐行处理,检测亮度从暗到亮的边界点,如当扫描到第y行的第x_left个像素时,它的亮度值高于之前像素的亮度值,并且从此开始连续k个像素的亮度值相当,比如这k个像素的亮度差值不超过5%,则认为这个点(x_left,y)是显示屏幕的左侧顶点,如果是第一次出现,则判断这个点就是显示屏幕的左上角顶点A;同理当第y行的第x_right像素的亮度值小于之前像素的亮度值时,并且从此开始连续k个像素的亮度值相当,就认为这个点(x_right,y)是显示屏幕的右侧顶点,如果是第一次出现则判断这个点就是显示屏幕的右上角顶点B;相同方法很容易检测到显示屏幕的左下角顶点C和右下角顶点D的二维坐标值。这种检测方法的好处是简单并且快速,在控制器启动时,点亮显示屏幕全屏并驱动深度摄像头装置获取一帧RGB图像就可以完成显示屏幕四个顶点的坐标识别,整个处理太阳城集团接近于深度摄像头装置采样一帧图像需要的太阳城集团,并且该种检测方法不依赖每一帧图像之间的关联,对每一帧图像的处理都是独立的,每帧图像都有独立完整的识别结果。
(2)对于不常见的仅有深度图像采集功能的深度摄像头装置,要识别出显示屏幕的四个顶点A,B,C,D坐标就只能依靠深度图像画面,由于显示屏幕是设置在壳体的一个支撑面上,该支撑面的中间区域是中空的,并且尺寸与显示屏幕相同,显示屏幕所在平面与支撑面所在平面不处在一个平面,支撑面所在平面凸出,支撑面和显示屏幕与深度摄像头装置之间的距离不同,则支撑面和显示屏幕在深度图像画面上体现出来的亮度就不同,控制显示屏幕黑屏,利用控制器对深度摄像头装置捕捉的深度图像画面进行逐行处理,检测亮度从亮到暗的边界点,如当扫描到第y行的第x_left个像素时,它的亮度值低于之前像 素的亮度值,并且从此开始连续k个像素的亮度值相当,比如这k个像素的亮度差值不超过5%,则认为这个点(x_left,y)是显示屏幕的左侧顶点,如果是第一次出现,则判断这个点就是显示屏幕的左上角顶点A;同理当第y行的第x_right像素的亮度值大于之前像素的亮度值时,并且从此开始连续k个像素的亮度值相当,就认为这个点(x_right,y)是显示屏幕的右侧顶点,如果是第一次出现则判断这个点就是显示屏幕的右上角顶点B;相同方法很容易检测到显示屏幕的左下角顶点C和右下角顶点D的二维坐标值。这种检测方法的好处是简单并且快速,在控制器启动时,使显示屏幕全屏黑屏并驱动深度摄像头装置获取一帧深度图像画面就可以完成显示屏幕四个顶点的坐标识别,整个处理太阳城集团接近于深度摄像头装置采样一帧图像需要的太阳城集团,并且该种检测方法不依赖每一帧图像之间的关联,对每一帧图像的处理都是独立的,每帧图像都有独立完整的识别结果。
在识别出显示屏幕的四个顶点的二维坐标值后,就可以将其存储,并建立起显示屏幕的屏幕坐标系与画面坐标系之间的映射关系。如上两种方式识别显示屏幕的方法都是识别二维空间的虚拟坐标,而不需要识别到A,B,C,D四点的真实物理三维坐标。
具体地,在触控设备工作时,可以识别触控物体在显示屏幕上的屏幕坐标值,并根据触控物体的屏幕坐标值输出操作界面到显示屏幕。
触控物体包括但不限于手指,另外对触控物体表面的颜色也没有限制,主要是因为本实施例是完全利用深度数据进行识别。由于触控物体到深度摄像头装置的距离与显示屏幕到深度摄像头装置的距离不同,因此捕捉到的深度图像画面中触控物体所在区域的深度值与显示屏幕其他区域的深度值会有不同,控制器通过USB等数据接口来获取深度摄像头装置捕捉的深度图像画面,对深度图像画面从上到下逐行逐列扫描,当扫描到某一行像素比如第N行像素时,从左到右读取亮度值,因为触控物体自身会有一定的厚度,所以其表面到深度摄像头装置的距离会比显示屏幕到深度摄像头装置的距离小,所以对应像素的亮度值就会发生变化,在M列开始检测到有连续m个像素的亮度值比之前有突然的变化,如果m大于一定的阈值,则认为可能是检测到触控物体,接下 来连续扫描到N+n行,如果在这之间每行都有大于阈值的连续像素亮度变化,并且连续的行数n也超过特定的范围,则说明检测到触控物体,此时取第N行-第N+n行、第M列-第M+m列像素的中心作为触控物体在二维图像中的像素坐标值(Hx,Hy),之后根据预先建立的屏幕坐标系与画面坐标系之间的映射关系,利用该像素坐标值确定触控物体在显示屏幕中的屏幕坐标值,并根据触控物体的屏幕坐标值输出操作界面到显示屏幕,比如显示屏幕当前显示的操作界面上有多个图标,每个图标对应一个应用,控制器在确定触控物体的屏幕坐标值后,即可确定触控物体点击的应用,进而调出该应用对应的操作界面,并将该操作界面输出到显示屏幕。这种对触控物体坐标的识别在每一帧深度图像画面到来时就会执行一次,而不需要存储多帧数据进行处理,效率高,实现简单。
另外,在触控设备工作时,还可以识别触控物体的点击动作,具体地,在根据前一帧深度图像画面判断触控物体未接触显示屏幕,且根据当前帧深度图像画面判断触控物体接触显示屏幕时,识别出触控操作为点击显示屏幕,之后可以根据触控物体的屏幕坐标值和识别出的点击动作输出操作界面到显示屏幕,点击动作包括但不限于单击和双击。
具体地,可以在第N行-第N+n行像素的亮度均比第N-1行像素的亮度大第二阈值,且第M列-第M+m列像素的亮度均比第M-1列像素的亮度大第二阈值时,判断触控物体未接触显示屏幕;在第N行-第N+n行像素的亮度与第N-1行像素的亮度差值均小于第二阈值大于第一阈值,且第M列-第M+m列像素的亮度与第M-1列像素的亮度差值均小于第二阈值大于第一阈值时,判断触控物体接触显示屏幕,其中,第二阈值大于第一阈值。
另外,在触控设备工作时,还可以识别触控物体的移动轨迹,具体地,比对前一帧深度图像画面和当前帧深度图像画面中触控物体的屏幕坐标值,并根据屏幕坐标值的变化轨迹确定触控物体的移动轨迹,之后可以根据识别出的触控物体的移动轨迹输出操作界面到显示屏幕,比如在识别出触控物体的移动轨迹为从左到右时,输出当前操作界面的下一页到显示屏幕;在识别出触控物体的移动轨迹为从右到左时,输出当前操作界面的上一页到显示屏幕。
现有利用红外线摄像头进行触控操作识别都是远距离悬空操作,只能对手势的类型做定性的判断,不适合做十分精确的交互操作,比如无法识别触控物体是否点击显示屏幕上的某个小按钮,而本实施例利用深度摄像头装置能够对触控物体的进行具体位置定位,完全适合精确位置的定位;另外,利用红外线摄像头进行触控操作识别要求人体与触控设备之间有一定的距离,这样对于周围多人的环境,触摸交互操作就会受到干扰,但本实施例利用深度摄像头装置进行触控操作识别,即使触控设备前有多人运动时,也不会影响到触控操作的识别,保证了用户的触摸交互体验;再者,相比于普通的触控识别,本实施例利用深度摄像头装置进行触控操作识别还可以支持多点触控识别;与普通的触摸屏相比,本实施例利用深度摄像头装置识别的触控物体不局限于手指,还可以识别不带有人体电流的其他物体,比如触控笔、带有手套的手指等等;此外,本实施例除了支持触摸检测外,还支持近距离悬浮触控,在触控设备应用于广告机中时,可以避免细菌在不同用户之间的传播,使得触控方式更加卫生。
此说明书中所描述的许多功能部件都被称为模块,以便更加特别地强调其实现方式的独立性。
本发明实施例中,模块可以用软件实现,以便由各种类型的处理器执行。举例来说,一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块,举例来说,其可以被构建为对象、过程或函数。尽管如此,所标识模块的可执行代码无需物理地位于一起,而是可以包括存储在不同物理上的不同的指令,当这些指令逻辑上结合在一起时,其构成模块并且实现该模块的规定目的。
实际上,可执行代码模块可以是单条指令或者是许多条指令,并且甚至可以分布在多个不同的代码段上,分布在不同程序当中,以及跨越多个存储器设备分布。同样地,操作数据可以在模块内被识别,并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。操作数据可以作为单个数据集被收集,或者可以分布在不同位置上(包括在不同存储设备上),并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时,考虑到现有硬件工艺的水平,所以可以以软 件实现的模块,在不考虑成本的情况下,本领域技术人员都可以搭建对应的硬件电路来实现对应的功能,硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备,诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
在本发明各方法实施例中,各步骤的序号并不能用于限定各步骤的先后顺序,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,对各步骤的先后变化也在本发明的保护范围之内。
太阳城集团以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

关 键 词:
设备 及其 工作 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:触控设备及其工作方法.pdf
链接地址:http://zh228.com/p-6377785.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');