太阳城集团

  • / 25
  • 下载费用:30 金币  

模拟触摸显示器的实时响应性.pdf

摘要
申请专利号:

CN201580049787.3

申请日:

2015.09.15

公开号:

太阳城集团CN106716331A

公开日:

2017.05.24

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06F 3/0488申请日:20150915|||公开
IPC分类号: G06F3/0488(2013.01)I 主分类号: G06F3/0488
申请人: 微软技术许可有限责任公司
发明人: T·S·佩克
地址: 美国华盛顿州
优先权: 2014.09.16 US 14/487,647
专利代理机构: 北京市金杜律师事务所 11256 代理人: 王茂华;杨立
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580049787.3

授权太阳城集团号:

|||

法律状态太阳城集团日:

2017.06.16|||2017.05.24

法律状态类型:

太阳城集团实质审查的生效|||公开

摘要

本文所描述的技术涉及模拟构件相对于显示器的位置的实时检测。传感器数据被接收,其中传感器数据指示构件相对于显示器的位置。基于传感器数据,预测针对要在显示器上呈现的多个帧的构件相对于显示器的位置。基于预测位置在显示帧时执行计算操作。

权利要求书

1.一种计算装置,包括:
预测器组件,其被配置为预测针对要显示的相应多个显示帧的构件相对于显示器的位
置,所述预测器组件被配置为基于传感器信号的样本来预测所述构件的所述位置;以及
操作组件,其被配置为基于由所述预测器组件预测的所述构件的所述位置来使所述多
个显示帧显示在所述显示器上。
2.根据权利要求1所述的计算装置,还包括触摸控制器,其被配置为基于所述传感器信
号的至少一个样本来计算所述构件相对于所述显示器的位置,所述预测器组件被配置为基
于由所述触摸控制器计算的所述位置来预测所述构件的所述位置。
3.根据权利要求1所述的计算装置,所述预测器组件被配置为基于指示所述构件与所
述显示器的表面之间的阻力的值来预测所述构件的所述位置。
4.根据权利要求3所述的计算装置,还包括存储器,所述存储器包括阻力模型,所述阻
力模型被配置为对所述构件与所述显示器的所述表面之间的所述阻力建模,所述预测器组
件被配置为基于所述阻力模型来计算指示所述阻力的所述值。
5.根据权利要求1所述的计算装置,其中所述操作组件被配置为使得所述帧被显示,使
得所述计算装置的用户感知到正在实时检测所述构件的位置。
6.根据权利要求1所述的计算装置,其中所述预测器组件被配置为基于针对先前显示
的显示帧的所述构件相对于所述显示器的位置、当所述构件在所述显示器上移动时所述构
件的估计速度、以及当所述构件在所述显示器上移动时在所述构件与所述显示器之间的估
计的阻力,来预测针对所述相应多个显示帧的所述构件相对于所述显示器的所述位置。
7.根据权利要求1所述的计算装置,其中所述预测器组件被配置为基于以下各项中的
至少一项来预测所述位置:
所述构件相对于所述显示器的边缘的位置;或者
由所述计算装置执行的应用的标识。
8.一种方法,包括:
接收来自传感器的传感器数据,所述传感器数据指示构件在显示器上的位置,所述构
件与所述显示器接触;
响应于接收所述传感器数据,针对要以一帧率显示在所述显示器上的n个帧,预测所述
构件在所述显示器上的位置,n是大于零且小于一百的整数,所述构件的所述位置基于所述
传感器数据而被预测;以及
以所述帧率在所述显示器上显示所述n个帧,其中所述n个帧中的每个帧的内容基于所
述位置中的相应位置。
9.根据权利要求8所述的方法,进一步包括:
针对所述n个帧中的至少一个帧,估计所述构件与所述显示器之间的物理阻力;以及
基于在所述构件与所述显示器之间估计的所述阻力,来预测针对所述n个帧中的至少
一个其他帧的所述构件的位置。
10.根据权利要求8所述的方法,其中以所述帧率在所述显示器上显示所述n个帧包括
显示所述构件在所述显示器上的轨迹,其中从用户的角度来看,所述轨迹在所述显示器上
实时地被描绘。
11.根据权利要求8所述的方法,进一步包括:
接收所述构件在所述显示器上的经计算的坐标,所述经计算的坐标基于所述传感器数
据;以及
基于所述构件在所述显示器上的所述经计算的坐标,预测针对所述n个帧的所述构件
在所述显示器上的所述位置。
12.根据权利要求11所述的方法,其中预测所述位置包括:
基于来自所述传感器的所述传感器数据来估计所述构件相对于第一帧的轨线和速度;
以及
基于所述构件的所述轨线和所述速度来估计针对所述n个帧中的至少一个帧的所述构
件的位置。
13.根据权利要求1所述的计算装置,所述预测器组件被配置为基于所述构件是触笔而
不是手指来预测所述构件的所述位置。
14.根据权利要求1所述的计算装置,所述预测器组件被配置为基于所述构件是手指而
不是触笔来预测所述构件的所述位置。
15.根据权利要求1所述的计算装置,其中所述预测器组件被配置为基于先前检测到的
轨迹中的所述构件相对于所述显示器的位置来预测所述位置。

说明书

模拟触摸显示器的实时响应性

背景技术

被配置为随太阳城集团确定构件(例如,手指、触笔等)相对于显示器的位置的计算设备
变得普遍存在。例如,移动电话、平板(板状)计算设备、膝上型计算设备、大规模设备(诸如
可以在博物馆、在会议等找到的那些)当前正被制造为包括触敏显示器。此外,诸如视频游
戏控制台、机顶盒和电视之类的常规计算设备已经被配置为基于捕获的(深度和/或RGB)用
户的图像来识别用户相对于显示器的手臂、手指、头部等的位置。

通常,对于许多这些设备,以相对低的速率计算构件的位置。例如,包括在触敏设
备中的常规触摸控制器以60与120Hz之间的采样率操作。该采样速率不够快以跟上在显示
器上快速移动的构件,导致用户感知到滞后,这可能负面地影响用户的体验。

发明内容

以下是本文更详细描述的主题的简要概述。本发明内容不旨在限制权利要求的范
围。

本文描述了计算装置。该计算装置包括预测器组件,其被配置为预测针对要显示
的相应多个显示帧的构件相对于显示器的位置,该预测器组件被配置为基于传感器信号的
样本来预测构件的位置。该计算装置还包括操作组件,其被配置为基于由预测器组件预测
的构件的位置来使多个显示帧显示在显示器上。

附图说明

图1是具有在其上相对快速移动的构件的触敏显示器的等距视图。

图2示出了被配置为跟踪用户随太阳城集团的运动的示例性系统。

图3是配置成模拟构件相对于显示器的位置的实时检测的示例性计算装置的功能
框图。

图4是配置成模拟构件相对于显示器的位置的实时检测的示例性计算装置的功能
框图。

图5是示例性预测器组件的功能框图,该预测器组件被配置为预测将在显示器上
显示的若干帧的构件相对于显示器的位置。

图6是被配置为学习预测器组件的示例性系统的功能框图。

图7示出了被配置为校准预测器组件的示例性系统。

图8是示出用于模拟构件相对于触摸敏感显示器的位置的实时检测的示例性方法
的流程图。

图9是示出用于基于构件相对于显示器的预测位置来执行计算操作的示例性方法
的流程图。

图10是示出用于学习计算机实现的模型的示例性方法的流程图,该方法有助于预
测构件相对于显示器的位置。

图11示出了示例性计算装置。

具体实施方式

现在参考附图描述与模拟构件相对于显示器的位置的实时检测有关的各种技术,
其中相同的附图标记用于指代相同的元件。在下面的描述中,为了解释的目的,阐述了许多
具体细节以便提供对一个或多个方面的透彻理解。然而,可以显而易见的是,这样的方面可
以在没有这些具体细节的情况下实施。在其他实例中,以框图形式示出了公知的结构和设
备,以便于描述一个或多个方面。此外,应当理解,被描述为由某些系统组件执行的功能可
以由多个组件执行。类似地,例如,组件可以被配置为执行被描述为由多个组件执行的功
能。

此外,术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说,除非另有
说明或者从上下文清楚可见,否则短语“X使用A或B”旨在表示任何自然的包括性排列。也就
是说,短语“X使用A或B”通过以下任何实例来满足:X使用A;X使用B;或X使用A和B两者。此
外,除非另有说明或从上下文清楚可见为指向单数形式,本申请和所附权利要求中使用的
冠词“一”和“一个”通常应被解释为意指“一个或多个”。

此外,如本文所使用的,术语“组件”和“系统”旨在包括配置有计算机可执行指令
的计算机可读数据存储器,该指令使得当由处理器执行时执行某些功能。计算机可执行指
令可以包括例程、函数等。还应当理解,组件或系统可以位于单个设备上或分布在多个设备
上。此外,如本文所使用的,术语“示例性”旨在表示用作某事物的图示或示例,并且不旨在
指示偏好。

现在参考图1,示出了示例性触敏显示器100的等距视图。触敏显示器100可以包括
在移动电话中、平板(板状)计算设备中、膝上型计算设备中、一体化计算设备中、大规模显
示器中(如可以在博物馆、会议等发现的)等等。构件102被示为与触敏显示器100的表面103
接触。构件102可以是手指、触笔或可以用于与包括触敏显示器100或与触敏显示器100通信
的计算设备交互的其他合适的机构。附加地,触敏显示器100可以被配置为检测构件102何
时悬停在触敏显示器100上。因此,虽然本文所阐述的示例将构件102描述为与触敏显示器
100的表面103物理接触,但是应当理解,本文所描述的特征可应用于触敏显示器100,其被
配置以在构件102悬停在触敏显示器100的表面103上时检测构件102相对于触敏显示器100
的位置。

在图1所示的示例中,构件102已经在触摸敏感显示器100的表面103上移动以形成
轨迹104。轨迹可以被定义为在检测到发起事件之后并且在检测到终止事件之前,构件102
相对于触敏显示器100的运动。在图1所示的示例中,发起事件是构件102接触触敏显示器
100的表面103,并且终止事件是构件102从触敏显示器100的表面103移除接触。轨迹104由
构件102在这些事件之间沿着触敏显示器100的表面103移动而形成。然后,轨迹104由触敏
显示器100上的(检测到的)位置定义,其中构件102在发起事件与终止事件之间在触敏显示
器100的表面103上接触。在悬停的示例中,发起事件可以是构件102进入距离显示器100的
表面103的某个阈值距离内,并且终止事件可以是当构件102远离显示器100的表面103移动
时,使得构件102不再在阈值距离内。

为了增强用户体验,期望触敏显示器100实时地响应来自用户(通过构件102)的输
入。例如,对于触敏显示器100可能期望的是在触敏显示器100上绘制轨迹104的至少部分,
随着这些部分正在形成(例如,向用户指示通过触敏显示器100正在检测的是什么)。这可以
向用户提供太阳城集团触敏显示器100上的什么位置已被标识为包括在轨迹104中的视觉反馈。例
如,当计算装置正在执行笔记记录应用时,其中用户可以经由轨迹形成字母、单词等,期望
提供视觉反馈以向用户指示用户提出的轨迹已经被计算装置正确地解释。在另一示例中,
消息应用解码轨迹以识别要传送给至少一个其他人的单词。如上所述,常规触敏显示器中
的触摸控制器以相对较慢的速率计算位置太阳城集团,使得当构件在显示器的表面上相对快速地
移动时,滞后是显着的。

根据本文描述的方面,包括触敏显示器100的计算装置被配置为模拟构件102的位
置的实时检测。因此,当构件102在显示器100的表面103上移动时,可以实时地在显示器100
上显示轨迹104的至少最近生成的部分。通过实时地模拟位置检测,用户可以感觉到触敏显
示器100对通过构件102从用户输入的实时响应性。例如,太阳城集团上述笔记记录应用,计算装置
可以向用户提供类似于采用笔和纸的用户的手写体验。

如图1所示,用户已经使得构件102在触敏显示器100的表面103上形成轨迹104,其
中当用户正在观看的帧被显示在显示器100上时,构件102处于触敏显示器100的表面103上
的位置106(例如,X、Y位置)。触敏显示器100可以包括传感器和触摸控制器(未示出),其中
触摸控制器接收由传感器输出的数据,并基于由传感器输出的数据计算构件102在显示器
100的表面103上的位置(例如,X、Y坐标)。然而,由于触摸控制器的相对低的采样率,当帧被
显示在显示器上时,触摸控制器计算构件102的位置处于位置108。因此,当帧被呈现用于在
显示器100上观看时,由触摸控制器报告的构件102的位置是“旧的”——例如,构件102已经
从轨迹104中的经计算的位置108移动到其实际位置106。

如上所述,本文描述的方面便于实时地模拟位置计算(例如,用户感知触敏显示器
实时或接近实时地响应)。在一个示例中,包括触敏显示器的计算装置可以预测要在触敏显
示器100上显示的几个帧的构件102的位置。此外,计算装置可以被配置为基于预测位置中
的至少一个预测位置来执行计算操作。相应地,当帧被呈现在显示器100上时,将已经为帧
(准确地)预测显示器的表面103上的构件102的位置,使得用户感知到显示器100实时地对
通过构件102提出的输入进行响应。

在示例中,计算操作可以是实时地显示轨迹104的至少一部分。该效果是减轻与常
规触敏显示器相关联的滞后(例如,至少部分地由触摸控制器的相对低的采样率引起)。如
将在本文中更详细地描述的,计算装置可以被配置为针对要在显示器100上显示的接下来n
个帧中的每个帧来预测构件102相对于显示器100的位置,其中n是大于1的整数。计算装置
可以被配置为基于由传感器输出的最新数据、先前接收的传感器数据、由触摸控制器报告
的最近(和之前)位置等来预测这样的位置。

虽然已经太阳城集团预测单个构件的位置描述了图1所示的示例,但是应当理解,本文描
述的方面支持多个构件相对于触敏显示器100的表面103的位置的同时预测。也就是说,当
触敏显示器支持多点触摸功能时,包括触敏显示器100的计算装置可以被配置为预测与触
敏显示器100的表面103接触的几个构件的触摸点。

现在转到图2,示出了被配置为模拟构件相对于显示器的位置的实时检测的示例
性系统200。系统200包括显示器202,其可以是电视、投影屏幕等。例如,显示器202可以不具
有触敏能力。系统200还包括传感器204,该传感器204被配置为输出指示用户206的至少一
个构件相对于显示器202的位置的数据。在示例中,传感器204可以被配置为输出一个或多
个视频流、一个或多个深度流(例如,深度图像流)等。

系统200还可以包括与传感器204和显示器202通信的计算装置208。例如,传感器
204可以在计算装置208的内部。根据一个示例,计算装置208可以是视频游戏控制台、机顶
盒、电视内部等。计算装置208被配置为接收由传感器204输出的数据,并计算用户206的至
少一个构件相对于显示器202的位置。在图2所示的示例中,计算装置208可以被配置为随着
用户206移动右臂来计算用户206的右臂相对于显示器202的位置。

用户206可以通过相对于显示器202移动右臂来形成轨迹210,其中响应于计算装
置208检测到发起事件而发起轨迹210,并且响应于计算装置208检测到终止事件而终止轨
迹210。因此,在该示例中,计算装置208监视用户206的右臂的移动以检测轨迹210。在其他
示例中,可以通过用户206的头部、用户206的左手臂、用户206的手指、通过用户206的眼睛
的移动等的移动来形成轨迹210。计算装置208与显示器202通信,并且可以基于计算出的用
户206的构件相对于显示器202的位置以及针对要在显示器202上显示的多个帧的用户206
的构件相对于显示器的预测位置而在显示器202上呈现数据。

更详细地,类似于上文所描述的,传感器204被配置为捕获例如用户206的图像并
将这样的图像输出到计算装置208。计算装置208被配置为基于由传感器204输出的图像来
识别用户206的构件相对于显示器202的位置。在计算装置208接收图像、分析图像并且计算
用户206的构件相对于显示器202的位置的时候,然而,用户206的构件已经从这样的位置移
动到不同的位置。再次地,如果不考虑,这可以向用户206提供滞后感觉(例如,用户206可以
感知计算装置208不立即响应于由用户206执行的手势)。

计算装置208被配置为通过针对将在显示器202上呈现的接下来n个帧预测构件相
对于显示器202的位置来减轻该滞后。因此,对于帧0(在当前太阳城集团t0处示出),计算装置208
将已经预测了用户206的构件相对于显示器的当前位置(X0,Y0)。同样,对于帧1(紧接着在时
间t0处的帧0显示),计算装置208将已经预测了针对这种帧的用户206的构件的位置(X1,
Y1)。继续该示例,对于帧n(要在太阳城集团tn处显示在显示器202上),计算装置208将已经预测了
针对该帧的用户206的构件的位置(Xn,Yn)。当帧被显示时,这些预测位置被更新,使得模拟
用户206的构件相对于显示器的位置的实时检测。类似于上面已经描述的,计算装置208可
以支持多个构件的移动的同时检测,并且可以进一步支持预测针对n个帧的多个构件的位
置。

现在参考图3,示出了示例性计算装置300的功能框图。在示例中,计算装置300可
以是移动电话、平板(板状)计算设备、膝上型计算设备、一体化计算设备或者包括触敏显示
器或与触敏显示器通信的任何合适的计算设备。计算装置300包括(或与之通信的)显示器
302,该显示器302可以包括用于向用户呈现数据的任何合适的显示技术。例如,显示器302
可以是或包括液晶显示器(LCD)、发光二极管(LED)显示器等。

计算装置300还包括多个传感器304-306,其被配置为输出指示构件是否与显示器
302的暴露表面接触和/或构件是否悬停在显示器上的传感器数据。此外,传感器数据可以
指示构件相对于显示器302的位置(例如,构件与显示器302接触的显示器302的(X,Y)坐
标)。传感器304-306可以是或者包括电容传感器,电阻传感器或其他合适的传感器,并且可
以被配置为当构件与显示器302接触或悬停在显示器302上时输出指示构件相对于显示器
302的位置的数据。例如,传感器304-306可以耦合到网格的导电线,其中网格中的线之间的
电容指示该构件是否与显示器302接触(或悬停在显示器上),并且进一步指示构件相对于
显示器302的位置。

计算装置300附加地包括可操作地耦合到传感器304-306的触摸控制器308。触摸
控制器308被配置为基于由传感器304-306输出的传感器数据来计算与显示器302接触或悬
停在显示器302上的一个或多个构件的位置数据(例如,(X,Y)坐标)。触摸控制器308可以采
样由传感器304-306输出的传感器信号,并且可以以小于实时的采样率来计算位置太阳城集团。例
如,触摸控制器308可以具有在60Hz与1000Hz之间的采样率。在另一示例中,触摸控制器308
可以具有在60Hz与240Hz之间的采样率。在又一示例中,触摸控制器308可以具有在60Hz与
120Hz之间的采样率。

计算装置300附加地包括处理器310和存储器312,其中处理器310被配置为执行存
储器312中的指令。存储器312包括操作系统314和可由处理器310在操作系统314之上执行
的多个应用316-318。在示例中,操作系统314和/或应用316-318中的至少一个应用可以接
收由触摸控制器308输出的位置太阳城集团(例如,构件的(X,Y)坐标),并且可以使得操作基于由
触摸控制器308报告的位置太阳城集团而被执行。可以由操作系统314和/或应用316-318中的至少
一个应用执行的示例性操作可以包括使得在显示器上呈现图形内容、发起应用,选择图形
按钮以及其他操作。

存储器312还可以包括预测器组件320,其被配置为针对要在显示器302上显示的
多个帧来预测构件相对于显示器302的位置。例如,预测器组件320可以预测针对要在显示
器302上显示的接下来n个帧的构件的位置,其中n是大于零的整数。例如,预测器组件320可
以基于显示器302的帧率和/或触摸控制器308的采样率来确定n。因此,当在显示器302上显
示帧时,预测器组件320将已经计算了用于这种帧的构件相对于显示器302的位置的预测。
该预测有效地允许计算装置300模拟对由用户做出的手势(诸如滑动、多手指手势、敲击等)
的实时交互响应性。

如本文将更详细地描述的,预测器组件320可以基于由传感器304-306输出的信号
来预测多个帧的位置。在示例中,预测器组件320可以接收由传感器304-306中的至少一个
传感器输出的原始数据,并且可以基于原始传感器数据来预测针对多个帧的构件相对于显
示器302的位置。该原始传感器数据可以包括活动的传感器304-306中的传感器的标识、由
传感器输出的原始(未过滤)值、原始图像等。在其他示例中,预测器组件320可以基于与轨
迹有关的以下任何一者或多者来预测针对多个帧的构件的位置:1)由触摸控制器308报告
的位置太阳城集团(例如,(X,Y)坐标);2)触摸控制器308报告的触摸点之间的经计算的速度;3)触
摸控制器308报告的触摸点之间的经计算的加速度;4)构件的类型的确定(例如,手指或触
笔);5)触摸点的形状(例如,由触摸控制器308报告或通过原始传感器数据的分析识别);6)
在一个或多个触摸点处检测或计算的压力;7)构件相对于参考轴线的经计算的取向(例如,
基于椭圆接触点的法向轴线计算);8)经计算的触点的椭圆高度和宽度;9)最近报告的触摸
点相对于显示器302的边缘的接近度;和/或10)计算装置300的上下文(例如,当触摸控制器
308报告触摸点时,由计算装置300的用户利用的应用的标识)。还设想了其他数据。

在非限制性示例中,预测器组件320可以访问对构件与显示器302之间的交互进行
建模的物理模型321。例如,物理模型321可以建模构件相对于显示器302的速度,构件相对
于显示器的方向的变化等。预测器组件320例如可以基于以下来采样物理模型321:先前计
算的物理构件相对于显示器302的位置、构件在显示器302上随太阳城集团的估计和/或计算的速
度、构件在显示器302上(例如,随太阳城集团)的估计和/或计算的轨线、原始传感器输出、网格特
征、其派生等。

物理模型321可以可选地包括阻力模型322,该阻力模型322对显示器302相对于在
显示器302的表面上移动的构件的物理阻力进行建模。例如,第一显示器的第一显示表面可
以由第一材料构成,而第二显示器的第二显示表面可以由第二材料构成,其中第一材料具
有与第二材料不同的摩擦系数。因此,例如,当第一显示表面移动越过第一显示表面时,第
一显示表面可以向构件提供比由第二显示表面提供的物理阻力的量更小的物理阻力。预测
器组件320可以利用例如1)构件是手指还是触笔;2)施加到显示器302的表面的压力量;3)
接触区域的尺寸;以及4)当访问阻力模型322时,构件在显示器302的表面上的速度和/或加
速度,并且可以估计显示器302的表面与针对要在显示器302上显示的多个帧的构件之间的
物理阻力。也就是说,对于多个帧中的每个帧,预测器组件320可以计算指示构件与显示器
302的表面之间的物理阻力的相应值,并且可以基于经计算的阻力值来计算针对这些帧的
构件的位置。这些阻力值对于预测位置是有用的,因为物理阻力可以影响构件将在显示器
302的表面上加速或减速有多快。

存储器312还可以包括操作组件324,其基于由预测器组件320计算的构件相对于
显示器302的位置的至少一个预测来使得操作被执行。例如,操作组件324可以在用户的构
件实际触摸代表应用的图形图标时(而不是在触摸控制器308计算该构件正在触摸该图形
图标时)发起应用的执行。在又一示例中,计算装置300可以包括显示处理器326,并且操作
组件324可以与显示处理器326通信。显示处理器326可以被配置为基于针对多个帧的构件
相对于显示器302的预测位置(例如,由预测器组件320输出),使得图形数据呈现在显示器
302上。例如,当帧将被显示在显示器302上时,操作组件324可以基于被预测为处于或接近
构件的位置的这样的像素,使得一个或多个像素被分配给帧中的特定颜色。相应地,例如,
如果由构件在显示器302上执行的轨迹被实时地显示在显示器302上,则由显示处理器326
呈现的帧将包括表示针对这样的帧的构件的预测位置的像素。效果是,从用户的角度来看,
当通过构件与显示器302的交互来创建轨迹时,轨迹被实时地示出。

现在阐述太阳城集团预测器组件320的操作的附加细节。如前所述,预测器组件320可以
通过使用一个或多个特征和/或信号对物理模型321进行采样来预测构件相对于显示器302
的位置。例如,预测器组件320可以使用由传感器304-306输出的原始传感器数据对物理模
型321进行采样。该原始传感器数据可以直接从传感器304-306获取或者可以通过触摸控制
器308传递。当预测构件的位置时,原始传感器数据可能是有用的,因为其未被触摸控制器
308过滤。此外,预测器组件320可以使用由触摸控制器308计算的构件的位置对物理模型
321进行采样,以预测针对多个帧的构件相对于显示器302的位置。如可以确定的,这些先前
位置可以指示构件的运动方向,这在预测构件的位置时是有用的。预测器组件320还可以基
于计算的对应于轨迹中的构件的先前位置的构件的速度和/或加速度来对物理模型321进
行采样。这些特征还指示将在显示器302上显示的针对接下来n个帧的构件的位置。类似地,
预测器组件320可以基于触摸点的形状和由构件在触摸点处施加到显示器302的压力来对
物理模型进行采样。触摸点的形状和在触摸点处施加的压力可以指示构件可以多快地在显
示器302上行进(当考虑构件与显示器302之间的阻力)以及构件在显示器302上的移动的方
向。这样的太阳城集团继而指示构件在接下来n个帧的位置。例如,检测到的触摸点的形状的改变
可以指示构件在显示器302的表面上的方向的改变。

预测器组件320还可以在计算针对要显示的帧的构件的位置的预测时考虑上下
文。例如,当用户正在使用笔记记录应用时,用户不太可能导致触笔从显示器转移到计算装
置300的边框。相应地,由处理器310执行的应用的标识或与计算装置300相关联的其他上下
文可以指示构件相对于显示器302的移动。类似地,构件的经计算的位置和构件相对于显示
器302的边缘的预测位置可以指示当显示框架时构件的位置。例如,当由触摸控制器308输
出的经计算的位置指示构件在显示器302与边框之间的边界附近时,则(至少在一些情况
下)可以推断出用户将改变构件的方向,使得该构件保持与显示器302的表面接触。在其他
情况下,计算装置300可以支持手势,其中当构件从显示器过渡到计算装置300的边框时发
起某些功能。例如,当构件在跨越显示器的方向上滑动时,可以呈现新的“页面”,可以发起
新的应用等。预测器组件320可以基于计算装置300的上下文、用户对计算装置300的历史使
用等推断正在做出这样的手势,并且可以基于这样的太阳城集团预测针对多个帧的构件的位置。
此外,预测器组件320可以使用线性和非线性建模来拟合触摸点,以便于为要显示的帧(例
如,接下来的n个帧)预测构件相对于显示器302的位置。

虽然触摸控制器308、处理器310、存储器312和显示处理器326被示为是分离的,但
是应当理解,在示例性实施例中,两个或更多个这样的元件可以共同嵌入在单个芯片上(例
如,可以包括在片上系统或芯片上群集设计中)。

现在参考图4,示出了计算装置208(图2)的功能框图。计算装置208包括处理器402
和存储器404。存储器404包括由处理器402执行的操作系统406以及由处理器402在操作系
统406之上执行的多个应用408-410。存储器404附加地包括位置确定器组件412,其被配置
为接收来自传感器的视频和/或深度流。位置确定器组件412可以分析视频和/或深度流的
内容并计算构件相对于传感器的位置,并且因此相对于显示器的位置,其中位置确定器组
件412基于接收到的视频和/或深度流来计算位置。

存储器404还包括预测器组件320,该预测器组件320被配置为对物理模型321进行
采样,以预测针对要在显示器202上显示的多个帧的构件相对于传感器的位置(例如,接下
来的n帧)。在该示例中,预测器组件320可以利用先前描述为由预测器组件320利用的至少
一些太阳城集团来预测构件的位置。预测器组件320可以在对物理模型321进行采样时附加地使用
其他太阳城集团,诸如在视频和/或深度流中捕获的用户的尺寸,在视频和/或深度流中捕获的用
户的近似年龄(例如,某些尺寸和年龄的人们本质上可以比其他人更快或更慢地移动手臂)
等。存储器404还包括操作组件324,其可以使得操作基于针对帧的构件的预测位置而被执
行。输出组件414可以生成用于在显示器202上呈现的输出视频流,其中由输出组件414输出
的视频流的内容可以是针对帧的构件的预测位置的函数。同样,效果是从用户206的角度模
拟实时响应性。

现在参考图5,示出了预测器组件320的功能框图。预测器组件320可以包括构件标
识符组件502,其可以标识正在与显示器交互的构件的类型,以及这样的构件的其他参数。
例如,构件标识符组件502可以基于当构件与显示器接触时的触摸点的尺寸、当构件与显示
器接触时的触摸点的形状、当构件接近或接触显示器时由传感器检测到的电容量等来消除
手指与触笔之间的歧义。在一些情况下,构件可以被配置为与包括显示器(或与显示器通
信)的计算装置通信,并且构件可以传送指示在计算设备的表面上移动的构件是触笔。此
外,构件标识符组件502可以标识与构件相对应的参数,诸如当与显示器接触时构件的(一
般)大小,该构件被制成的材料的类型(其可以基于观察到的构件相对于显示器的速度和加
速度来推断)等。

预测器组件320还可选地包括上下文确定器组件504,当该构件用于与显示器上的
内容交互时,该上下文确定器组件504可以确定包括预测器组件320的计算装置的上下文。
例如,上下文确定器组件504可以在构件与显示器接触时识别由计算装置执行的应用,可以
识别在显示器上描绘的屏幕(例如,“太阳城集团(home)”屏幕)等。

预测器组件320还可以包括速度确定器组件506,其可以被配置为计算在一系列最
近识别的触摸点处的显示器上的构件的速度和/或加速度(例如,其中触摸点已经被触摸控
制器识别之处)。速度确定器组件506还可以计算在一系列最近的触摸点处显示器上的构件
的移动方向。

此外,预测器组件320可以可选地包括阻力估计器组件508,其可以被配置为访问
阻力模型322并估计针对多个帧的构件与显示器之间的物理阻力。例如,阻力模型322可以
被配置成对于不同的压力、构件横截面尺寸、速度、加速度等,对构件与显示器的表面之间
的物理阻力进行建模,并且阻力估计器组件508可以被配置为计算指示针对接下来n个帧中
的至少一个帧的这种阻力的值。附加地,阻力模型322可以考虑显示器的材料的摩擦系数。
预测器组件320可以基于这样的数据对物理模型进行采样。

因此,预测器组件320可以基于构件的类型和由构件标识符组件502标识的构件的
参数,由上下文确定器组件504识别的计算装置的上下文,由速度确定器组件506计算的构
件的速度、加速度和/或最近的运动方向,以及由阻力估计器组件508输出的阻力值来预测
要在显示器上呈现的多个帧的构件的位置。预测器组件320可以连续地预测针对接下来的n
个帧的构件的位置,使得当显示帧时更新(减少)与未来帧相关联的不确定性。

现在参考图6,示出了有助于构建物理模型321的示例性系统600。计算设备602(例
如,移动电话)可以具有触敏显示器603。机器人臂604可以相对于触敏显示器603被定位,并
且可以具有附接到其上的构件606,其中构件606的位置、速度、加速度、接触角等可以由机
器人臂604控制。此外,机器人臂604上可以具有输出指示构件606的已知位置、运动方向、速
度等的数据的传感器。因此,当机器人臂604在计算设备602的触敏显示器603上移动构件
606时,机器人臂604可以生成指示构件606随着太阳城集团相对于触敏显示器603的位置、取向等
的太阳城集团戳数据。

机器人臂604可以被编程为使得构件606在触敏显示器603上执行各种轨迹,模仿
人在触敏显示器上执行的手势。构件606可以被配置成表示特定尺寸、形状等的人类手指。
在另一个示例中,构件606可以被配置成表示触笔。当机器人臂604在触敏显示器603的表面
上创建具有构件606的轨迹时,机器人臂604生成指示构件606随太阳城集团相对于显示器603的已
知位置(和速度、加速度、行进方向等)的数据。同时,计算设备602的触摸控制器报告构件
606相对于显示器603的经计算的位置。

计算装置608可以与机器人臂604和计算设备602通信,其中计算装置608包括数据
存储装置610。由机器人报告的数据(机器人数据612)和由触摸控制器生成的位置数据(报
告的数据614)可以包括在计算装置608的数据存储装置610中。附加地,报告的数据614可以
包括由计算设备602中的传感器输出的原始传感器数据。因此,数据存储装置610包括构件
606相对于显示器(如由机器人报告的)的实际位置数据,由触摸控制器计算的相同太阳城集团段
的位置数据,以及由触摸控制器使用以计算位置数据的原始传感器数据。

学习器组件616可以接收数据存储装置610中的数据,并且利用机器学习技术来学
习物理模型321。学习器组件616可以构造物理模型321,使得可以确定由机器人臂604报告
的数据与由计算设备602的触摸控制器输出的数据之间的关系。机器人数据612的至少一部
分可以是学习的目标,并且可以用于验证物理模型321。

现在参考图7,示出了有助于校准(更新)物理模型321的示例性系统700。计算设备
702可以具有安装在其上的校准应用,其使得图形序列被呈现在计算设备702的显示器704
上——例如,可以指示用户采用构件706随太阳城集团跟随图形708、710、712、714和716,从而指示
用户形成轨迹(例如,其中呈现图形708-716以使轨迹的部分具有一定的速度、加速度、位置
等)。精制器组件718可以随太阳城集团相对于图形708-716观察构件706,并且可以基于观察到的
与显示器704的用户交互来更新物理模型321的参数。例如,应用可以请求用户做出特定形
状,并且精制器组件718可以观察到当用户通过使用构件706形成这种形状时做出的轨迹。
精制器组件718然后可以基于该观察到的轨迹来更新预测器组件320的参数。

图8-10示出了与模拟触敏显示器的实时响应性相关的示例性方法。虽然方法被示
出和描述为在序列中执行的一系列动作,但是应当理解和意识到,方法不受序列的顺序的
限制。例如,一些动作可以以与本文所描述的顺序不同的顺序发生。此外,一个动作可以与
另一个动作同时发生。此外,在一些情况下,并非需要所有动作来实现本文所描述的方法。

此外,本文描述的动作可以是可由一个或多个处理器实现和/或存储在计算机可
读介质上的计算机可执行指令。计算机可执行指令可以包括例程、子例程、程序、执行线程
和/或类似物。此外,方法的动作的结果可以存储在计算机可读介质中,显示在显示设备上
等。

现在仅转到图8,示出了有助于模拟计算设备对通过触敏显示器进行的输入的实
时响应性的示例性方法800。方法800在802开始,并且在804接收来自传感器的传感器数据。
传感器数据指示与计算装置的显示器接触的构件的位置。在806处,响应于接收到传感器数
据,针对要以一帧率在显示器上显示的n个帧来预测显示器上的构件的位置,其中n是大于
零且小于100的整数,并且其中基于传感器数据来预测构件的位置。在808,以该帧率在显示
器上显示n个帧。在一个示例中,n个帧中的每个帧的内容可以基于预测位置中的相应位置。
这允许用户感知显示器实时地响应于用户与显示器的交互。方法800然后返回到804,其中
方法800重复,在多帧被显示时更新预测位置。

现在转到图9,示出了用于基于构件相对于显示器的预测位置来执行计算操作的
示例性方法900。方法900在902开始,并且在904接收针对要显示的相应帧的构件的预测位
置。例如,对于要显示的下一帧(f1),构件的预测位置可以是(X1,Y1)。对于下一帧(f2),构件
的预测位置可以是(X2,Y2),使得帧n(fn)的构件的预测位置是(Xn,Yn)。

在906,当基于针对帧的构件的预测位置显示帧时,执行计算操作。例如,当显示帧
f2时,构件(预测)的位置(X2,Y2)可以用于启动应用,以显示轨迹的一部分等。方法900在908
完成。

现在转到图10,示出了用于学习预测器组件320的示例性方法1000。方法1000在
1002处开始,并且在1004处,随太阳城集团从包括触敏显示器的移动计算设备的传感器接收传感
器数据。这种传感器数据可以是原始传感器数据或者可以是由触摸控制器输出的计算位
置。在1006,接收构件的位置太阳城集团,其中这样的位置太阳城集团对应于随太阳城集团变化的传感器数据。
例如,可以通过控制该构件的机器人手臂来生成构件的位置太阳城集团,使得可以知道位置太阳城集团。
在1008处,基于在1004和1006处接收到的数据来学习计算机实现的模型,其有助于预测针
对接下来n个帧(几个帧)的构件的位置。方法1000在1010完成。

现在阐述各种示例。

示例1:一种计算装置,包括:预测器组件,其被配置为预测针对要显示的相应多个
显示帧的构件相对于显示器的位置,所述预测器组件被配置为基于传感器信号的样本来预
测所述构件的所述位置;以及操作组件,其被配置为基于由所述预测器组件预测的所述构
件的所述位置来使所述多个显示帧显示在所述显示器上。

示例2:根据示例1所述的计算装置,还包括触摸控制器,其被配置为基于所述传感
器信号的至少一个样本来计算所述构件相对于所述显示器的位置,所述预测器组件被配置
为基于由所述触摸控制器计算的所述位置来预测所述构件的所述位置。

示例3:根据示例1-2中任一项所述的计算装置,所述预测器组件被配置为基于由
所述计算装置中的传感器输出的原始信号、指示由所述构件施加到所述显示器的压力的
值、所述构件的取向、所述计算装置的电容网格的特征中的至少一者来预测所述构件的所
述位置。

示例4:根据示例1-3中任一项所述的计算装置,所述预测器组件被配置为基于指
示所述构件与所述显示器的表面之间的阻力的值来预测所述构件的所述位置。

示例5:根据示例4所述的计算装置,还包括存储器,所述存储器包括阻力模型,所
述阻力模型被配置为对所述构件与所述显示器的所述表面之间的所述阻力建模,所述预测
器组件被配置基于所述阻力模型来计算指示所述阻力的所述值。

示例6:根据示例1-5中任一项所述的计算装置,所述预测器组件被配置为基于所
述构件是触笔而不是手指来预测所述构件的所述位置。

示例7:根据示例1-5中任一项所述的计算装置,所述预测器组件被配置为基于所
述构件是手指而不是触笔来预测所述构件的所述位置。

示例8:根据示例1-7中任一项所述的计算装置,其中所述预测器组件基于所述显
示器的帧率来选择要包括在所述多个帧中的多个帧。

示例9:根据示例1-8中任一项所述的计算装置,其中所述操作组件被配置为使得
所述帧被显示,使得所述计算装置的用户感知到正在实时检测到所述构件的位置。

示例10:根据示例1-9中任一项所述的计算装置,其中所述预测器组件被配置为基
于针对先前显示的显示帧的所述构件相对于所述显示器的位置、当所述构件在所述显示器
上移动时所述构件的估计速度、以及当所述构件在所述显示器上移动时在所述构件与所述
显示器之间的估计的阻力,来预测针对所述相应多个显示帧的所述构件相对于所述显示器
的所述位置。

示例11:根据示例1-10中任一项所述的计算装置,其中所述预测器组件被配置为
基于以下中的至少一个来预测所述位置:所述构件相对于所述显示器的边缘的位置;或由
所述计算装置执行的应用的标识。

示例12:根据示例1-11中任一项所述的计算装置,其中所述预测器组件被配置为
基于先前检测到的轨迹中的所述构件相对于所述显示器的位置来预测所述位置。

示例13:接收来自传感器的传感器数据,所述传感器数据指示构件在显示器上的
位置,所述构件与所述显示器接触;响应于接收所述传感器数据,针对要以一帧率显示在所
述显示器上的n个帧预测所述构件在所述显示器上的位置,n是大于零且小于一百的整数,
所述构件的所述位置基于所述传感器数据而被预测;以及以所述帧率在所述显示器上显示
所述n个帧,其中所述n个帧中的每个帧的内容基于所述位置中的相应位置。

示例14:根据示例13所述的方法,还包括:对于所述n个帧中的至少一个帧,估计所
述构件与所述显示器之间的物理阻力;以及基于在所述构件与所述显示器之间估计的所述
阻力,预测针对所述n个帧中的至少一个其他帧的所述构件的位置。

示例15:根据示例13-14中任一项所述的方法,其中以所述帧率在所述显示器上显
示所述n个帧包括在所述显示器上显示所述构件的轨迹,其中从用户的角度来看,所述轨迹
在所述显示器上实时地被描绘。

示例16:根据示例13-15中任一项所述的方法,还包括:接收所述构件在所述显示
器上的计算的坐标,所计算的坐标基于所述传感器数据;以及基于所述构件在所述显示器
上的所计算的坐标,预测针对所述n个帧的所述构件在所述显示器上的所述位置。

示例17:根据示例16所述的方法,其中预测所述位置包括:基于来自所述传感器的
所述传感器数据来估计所述构件相对于第一帧的轨线和速度;以及基于所述构件的所述轨
线和所述速度来估计针对所述n个帧中的至少一个帧的所述构件的位置。

示例18:根据示例13-16中任一项所述的方法,还包括:检测所述构件是触笔而不
是手指;以及基于检测到所述构件是所述触笔而不是所述手指来预测针对所述n帧的所述
触笔在所述显示器上的所述位置。

示例19:根据示例13-16中任一项所述的方法,还包括:检测所述构件是手指而不
是触笔;以及基于检测到所述构件是所述手指而不是所述触笔来预测针对所述n帧的所述
触笔在所述显示器上的所述位置。

示例20:一种计算装置,包括:显示器,其被配置为以一帧率显示帧;传感器,其被
配置为输出指示与所述显示器物理接触的构件的位置的信号;触摸控制器,其可操作地耦
合到所述传感器,所述触摸控制器被配置为对所述信号进行采样,并且还被配置为基于所
述信号的采样以一采样率输出坐标,当所述信号被采样时,所述坐标指示所述构件在所述
显示器上的位置;处理器,其可操作地耦合到所述触摸控制器,所述处理器被编程为:在所
述显示器上预测针对若干帧的要在所述显示器上显示的所述构件的位置;以及当基于针对
所述帧的所述构件的所述显示器上的预测位置来显示所述几个帧中的一个帧时,执行计算
操作。

示例21:一种计算系统,包括:用于接收来自传感器的传感器数据的装置,所述传
感器数据指示构件在显示器上的位置,所述构件与所述显示器接触;用于针对要以一帧率
显示在所述显示器上的n个帧预测所述构件在所述显示器上的位置的装置,n是大于零且小
于一百的整数,所述构件的所述位置基于所述传感器数据而被预测;以及用于以所述帧率
在所述显示器上显示所述n个帧的装置,其中所述n个帧中的每个帧的内容基于所述位置中
的相应位置。

现在参考图11,示出了可以根据本文公开的系统和方法使用的示例性计算设备
1100的高级图示。例如,计算设备1100可以用在预测针对多个帧的要在显示器上显示的构
件相对于显示器的位置的系统中。作为另一个示例,计算设备1100可以用于被配置为学习
预测器组件的系统中,该预测器组件被配置为预测针对多个帧的要在显示器上显示的构件
相对于显示器的位置。计算设备1100包括执行存储在存储器1104中的指令的至少一个处理
器1102。指令例如可以是用于实现被描述为由上述一个或多个组件执行的功能的指令或用
于实现上述方法中的一个或多个的指令。处理器1102可以通过系统总线1106访问存储器
1104。除了存储可执行指令之外,存储器1104还可以存储帧、预测位置、传感器数据、计算位
置(例如,由触摸控制器计算)等。

计算设备1100附加地包括可由处理器1102通过系统总线1106访问的数据存储装
置1108。数据存储装置1108可以包括可执行指令、原始传感器数据等。计算设备1100还包括
允许外部设备与计算设备1100通信的输入接口1110。例如,输入接口1110可以用于接收来
自外部计算机设备、来自用户等的指令。计算设备1100还包括将计算设备1100与一个或多
个外部设备对接的输出接口1112。例如,计算设备1100可以通过输出接口1112显示文本、图
像等。

设想经由输入接口1110和输出接口1112与计算设备1100通信的外部设备可以被
包括在提供用户可以与其交互的基本上任何类型的用户接口的环境中。用户接口类型的示
例包括图形用户接口、自然用户接口等。例如,图形用户接口可以接受来自使用诸如键盘、
鼠标、遥控器等的输入设备的用户的输入,并在诸如显示器之类的输出设备上提供输出。此
外,自然用户接口可以使得用户能够以不受诸如键盘、鼠标、遥控器等的输入设备强加的约
束的方式与计算设备1100交互。相反,自然用户接口可以依赖于语音识别、触摸和触笔辨
识、屏幕上和屏幕附近的姿势辨识、空气姿势、头部和眼睛跟踪、话音和语音、视觉、触摸、手
势、机器智能等。

另外,虽然被示为单个系统,但是应当理解,计算设备1100可以是分布式系统。因
此,例如,若干设备可以通过网络连接进行通信,并且可以共同地执行被描述为由计算设备
1100执行的任务。

本文所描述的各种功能可以以硬件、软件或其任何组合来实现。如果在软件中实
现,则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可
读介质传输。计算机可读介质包括计算机可读存储介质。计算机可读存储介质可以是可由
计算机访问的任何可用存储介质。作为示例而非限制,这样的计算机可读存储介质可以包
括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备,或可以用于
以指令或数据结构的形式携带或存储期望的程序代码,并且可由计算机访问。如本文所使
用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字通用光盘(DVD)、软盘和蓝光光盘
(BD),其中磁盘通常磁性地再现数据,并且盘通常通过激光以光学方式再现数据。此外,传
播的信号不包括在计算机可读存储介质的范围内。计算机可读介质还包括通信介质,其包
括有助于将计算机程序从一个地方传送到另一个地方的任何介质。例如,连接可以是通信
介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或诸如红外、无线电和
微波之类的无线技术从网站、服务器或其他远程源发送软件,则同轴电缆、光纤电缆、双绞
线、DSL或诸如红外、无线电和微波之类的无线技术包括在通信介质的定义中。上述的组合
也应包括在计算机可读介质的范围内。

可替代地或另外,可至少部分地通过一个或多个硬件逻辑组件来执行本文中功能
性描述的功能。例如但不限于,可以使用的硬件逻辑组件的说明性类型包括现场可编程门
阵列(FPGA)、程序特定集成电路(ASIC)、程序特定标准产品(ASSP)、系统级芯片系统(SOC)、
复杂可编程逻辑器件(CPLD)等。

上面描述的包括一个或多个实施例的示例。当然,为了描述上述方面的目的,不可
能描述上述设备或方法的每个可想到的修改和改变,但是本领域普通技术人员可以认识
到,各种方面的许多进一步的修改和置换是可能的。相应地,所描述的方面旨在包括落入所
附权利要求的精神和范围内的所有这样的改变、修改和变化。此外,在术语“包括”用于具体
实施方式或权利要求中的程度上,这种术语旨在以类似于术语“包括”的方式是包含性的,
因为“包含”在权利要求中被用作过渡词。

关 键 词:
模拟 触摸 显示器 实时 响应
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:模拟触摸显示器的实时响应性.pdf
链接地址:http://zh228.com/p-6059870.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');