触觉：在触摸屏上模拟触觉效果的视觉方法

1.简介

用触觉内容丰富触摸屏已经成为一个被称为“表面触觉”的活跃领域(Chubb等人，2010年). 已经提出了多种方法来使用专用的执行器来测量触觉屏幕，以提供各种触觉反馈。它们刺激手上的机械感受器，提供令人信服的触觉感觉，如可变摩擦(Levesque等人，2011年;Mullenbach等人，2012年)，浮雕图案(Winfield等人，2007年;Kim等人，2013年;Saga和Raskar，2013年)，或形状渲染(Jansen，2010年;Kim等人，2014;Sinclair等人，2014年;Hausberger等人，2017年). 然而，它们所涉及的定制硬件使它们难以分发。伪触觉反馈是一种替代方法，其基础是触觉感知可以被另一种模态（如视觉）扭曲甚至克服，因此不完全依赖于物理致动器(Lecuyer等人，2000年). 该领域的大多数贡献都依赖于显示一个改变了其空间特性的光标，该特性表达了模拟的触觉特征(Lécuyer，2009年). 例如，刚度、摩擦和质量以及表面曲率特征可以分别通过形状、速度和轨迹的变化来激发。伪手原理已被用于各种目的，如工业和医疗虚拟培训(Crison等人，2005年;Bibin等人，2008年;Li等人，2014年)，提高GUI性能(Baudisch等人，2005年;Mandryk等人，2005年)或令人信服的感知体验(Ujitoko等人，2015年).

一些作者也对触摸屏的伪手反馈进行了研究（参见第2.2节），但从未以共同本地化的方式进行过研究。Ujitoko等人（2015）强调了将伪手原理应用于触摸交互中的两个挑战：遮挡（手指触摸屏幕会隐藏光标）和解耦（改变光标速度会在某一点上破坏协同定位，从而产生错觉）。有趣的是，大多数作者保留了一个类似于计算机鼠标的光标，而没有真正讨论它的方面。

在本文中，我们介绍了“触觉”，这是一种新颖的交互隐喻，它通过改变光标与用户手指共同定位的运动或形状来表达各种触觉特征。Touchy能够通过七种伪手效应来激发潜在内容的各种纹理特性。每个效果都是从物理模型中获得灵感的，这些物理模型通过光标的振动、拉伸、膨胀和压缩来激发触觉特性，如粗糙度、刚度或摩擦。由于Touchy完全基于视觉和软件，因此它不需要任何机械执行器，这使得它可以轻松集成到任何带有触觉屏幕的设备上，尤其是与手持设备相关的设备。

在本文的剩余部分，我们将介绍纹理感知和伪手触摸屏增强的相关工作。然后，介绍了Touchy的概念，并详细介绍了七种伪手效应。本文介绍并讨论了两个心理物理实验，评估我们的效应诱导特定感觉的能力。最后，本文以一般性讨论和结束语结束。

2.相关工作

2.1. 纹理感知的理论背景

多项研究调查了真实和人工纹理感知的维度（有关综述，请参阅Okamoto等人，2013年). 如果它们在粗糙度和刚度这两个主要特征上大体一致（虽然定义是可变的），那么它们的其他结果是相当多样化的，没有强烈的矛盾。这可以用以下事实来解释：这些研究在刺激物选择、心理方法和数学方法方面差异很大(Wu等人，2015年).Bergmann Tiest和Kappers（2006）证明了如果许多研究都是以二维或三维模型结束的，那么它们只对非常有限的材料有效，并且需要更多的维度来描述真实世界纹理的多样性。Kajimoto等人（2004年）提出了一种基于手部四种机械感受器的分类方法：高频振动用于精细粗糙度，低频振动用于宏观粗糙度，总压力用于硬度，侧向力用于摩擦力。他们称之为“触觉原色”，以强调其与三维色彩分解的相似性。这一4维模型通过对Okamoto等人（2013）他综合了40多年的研究成果。这四种不同的机械刺激以互补的方式促进触觉感知，但要完全人工呈现它们是极具挑战性的。

由于有大量的专用致动器，触觉的大多数应用研究都集中在生产其中的一个或两个（关于表面触觉的综述，请参阅Chouvardas和Miliou，2005年). 然而，可以考虑正交方法：如果我们可以通过视觉效果产生丰富的触觉感觉，该怎么办？因此，伪手反馈(Lecuyer等人，2000年)是这种努力的好候选人。

2.2. 以前在伪智能方面的工作

伪手反馈最初是为了用被动触觉设备取代昂贵的触觉设备而开发的(Lecuyer等人，2000年). 第一个贡献主要依赖于修改鼠标光标的控制/显示比率，以产生穿过凹凸或洞的感觉。其他工作探索了其他触觉特性，如刚度的形状、摩擦或质量的速度、坡度的轨迹（有关综述，请参阅勒库耶，2009年). 例如，Lécuyer等人（2008）比较了修改鼠标光标大小或速度以模拟纹理浮雕的选择。

大约十年后，人们探索了其他方法，比如通过对被点击的图像进行局部变形来模拟刚度(Argelaguet Sanz等人，2013年)或按下(Punpongsanon等人，2015年).Fleureau等人（2016）将此技术应用于数字平板电脑，并附加音频反馈以模拟粗糙度。Nakakoji等人（2011年）提出了基于伪手原理的多种远程触觉交互。他们的界面分为两部分：一部分用于控制（主要是横向笔划），另一部分用于内容显示。Kokubun等人（2014）还通过单独的后部触摸界面解决了遮挡问题。Ujitoko等人（2015）建议滚动具有不同C/D比的背景图像以诱导各种滑动感觉。大多数现有方法都基于非同位交互（例如，用户通过鼠标启动光标）。唯一的例外是Ujitoko等人（2015）但只探讨了摩擦维度。

本工作的目标是提供一个统一的隐喻，能够在同一位置的设置（即触摸交互）中产生各种各样的伪手效果。

3.感人的隐喻

Touchy通过各种伪手效应（请参阅图1). 当用户触摸屏幕时，一个光标会出现在手指下方，并在触摸屏幕时跟随它，然后释放时消失。光标是一个大约比手指大两倍的白色圆圈。当手指悬停在具有触觉内容的区域时，光标的运动和形状会发生改变，以表达相关的触觉属性。例如，光标可能会根据粗糙度而振动，或根据粘性而变形（请参见图2A).

我们展示了七种不同的伪触觉效果，解决了五种触觉特性：硬度、（精细）粗糙度、浮雕、滑溜和粘性。

这五种触觉特性与四种“触觉原色”有关(Kajimoto等人，2004年)可以沿着相应的感知维度进行组织：硬度、精细粗糙度、宏观粗糙度和摩擦。有关这些感知维度的更多细节，我们请读者参阅Okamoto等人（2013）。

在下一节中，我们将根据其旨在刺激的感知维度描述我们的效果设计。

3.1. 硬度/柔软度尺寸

该尺寸与弹性、刚度、柔软度有关；也就是压力和变形之间的关系。然而，大多数触摸屏不提供压力输入Argelaguet Sanz等人（2013）建议使用简单的时间相关曲线作为可接受的近似值。模拟压力随时间增长，直到达到极限值，释放时以相同的方式降低。

3.1.1. 压缩效果

压缩效果（请参见图2B)依赖于时间曲线对压力曲线的这种替代。触摸时，光标出现并立即逐渐缩小到目标值。释放后，光标会恢复到消失前的初始大小。刚度由目标和初始光标大小之间的比率表示。

3.2. 摩擦尺寸

由提出的摩擦尺寸Okamoto等人（2013）主要与粘性/滑溜性和干燥/湿度有关，但也与粗糙度有关。理解摩擦现象的物理性质仍然是一个活跃的研究课题，因为它们的重要参数和非线性使其难以精确建模。然而，几个世纪以来，库仑定律等一些简单模型在机械工程中一直很有用。

3.2.1. 粘滞效应

棒效应（参见图2C)根据库仑定律模拟干摩擦。它再现了众所周知的粘滑现象的两种状态。在粘贴区域中，光标会拉伸，就像其一端固定在起始位置，而另一端跟随手指一样。当达到给定的变形量时，效果进入滑动区域，光标只跟随手指移动，没有任何变化。当手指速度下降到给定的阈值以下时，效果会切换回粘滞状态。粘性由粘附状态和滑动状态之间的变形极限表示。

3.2.2. 幻灯片效果

幻灯片效果（请参见图2D)模拟流体摩擦，并在手指和光标速度之间产生差异。只要手指接触，光标就会与手指的速度成比例地加速。它还通过与其速度相反且成比例的粘性力减速。滑动性由手指速度和光标加速度之间的C/D比表示。

为了处理解耦问题，只有当光标处于接触状态时，才用手指加速光标，这不会持续很长时间。一旦分开，手指就不再作用于光标。然而，一旦用户释放并再次触摸屏幕，光标就会回到他们的手指下。因此，脱钩的感觉仍然有限。

3.3. 精细粗糙度尺寸

精细粗糙度是指表面的高频几何特征，这些特征太小，无法通过静态接触感知。当敲击表面时，手指下方发生的振动是评估其精细粗糙度的最显著和有效的信息。众所周知，这些振动与用户的手指压力和速度有关，但只有速度响应才是感知现实所必需的(Culbertson和Kuchenbecker，2015年). 如果受撞击的材料具有空间周期，那么它显然支配着振动光谱，尽管相关的物理仍远未被详细了解(Janko等人，2016年).

因此，作为第一近似值，这些振动可以由振幅和/或频率根据手指速度进行调制的单频振动来表示。为了简单起见，我们选择用手指位移作为相位，乘以模拟粗糙度对应的波数。

3.3.1. 扩张和置换效应

扩张效应（参见图2F)将此振荡应用于光标的大小。当用户触摸屏幕时，光标的大小会摆动。

置换效果（请参见图2E)相反，将粗糙度振动应用于位置。将2D振荡偏移添加到光标位置，以在手指下方创建视觉振动。由以下人员提供：（f）:x个→ [sin（ωx个)，sin（0.8Ωx个)]其中x个∈ℝ 是指位移和ω∈ℝ 是波数（参见图2I).

3.4. 宏观粗糙度尺寸

宏观粗糙度与低频浮雕有关。我们使用地形图存储宏观粗糙度信息（请参见图3). 浮雕地图是一种单色图像，它为触觉纹理上的任何相对位置提供相应的浮雕高度。

3.4.1. 尺寸和包裹效果

尺寸效果（请参见图2G)通过按接触点上的浮雕高度比例放大和缩小光标大小来模拟简单的透视效果。

Encase效果（请参见图2H)相反，获取光标覆盖的区域，读取地形图中与整个区域相对应的值，并更改光标的3D形状以重现浮雕围绕手指位置。

4.用户研究

为了评估我们的伪手效应诱导清晰和特定触觉的能力，我们设计了两项用户研究。

第一个是为了验证我们的效果是否适合心理物理评估，也就是说，给定触觉特性的变化将被视为“整体强度”方面的可比较变化。第二个是详细调查了每个效果所诱发的定性感觉，通过与可复制触觉图中组织的真实材料样品进行比较。

14名无酬志愿者（4名女性，年龄28-55岁，平均41岁）参加了两项研究，这两项研究在约45分钟的单次试验中进行。除一名志愿者外，其余志愿者均为右手。根据《赫尔辛基宣言》，受试者在参与研究之前，会收到一份知情同意书，其中解释了研究程序，详细说明了保密程序，并说明了他们有权在不受影响的情况下随时退出研究。他们可以在签名和进入第一项研究之前自由提问并获得答案。由于这些研究是非侵入性的，国家指南不要求伦理委员会的正式批准。

4.1. 刺激

视觉内容对触觉评估有重要影响。为了研究Touchy独立于任何视觉内容传递触觉信息的能力，我们对虚拟样本使用了统一的灰度图像。

触觉效果的灵感来源于物理模型，该模型以一种特定的触觉特性作为输入：刚度、精细粗糙度、浮雕、粘性或滑溜性。为七种效应中的每一种定义了三个“水平”（L1、L2、L3条件），具有不同的模拟属性值（L1表示低值，L3表示高值）。这些值是主观选择的，以便容易区分这三个级别。21个虚拟样本显示在数字平板上，大小与触觉图上的真实样本相同（约5×5 cm）。对于“大小”和“包围”效果，三种不同的浮雕贴图具有2D正弦轮廓，如所示图3L1、L2和L3条件分别对应2.5、1.7和1.25 cm的空间周期。

4.2. 第一项研究：排序任务

4.2.1. 假设和目标

本研究旨在通过检验假设，确保每个效应的感知强度与我们设计的三个水平正相关上半年：第二语言的感知效果强度大于第一语言，第三语言的感知强度大于第二语言。

4.2.2. 程序

我们将虚拟样本按效果分组，组成七个试验，由随机排列的三个效果级别组成。在一次试验中，三个样品同时出现在一个数字平板上。受试者被邀请探索它们，然后他们必须根据强度对它们进行分类（参见图4). 受试者被邀请进行一个简单的动作（触摸、抚摸和释放约2秒），以探索虚拟样本，但其他情况下被允许自由活动。他们没有被明确告知效果的数量和呈现逻辑。

我们还预计，在第一次遇到这种效果时，会出现性能下降的学习效果。为了考虑到这一点，整个七项试验连续进行了两次，第一次被视为空白试验，以熟悉其效果。没有其他重复。

4.2.3. 结果

表1显示了排序任务中参与者的每个效果的混淆百分比。对于除大小以外的所有影响，在70%以上的试验中正确确定了顺序，这支持上半年。

对于所有影响，L1和L3之间几乎没有混淆（14%或更少）。将这些条件加在一起，Size的正确答案率为64.3%，Encase为78.6%，其他五种影响的正确答案高于85%。

4.2.4. 讨论

我们的结果支持上半年除了大小之外的所有影响，这意味着受试者能够将这三个水平视为三种心理物理强度，正如他们设计的那样。尽管受试者可以自由决定哪个刺激“最强”，哪个刺激“最弱”他们自发地选择了预期的顺序，超过了10的7倍。较差的表现是尺寸效应和包围效应，这可能与以下事实有关：与其他效应相比，它们的触觉特性存储在地图中。很可能是探索运动对他们来说太快或控制不够，因为他们没有其他五种不依赖地图而是依赖同质属性的影响那么显著。

4.3. 第二项研究：多维评级

4.3.1. 假设和目标

在第二个实验中，我们想研究每一种效应都会引起哪些精确的感觉。我们假设(氢气)每个效应都会引发一种特定的触觉感知，因此其强度变化（N，L1–L3）只会导致沿一个维度的感知差异。例如，压缩效果的强度增加主要是因为触觉柔软感增加，但摩擦感、精细粗糙度和宏观粗糙度相似。

触觉效果的定性评估可能难以设计。自发的词汇往往难以描述触觉，同一个词可以用来描述完全可区分的特征（例如平滑）。此外，两种伪手效应之间的直接比较是微妙的：区分两种视觉线索的能力可能对这两种效应提供的实际感觉信息不太丰富。因此，我们决定将我们的效果与真实材料进行比较，而不是与任何其他虚拟刺激进行比较。通过这样做，我们的研究重点是Touchy提供与真实纹理感觉相当的虚拟纹理的敏感信息的能力。

4.3.2. 触觉图

使用了第一次评估中描述的21个虚拟样本，以及一个没有影响的“中性”样本（N条件）：光标显示并跟随手指，没有任何特定变形或附加运动。

此外，我们构思了一个触觉图表（见图5)改编自TouchFeel Box¹，它提供了由触觉描述符组织的各种材料样本。该图表由四个描述符组成：

•摩擦：从滑（1）到粘（5）

•硬度：从软（1）到硬（5）

•精细粗糙度：从光滑（1）到粗糙（5）

•宏观粗糙度：从平坦（1）到凹凸不平（5）。

摩擦和硬度描述符直接取自Box（滑动和硬度描述符），因为它们与考虑的感知维度非常匹配。

然而，精细和宏观粗糙度描述符是定制的，因为框中最接近的描述符（粗糙度和深度）被发现是不均匀的，并且与文献中的通常定义相距太远。我们的精细粗糙度描述符由五块具有可变粒度（80、180、255、360、800）的砂纸组成。我们的宏观粗糙度描述符由四个3D绘制的2D-siusoid剖面组成，它们具有可变的空间周期（5、2.5、1.7、1.25 cm）和相等的最大斜率（即振幅与空间周期成反比）。此外，从盒子的另一个描述符（制动0）中提取了一个扁平样品，以获得从扁平到密集碰撞的五个样品。

4.3.3. 程序

虚拟样本的探索与第一次评估类似，只是一次只呈现一个虚拟样本。使用了22个不同的虚拟样本：七个效果中每个效果的三个级别，加上光标显示时没有任何伪手修改的控制条件N。实验包括22个样本中的两个随机区组：一个训练区和一个执行区。培训组让受试者熟悉程序；只考虑了执行块的答案。

受试者指出，对于触觉图的每个描述符，哪个描述符样本最接近效果。答案是强制性的，因此受试者必须给出四个答案（从1到5），然后才能进入下一个试验（参见图6).

4.3.4. 结果

答案分布如所示图7,8每个图都代表了针对特定效果给出的答案，沿着四个感知维度（从1到5）。在每个图上，沿四个感知维度添加了控制条件N的响应，以便于比较。值得注意的是，所有效应的控制条件都是相同的。

分别对七个效应和四个感知维度中的每一个进行统计分析，也就是说，分别进行了28次分析，以评估每个维度中每个效应的结果。在每一种情况下，将影响强度作为因素（四个水平：N、L1、L2、L3）进行非参数Friedman方差分析。如果发现水平之间存在显著差异，则在L1、L2和L3条件以及N和其他3种条件之间进行一组带有Holm-Bonferroni校正的配对Wilcoxon检验。结果总结如下表2。

对于压缩、滑动和大小效应，至少在L1和L3之间发现了显著差异，这是因为它们所涉及的感知维度，而只有这一个。这些结果支持氢气对于“棒”、“滑”和“大小”效应，在N条件和至少一个其他条件之间发现了显著差异，这是因为它们只处理了感知维度。这些结果也支持氢气，因为效果会引发正确的感觉，但它们反映出效果的强度范围与图表描述范围不匹配。

值得注意的是，对于压缩和滑动效果，平均值从L1减小到L3。这是预期的压缩效果模拟柔软度（与硬度相反）和滑动效果模拟滑性（与粘性相反）。

位移和膨胀效应在N和至少两种其他条件之间存在显著差异，但在宏观粗糙度方面，而不是在精细粗糙度方面。这些结果支持氢气并表明，这两种效果确实能够唤起缓解感，但感知频率低于预期，导致了定性判断的互换。

最后，Encase效应在条件之间没有显示出任何显著差异，尽管第页-除宏观粗糙度L1–L3外，所有条件下的值都非常高，这是预期的最有利比较。这些结果不支持氢气用于Encase效果。

4.3.5. 讨论

我们的结果表明，Touchy通过其各种效果，能够有效地引发不同的触觉。研究发现，压缩、粘滞、滑动和大小效应以显著的方式解决了目标感知维度的问题，而在其他维度上没有任何影响。

就滑动效应而言，L1下的平均粘性高于对照条件，而L2和L3下的平均粘度更低。这是意料之中的，因为用于加速光标的C/D比率对于L1低于1，对于L2和L3高于1。因此，与L1下的手指相比，光标速度减慢了，因此它被评为比控制条件“更粘滞”是有道理的。另一方面，光标的运动在L2和L3下加速，被评为“粘性较小”是有道理的。这些结果表明，我们的滑动效果能够模拟粘性和滑动之间的全范围。

位移和膨胀效应预计会产生精细的粗糙感，但它们被视为宏观粗糙效应。这可以用以下事实来解释：对于低水平的影响，对于缓慢的运动，振荡频率非常低。此外，振荡频率与冲程速度成正比，这对于低速来说是不现实的。在保持模型简单性的同时，振幅可以通过手指速度而不是频率进行调节，以获得更好的结果。我们相信，在这种情况下，对于位移和扩张效应，我们将在精细粗糙度方面取得显著的结果。

未发现Encase效应引起显著的感觉。这可以通过用作刺激的浮雕贴图来解释，这些贴图并不代表真实的纹理。应使用更逼真的地图（例如表示金属网格）进行额外的研究。

5.未来工作

5.1. 定量评估

除了在我们的用户研究中进行的定性评估外，我们的效果还可以进行定量检查。可以更深入地研究每个参数的作用，以确定其对触觉的确切影响。特别是，可以针对每个效应的每个参数研究阈值和公正的差异。假设每个效果都能够模拟一个特定的触觉特性，它涵盖的范围是什么？有多少不同的价值观可以被清晰地感知？我们计划在未来的研究中解决这些问题。

5.2. 精细粗糙度建模

精细粗糙度通常定义为通过冲程期间发生的振动所感知到的粗糙度。当被冲程材料具有主导空间频率时，振动频谱似乎集中在一种与空间主导频率和冲程速度相关的基频周围。功率谱密度也与冲程速度相关。因此，这种现象可以用只有两个自由度的单频振荡来近似：频率和振幅。位移和膨胀效应基于此简化模型。我们打算探索使用更复杂的模型，这可能会提高效果的质量，并特别引起精细的粗糙感。

5.3. 组合标注

探索Touchy的下一步是关联不同的效果，例如一个影响运动，另一个影响形状。是否可以同时独立处理两个不同的维度？如果同时使用两种不同的效果来处理相同的属性，那么感知结果是什么？这些令人兴奋的线索有待进一步研究。

5.4条。触觉数据库的使用

已有几个触觉数据库可用(Culbertson等人，2014年;Strese等人，2014年)具有多种纹理的振动记录。该数据可用于更复杂的精细粗糙度效果。数据库中提供的视觉也可用于研究视觉和伪手内容之间的相互作用以及感官冲突的结果。

6.结论

在本文中，我们提出了Touchy：一种新的触摸屏上伪手的交互隐喻，它解决了之前文献中发现的挑战。我们提出并实现了一组七种伪手效应，并进行了一项用户研究，以调查我们唤起特定触觉特征的能力或效果。除了一个效应外，所有效应都能引出一个特定的感知维度：硬度、摩擦或宏观粗糙度。出乎意料的是，这两种处理精细粗糙度的效果反而引发了宏观粗糙度。在未来的工作中，应研究几种效果的组合以及与视觉内容的交互作用。

道德声明

我们的研究中心还没有道德委员会，因此我们尽最大努力遵循道德原则，并使用初步表格确保参与者自由知情同意。在我们提出的两项研究中，参与者首先获得了知情同意书（如下所示补充资料)，解释了实验的原则和方案，明确表示他们的参与完全是自愿的，可以在没有任何理由的情况下随时退出，没有任何偏见。在签署表格并开始实验之前，他们有时间问自己有什么问题。这两项研究都是在操作触觉药片方面进行的，并没有带来特别的健康风险。敏感数据（年龄和性别）收集在单独的匿名文件中。收集的任务结果以匿名方式存储。

作者贡献

AC、AL和FA对该方法进行了概念化并设计了效果。AC完成了渲染，进行了研究，并起草了手稿。AC和FA分析了数据。所有作者都同意提交手稿的最终版本。

利益冲突声明

作者声明，该研究是在没有任何可能被解释为潜在利益冲突的商业或金融关系的情况下进行的。

补充材料

本文的补充材料可以在以下网站上找到：https://www.frontiersin.org/articles/10.3389/fict.2019.0001/full#补充-材料

脚注

工具书类