一体化多功能触摸定位传感器与人机交互

全身沉浸式体验是人机界面日益发展的趋势。人机界面管理信息系统是人与机器之间为完成既定任务而进行信息传递和交换的媒介。触摸定位传感器是一种重要的人机界面，它可以用于我们的身体与虚拟或现实世界之间的各种交互。随着人工智能的发展，基于人机界面的智能网络安全设计已经成为金融和计算行业的一个显著应用，这就需要触摸定位传感器与深度学习协同工作。对于触摸板来说，单点触摸输入可以实现简单的点击、滑动、拖动等控制，多点触摸输入可以实现图像缩放、对象控制等熟练的操作识别。触摸定位传感器从结构简单的单一功能发展到高分辨率阵列结构的多功能。目前，作为虚拟现实、增强现实和元宇宙的电子可编程交互平台的触摸定位传感器，受到功能有限、不稳定、信号干扰和电极数量多的复杂结构的限制。

An All-In-One Multifunctional Touch Sensor with Carbon-Based Gradient Resistance Elements

Chao Wei, Wansheng Lin, Shaofeng Liang, Mengjiao Chen, Yuanjin Zheng, Xinqin Liao*, Zhong Chen*

Nano-Micro Letters (2022)14: 131

https://doi.org/10.1007/s40820-022-00875-9

1. 设计了一种只需要两个电极的多点触摸定位传感器，器件能对物体进行多种功能控制，具有零串扰、长期耐用、响应快、稳定性高和出色的时空动态分辨等特性。

3.基于深度学习算法与触摸定位传感器，构建了一种人工智能增强的用户验证系统，能够识别、学习和记忆用户不同触摸特征，为以触摸特征识别为基础的个性化人物识别系统提供样本。

厦门大学电子科学与技术学院陈忠/廖新勤团队联合新加坡南洋理工大学Yuanjin Zheng教授提出并证明了一种一体化多功能触摸定位传感器(AIOM触摸定位传感器)，该传感器仅具有两个电极，可用于多种人机交互系统。AIOM触摸定位传感器采用了一种被称为梯度电阻元件的新型功能结构，可以同时对多个触摸位置进行准确的检测和识别，为人工智能辅助人机交互提供了多种可能性和高实用性。图形化的功能敏感材料可以用于构建用户自定义的多点触摸定位传感器，器件具有零串扰、长期耐用、响应快、稳定性高和出色的时空动态分辨等特性。AIOM触摸定位传感器凭借其独特的多点触摸传感结构和响应特性，可实现多种VA/AR应用，包括自由弹奏钢琴和通过编程控制无人机，可有效地将一个或多个动态触摸转换为设定的指令。基于AIOM触摸定位传感器和深度学习算法的增强用户验证系统，能够识别、学习和记忆人机交互中固有的用户行为特征。这项工作不仅展示了推动传感器领域突破性发展的新战略，而且提供了一种科学和技术上可行的思维方式，以构建高效和多功能的触摸定位传感器，这些探索将有利于VR、AR和元宇宙时代的发展。

AIOM触摸定位传感器的工作机制受到生物感觉神经系统功能的启发。在生物学上，多次指尖触碰皮肤层，相当于多次外部机械刺激，会被多个机械受体转化为短暂的受体电位，如Meissner小体(MC)、Ruffini小体(RC)、Merkel盘(MD)、Pacinian小体(PC)。受体电位产生生物突触，释放神经递质，诱导神经元效应靶细胞产生突触后电位。随后，突触后电位沿着神经纤维和脊髓传递到大脑。最后，大脑将接收到的信号解码进行分析和判断，并对这些信号做出反馈动作，如促进运动神经元对骨骼肌进行神经支配进行运动。在这个生物感觉神经系统中，有几个核心组成部分，包括将外界机械刺激转化为受体电位的机械受体、诱导突触后电位的生物突触、融合并将突触后电位传递到中枢神经系统的神经纤维及分析、判断和决策的大脑。同样，普通的触摸传感系统也由许多部件组成，包括许多敏感单元、相应的大量电极、信号转换单元阵列等，来实现多点触摸的感知、转换、传输和识别功能。这种结构的器件受限于功能有限、信号易串扰、元件与电极数量多、结构复杂等。本文提出了梯度电阻元件的结构用于构建触摸定位传感器，证明了一种只需要两个电极的多点触摸定位传感器，而不需要M×N×2 或者 M + N个电极。通过巧妙的设计，器件能对物体进行多种功能控制。这种方法消除了信号串扰，防止了电极线之间的干扰，大大降低了人机交互系统的配置要求。

图1. (a) AIOM触摸定位传感器及其人机交互概念应用示意图(左)，与人类感觉系统对比(右)；(b) 和(c) 图为AIOM触摸定位传感器在0、1、2机械刺激下的工作机理和相应的等效电路；(d-f) 图为坐标纸、石墨膜和银导电膜的FESEM图像和EDS光谱。

IV 圆形AIOM触摸定位传感器用于无人机控制

要控制无人机的9个飞行动作，通常要求设备将9个分布式传感元件与大量电极集成在一起。但这种方式有可能产生设计空间不足、生产周期长、信号处理复杂等问题。由于制造工艺的可扩展性和设计原理的通用性，作者们设计了圆形AIOM触摸定位传感器，以用于可编程的无人机控制。圆形AIOM触摸定位传感器由两个电极、五个梯度电阻元件组成。作为一种概念证明，圆形AIOM触摸定位传感器可以附着在手背上以控制无人机。当对圆形AIOM触摸定位传感器的触摸区域进行一点或两点接触时，器件会快速产生响应信号。通过设计，只包含5个活动触摸按钮的圆形触摸定位传感器就可以操作无人机的9个飞行动作。需要注意的是，这个器件还可根据需要，开发出更多的触摸组合，进而实现无人机多样化的可编程动作控制。圆形AIOM触摸定位传感器简单的结构和功能的通用性，有效避免了传统器件复杂的互联线路结构，消除了信号传输的串扰。

图4. (a) 一种基于圆形AIOM触摸定位传感器的可穿戴控制面板，该面板具有5个工作点，可控制无人机的9个飞行动作。左下:圆形AIOM触摸定位传感器结构的俯视图；(b) 圆形AIOM触摸定位传感器对单点触摸和组合式触摸的典型响应电阻及其对应的控制命令；(c) 与无人机控制命令相关的圆形AIOM触摸定位传感器上触摸组合照片；(d)基于圆形AIOM触摸定位传感器单点触控和组合式触控无人机飞行动作的典型照片。

V 基于S形AIOM触摸定位传感器的深度感知学习在人物识别中的应用

在增强用户验证系统中，生物识别技术越来越多地应用于网络安全和计算机用户隐私中。敲击动力学是一种重要的生物识别技术。其主要通过不同的触摸特征来捕捉用户的个人行为数据，包括触摸位置、持续时间和触摸间隔。作者们设计并构建了S形AIOM触摸定位传感器，用于用户识别与验证的智能键盘。基于S形AIOM触摸定位传感器，作者们提出了一种人工神经网络辅助的生物识别技术。在实验中，三个用户输入了相同的字符串。由于个人习惯的不同，每个用户的按键动态信息是不同的。通过将人工智能算法与S形AIOM触摸定位传感器相结合，用户访问控制系统能够有效地学习、适应和识别用户按键行为特征信息，并对用户进行识别与认证。

图5. (a) 基于S形AIOM触摸定位传感器的智能键盘原理图及其在用户识别和验证的应用示意图；(b) 3个用户通过S形AIOM触摸定位传感器输入相同密码的照片，通过基于动态行为特征的ANN算法可以对每个用户进行准确识别和验证。