MSDS：一个用于笔迹认证的大规模中文签名和令牌数字串数据集

手写笔迹认证是一种广泛使用的身份认证方式。根据笔迹数据的获取方式，可以将笔迹分为联机和脱机模态。以往研究中普遍使用的笔迹是手写签名，近年来关于联机签名认证的研究飞速发展。但是，当前的研究使用的签名数据集大部分都不是中文的，而是英文、德文、阿拉伯文等。目前最大的西文签名数据集DeepSignDB [1]拥有来自1526个书写者的约70000个签名样本，但公开的联机中文签名数据集规模非常小（最多只有50个用户 [2]），远小于西文数据集。目前中文签名认证的发展严重受限于数据集的大小，仍有较大的发展空间。

与手写签名类似，手写数字也具有丰富的手写特征。但是当前用于身份认证的手写数字数据集基本只采集了单个数字，没有考虑连续数字串，因此无法利用连续数字串中的连笔信息；极少数研究会考虑拼接单个数字来合成数字串，但是这种不自然的拼接无法代替自然手写的数字串，会导致手写特征的丢失。人们在日常生活中经常手写数字串，比如手机号码、银行卡号等等，它们具有唯一性和独特性。作者将这些数字串定义为令牌数字串Token Digit String (TDS)。令牌数字串具有丰富而独特的手写特征，有很大的潜力作为一种新的手写笔迹认证媒介。由于当前没有令牌数字串数据，需要一个新的数据集来进行深入探索。

为了解决中文签名数据集数据量小的问题，同时探索令牌数字串的效果，作者提出了MSDS数据集，其中包含两个子集：MSDS-ChS和MSDS-TDS。MSDS-ChS由手写中文签名组成，MSDS-TDS由手写令牌数字串组成，两者均包含来自相同的402个书写者的各20个真实/熟练伪造样本。该数据集有以下特点：（1）MSDS-ChS是当前最大的公开联机中文签名数据集，其大小至少是之前公开数据集的八倍；（2）MSDS-TDS是第一个大规模令牌数字串数据集，目的在于探索一种新的、更有效的生物识别技术以用于身份认证；（3）MSDS考虑了相同用户的笔迹的跨时段变化性。每个用户的数据都在两个分隔的时段进行采集，两次采集的时间点必须大于21天。这样的考虑模拟了现实世界中的笔迹认证场景，可以对数据集的有效性做出更全面的评估。

MSDS数据集的两个子集以相同的方式建立。作者使用了两种Android平板作为数据采集设备，并开发了一个专用的Android App，界面如图1所示。用户在界面的书写区域根据提示进行书写。App会自动记录动态笔迹的x、y坐标，压力和时间戳并保存为时间序列，并将实时渲染出的笔迹保存为静态笔迹图（.png图片）。作者提供了联机模态的时间序列和脱机模态的渲染图片数据。

图1 数据采集App界面

在采集书写者的笔迹数据之前，我们与每一位书写者签署了一份版权协议，签署协议表明书写者同意数据采集，并授权给我们使用其笔迹进行非商业性学术研究。书写者来自全国各地，其中60.2%是男性，39.8%是女性。

总共有402位书写者在两个独立的阶段进行数据采集，两个阶段的时间间隔至少为21天。在每个采集阶段，每个书写者根据以下流程进行数据采集：10个真实签名→10个真实手机号→10个伪造签名→10个伪造手机号。书写者书写的手机号码可以不是当前使用的手机号，只要对该号码十分熟悉即可。在进行伪造时，书写者随机模仿另一个人的笔迹，通过观察书写时的录屏和反复练习达到良好的伪造质量，其中模仿者和被模仿者具有不重复的一一对应关系。两轮数据采集结束后，每个书写者都贡献了20个真实/伪造的签名和手机号码。作者在提供数据时，将中文签名和手机号的书写者顺序分别打乱，因此两个子集的书写者顺序不对应。

作者在表1中总结了MSDS的细节，并在表2和表3中分别将MSDS数据集与现有的中文签名数据集和数字数据集进行比较。

表2 与现有的中文签名数据集的比较

作者使用多个前沿的签名认证方法在MSDS数据集进行实验，实验指标为在全局阈值和局部阈值情况下的等错误率(EER%)，以EER全局/EER局部的形式给出。作者设置了详细的实验协议，详情请参阅原文。

作者首先分别在MSDS-ChS和MSDS-TDS上分别实验，实验结果如表4和表5所示。

表4 中文签名数据的认证结果，在MSDS-ChS中的测试集上测试

表5 令牌数字串数据的认证结果，在MSDS-TDS中的测试集上测试

作者有以下几个主要发现：

• 跨时段的性能下降。表4和表5的1&2指使用两轮采集的数据进行实验（记为跨时段，其余记为单时段），可以看出模型在跨时段的数据下性能明显变差，这是由于同一书写者的笔迹在经过21天的间隔后可能会产生较大的变化，使得类内差异增加，给认证带来更大的难度。这说明跨时段的笔迹变化是一个很重要的因素，现实中的认证系统应当加以考虑。

• 不同数据的性能。可以发现，所有模型在MSDS-TDS上比MSDS-ChS表现得更好。这两个子集采集时的设置和书写者都是相同的，只有内容不同，这说明令牌数字串是一种比中文签名更好的笔迹认证特征。作者认为原因可能有两方面：（1）由于更稀疏的空间结构，令牌数字串中的手写特征比中文签名更加容易被模型学习到；（2）令牌数字串包含更多的个人书写模式，在实际中比中文签名更加难模仿，导致真实和伪造的令牌数字串更容易被模型区分。这说明，在高精度场景下更推荐使用令牌数字串（如手机号，银行卡号等经常书写的、独特的号码串）来代替中文签名进行身份认证。

• 认证失败样本分析。作者分析了错误接受和错误拒绝的样本，举例如图2所示。错误接受样本一般是高质量的熟练伪造样本；错误拒绝样本一般是由于两次采集的间隔导致同一个人的笔迹发生较大变化，虽然该样本是同一书写者的笔迹，但是被错判为伪造样本。

图2 认证失败的样本

作者将联机和脱机模态的数据进行融合，证明了融合两种模态的数据可以降低身份认证的等错误率，如表6所示。

表6 融合联机和脱机模态数据的实验结果

如表7所示，作者在MSDS-ChS和DeepSignDB[1]数据集上进行跨数据集验证，说明了建立一个大规模中文签名数据集的必要性，也证明增加用户数量有助于降低身份认证的等错误率。

论文地址：https://arxiv.org/abs/2210.08836

[1]. Tolosana, Ruben, et al. "DeepSign: Deep On-Line Signature Verification." IEEE Transactions on Biometrics, Behavior, and Identity Science 3.2 (2021): 229-239.

[2]. Lu, Xinyi, et al. "SCUT-MMSIG: A Multimodal Online Signature Database." Chinese Conference on Biometric Recognition. Springer, Cham, 2017.

[3]. Jiajia Jiang, Songxuan Lai, Lianwen Jin, and Yecheng Zhu. DsDTW: Local Representation Learning with Deep Soft-DTW for Dynamic Signature Verification. IEEE Transactions on Information Forensics and Security, 17:2198–2212, 2022.

原文作者: Peirong Zhang, Jiajia Jiang, Yuliang Liu, Lianwen Jin*

撰稿：张沛荣

编排：高 学

审校：连宙辉

发布：金连文 

免责声明：（1）本文仅代表撰稿者观点，撰稿者不一定是原文作者，其个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。（2）本文观点不代表本公众号立场。

• [ECCV2022] LevOCR:一种基于视觉语言Transformer的可解释性文字识别方法(已开源)
  

• [ECCV 2022] Levenshtein OCR（已开源）
  

• 论文推荐|[TMM 2022]基于切分的手写中文文本识别：一种无需切分标注的方法
  

• [ECCV 2022 oral]|Language Matters：面向场景文字检测和端到端识别的弱监督的视觉-语言预训练方法
  

• [ACM MM 2022] DiT: 基于Transformer的文档图像自监督预训练方法
  

• [IJCAI 2022] C3-STISR: 基于三重线索引导的场景文本图像超分辨率方法（有源码）
  

• [CVPR 2022]基于语法感知网络的手写数学公式识别（已开源）
  

• [ACM MM 2022] 解耦检测与识别：单阶段自依赖场景文本识别器
  

• [ECCV 2022] CoMER: 基于Transformer与覆盖注意力机制建模的手写数学公式识别（已开源）
  

• [ECCV 2022] 场景文字端到端识别中的全局到局部注意
  

欢迎加入中国图象图形学学会!（附入会攻略）

扫码关注，获取最新OCR资讯