网易私有云新增测试驱动力，Airtest-ocr文字识别点击真香！

原创 AirtestProject AirtestProject

👆对私有云感兴趣可以进入公众号回复“私有云”哦。

1. 前言

熟悉我们开源框架的朋友都知道，AirtestProject一直以来，都对外开源了2个自动化测试框架，Airtest和Poco，Airtest是基于图像识别原理的，Poco是基于控件识别原理的。

这2个自动化测试框架，大大降低了自动化测试的门槛，让自动化测试变得简单可行。但是几年的长期实践以来，我们也发现了这2个框架的一些局限性：

比如airtest图像识别的不准确性、airtest对于文字/数字场景识别效果差的问题 ；poco获取控件需要实现安装pocoservice.apk或者嵌入poco-SDK，poco目前不兼容最新的微信小程序（xweb页面）、H5页面等问题 ；

针对这些局限性，我们推出了一款新的工具库：Airtest-ocr。顾名思义，它是 基于OCR技术 的，能帮我们识别定位到页面上的所有文字，匹配到文字以后，就可以非常便捷地做一些我们期望的自动化测试工作了。

下文，我们将详细介绍网易推出的这个新的自动化测试框架。

2. Airtest-ocr简介

如上文所述，Airtest-ocr主要是依赖 OCR 技术，能识别出来屏幕中所有的文字，与脚本中的待操作文字匹配后，可以执行相应的一些点击、滑动操作等。

1）Airtest-ocr的识别效果

我们用几张图来展示下Airtest-ocr模型的识别效果：

可以看到，不论是对于 文本场景 还是 数字场景 ，Airtest-ocr的识别效果都非常不错。

2）Airtest-ocr的识别效率

Airtest-ocr 提供轻重两种模式，默认情况下，会使用轻量级模式。好处是运算速度快、算法模型小、消耗资源小，轻量级模式对 CPU 的压力要小很多，API 速度一般也能保证在2s内完成。

3）Airtest-ocr的API易于使用

为了减少新框架的学习成本，Airtest-ocr的脚本风格与Airtest保持一致，并且因为是文字识别的，所以脚本整体的可阅读性非常高：

# 点击某文字
ocr_touch("开始")
# 与 ocr_click("开始") 等价

# 双击某文字
ocr_double_click("开始")

# 某些情况下，文字处于按钮附近（比如按钮下方），使用offset设置点击偏移量
ocr_touch("开始", offset=(0, -20))
# 以“开始”文字的中心为起点， x轴不偏移，y轴向上偏移20个像素点
ocr_double_click("开始", offset=(0, -20))

# 指定高优先级区域 (version>=1.0.10)
ocr_touch("开始", location=(100, 100), threshold=0.98)
# 对于置信度高于0.98的多个 “开始”， 优先点击靠近 (100,100) 的

# ocr_swipe 与 swipe函数类似
ocr_swipe("生活", "学习")
# 从“生活”滑向“学习”
ocr_swipe("生活", vector=(0, 100))
# 从“生活”向下滑动100个像素
ocr_swipe((780, 1842), (780, 1000))
# 从坐标1滑向坐标2
......