图像图像处理和文字识别技术在手机软件自动化测试系统中的应用.

TTL Te s t

泰尔测试C

MSTT J uly2009

· · · · · · · · · · · · · · · · · · · · · · · · · · · ·

图像处理和文字识别技术在手机软件自动化测试系统中的应用

刘岩工业和信息化部通信软件测评中心助理工程师薛涛工业和信息化部通信软件测评中心工程师李周工业和信息化部通信软件测评中心工程师张小英

工业和信息化部通信软件测评中心工程师

摘要主要研究了图像处理和文字识别技术在手

机软件自动化测试系统中的应用提出了针对手机屏幕图像的处理方法和图像中文字的识别方法。

关键字 图像处理文字识别手机软件 自动化测试

Abstract  This paper studies the issues about how to apply the image processingtechnology and optical character recognition to mobile phone software testing system,and presents an applicable method to process the image of mobile phone’s screen andreco gnize C hine se character.

Key Words:image proce ssing techno lo gy,optical character recognition,automatedtesting

实现手机软件测试系统的自动化需要测试系统能够

自动判别被测试手机的响应状态那么测试系统如何才能实现对被测试手机状态进行自动判别呢这里我们提出一种自动判别被测试手机状态的方法。

这种方法通过采集手机屏幕图像并对其进行数字图像处理和文字识别来判断被测试手机状态 即系统通过对手机屏幕图像某个位置上的图标或文字的判别获知手机当前所处状态。

1手机图像的处理

传统识别中扫描书籍图像都是白纸黑字的计算机可以很容易地识别出文字与背景而采集到的手机屏幕图像都是色彩丰富图文相间的所以与传统的识别相比在进行手机屏幕图像文字识别之前需要对手机屏幕图像进行数字图像处理 以提高识别正确率。

1.1图像格式转换

手机屏幕图像中的每一个像素在计算机中都是由24位二进制数表示的每个像素包含红、绿、蓝三个色彩分量每个分量由8位二进制数表示取值范围从

0255共256级分量值每个像素可以表示为RGB X Y Z 。我们采集的数字图像中像素的取值范围是整个RGB色彩空

50

2009年7月第7期现代电信科技

ODERN SCIENCE&TECHNOLOGY OF TELECOMMUNICATIONS

现代电信科技

M

· · · · · · · · · · · · · · · · · · · · · · · · · · · ·f x,y

Mfb a0

cd

Mgg x,y图1灰度图像分段线性变换

间从0 0 0到255 255 255共有16777216种颜色组合。

图像处理首先要做的就是在尽量不破坏图像中原始信息的前提下压缩图像中像素的取值范围把“真彩色”图像转换成位图图像。这里我们采用传统的“八叉树颜色量化算法”把图像中最有代表性的256个像素值选出来利用这256个像素值重新填充图像这样既转换了图像格式又没有破坏图像中原始显示信息。

1.2图像的灰度化

得到256色位图后我们再将每个像素值转化为灰度级值用得到的灰度级值再次重新填充图像就得到了需要的灰度图像。

灰度化处理的方法采用加权平均法,即将R、 G、 B各个分量值进行加权平均得到像素的灰度级值

灰度级值V=WRR+W GG+W B B

WR、WG、WB分别为R、 G、 B的权值通过设定不同的WR、W G、WB值加权平均后可以得到不同的灰度图像 因为人眼对绿色的敏感度最高对红色的敏感度次之对蓝色的敏感度最低所以通常的权值取法为

WB>WR>WG这样得到的比较合理的灰度图像通常的取值为WR0.30WB0.11WG0.59。

1.3图像二值化

根据灰度图像中每个像素的坐标值和灰度级值的对应关系一幅灰度图像可表示成二维函数形式如 f(x,y 〔x、 y为像素坐标值 f x,y 〕为该像素灰度值 。假定一幅灰度图像中像素的灰度级值的取值范围为0Mf 我们希望能够更加突出图像中的文字部分抑制那些我们并不感兴趣的灰度区域通常图像中的文字都为黑色在灰度图像中灰度值较小这里我们通过扩展灰度值范围在

0 a暗色区和bMf的亮色区压缩灰度值a b区间的范围使图像中的文字区域更加突出。我们采用分段线性变换的方法其数学原理表达式如下

二维坐标示意图如图1。

设定适当的折线拐点位置即a、 b、 c 、 d的值控制分段直线的斜率对灰度空间[0a]和[bMf]进行扩展对[ab]的灰度空间进行压缩。经过灰度调整后设定某个门限值灰度值大于门限值的像素点我们用255来代替表示为白色的点小于门限值的像素点用0代替表示为黑色。这样就得到了我们需要的二值图像。

1.4图像处理示意

整个图像处理过程的图像变化如图2所示。当然在实际的测试中很多时候并不需要对一幅完整的手机图像进行识别测试人员只需指定屏幕中的一小部分图像或文字进行识别。但是很多手机图像中的文字都是嵌套在色彩丰富的背景画面中如图2的例子 即使测试人员只需要识别“中国移动”四个字来判断手机是否回到待机画面指定区域后

的一小块图像仍然需要先进行数字图像处理。

2文字识别

近年来文字识别技术已经日趋成熟市场上也

(,

0(, (, [(, ](, [(, ](,Á

ÁcfxyfxyaadcgxyfxyacafxybbaMgdfxybdbfxyMMb????????????????????????

51

TTL Te s t

泰尔测试C

MSTT J uly2009

· · · · · · · · · · · · · · · · · · · · · · · · · · · ·

二值图像

灰度变换图像

手机原图像

图2图像处理示意图

Y

X

X2

X1

0Y 2

Y1图4列切分示意图

图3行切分示意

出现了很多文字识别产品现有的文字识别技术原理基本一致只是具体的实现方法和针对的识别对象有所不同。其中文字识别的主要技术包括单字提取、识别特征提取和字典生成等。

2.1单字提取

如何在待识别的图像中准确地切割出单个字的图像是文字识别首先要考虑的问题。通过对二值图像逐行扫描分析每行图像中黑白像素交替变化数来判断图像中文字所处的起始行坐标Y1和结束行坐标Y2这样切分出每一行文字图像。将得到的一行文字图像再次纵向逐列扫描 同样通过记录每一列上黑白像素交替变化数可判断图像中每个文字所处的起始纵标X1和结束纵坐标X2,知道了X1

Y1和X2 Y2我们就可以得到单个字的图像了图3图4 。

单字提取的难点在于汉字本身结构多样很多

左右结构的汉字如“北、川”等在切分时很容易被切

分成两个或三个单字图像加之汉字中可能混有字母及数字等这些都给准确提取单字图像造成了一定的困难。不过通常汉字图像的宽度和高度相差不到3个像素

这样我们通过比较汉字图像的宽度和高度结合具体识别算法经过多次切割和识别通常可以准确的切割出单个字图像。

2.2识别特征提取

由于提取单字图像时是根据整行字所在的行坐标Y1和Y2切取的图像 因此是按照该行文字中最高的汉字切得的这样得到的单个字图像汉字在图像中的位置可能偏上、可能居中、可能偏下如图5所示。

如果直接对单字图像进行识别可能会导致同一个汉字由于在图像中的位置不同而得到不同的识别结果。所以需要将单字图像归一化到一个统一行像素数和列像素数的标准大小的图像中过程如图6所示。

52

2009年7月第7期现代电信科技

ODERN SCIENCE&TECHNOLOGY OF TELECOMMUNICATIONS

现代电信科技

M

· · · · · · · · · · · · · · · · · · · · · · · · · · · ·

上接第31页

的网络秩序混乱现象将在移动互联网领域再度发生 因此对合法公正科学的监管呼声将日益强烈也同样会存在过度监督束缚业务多样性、影响用户体验的可能。因此如何建立良好的移动互联网秩序 已成为需提上日程的重要问题。操作过程中可参考日本成功经验考虑对网站进行分别管理与运营商合作的网站需在满足国家法规的同时满足运营商的业务要求而其他非运营商合作网站则可以在法律框架内自由发展业务。此举既可以保障用户对于内容和服务丰富性

的要求又可以通过国家立法与运营商管理对所有网站实现控制。

3.6探索更为成熟的商业模式

成功的业务是通过运作成功的商业模式实现的。移动互联网业务体系包括固定互联网的复制、移动通信业务的互联网化以及移动互联网创新业务三大部分。相应商业模式的建立也可以沿用业务体系的建设思路在分别延续传统互联网和移动通信业务的成功模式的基础上开拓创新寻找新的盈利支点。从国外经验来看与用户需求紧密贴合的移动搜索、 电子商务、 SNS、移动广告等业务将会成为未来盈利的源泉而效仿iPhone基于收入分成、市场排他的合作模式 以“业务+终端+服务”的一体化运作模式与产业链上下游展开合作运营是可以尝试的商业模式之

一。

经过归一化处理后可以确保每次识别同一个字的图像都是相同的。识别特征提取是通过对归一化后的单字图像进行多种方式的图片扫描统计出多个特征值这一组特征值即为该字图像的识别特征值组在字典库中寻找与该特征值组完全相同的特征值组并输出该特征值组所对应的汉字即为识别结果图7

 。 2.3字典生成

生成字典的过程就是文字识别系统的学习过程这是每个文字识别系统必要的训练过程。我们通过扫描标准字图像得到标准样本的特征值组然后再告知系统该标准样本的特征值组对应的具体汉字这样系统就可以把汉字与标准图像扫描特征值组一一对应。生成字典时提取标准字图像特征值组的方法和识别单字图像时提取特征值组的方法完全相同这里就不再赘述。

3结语

将图像处理和文字识别技术应用到手机软件自

动化测试系统的开发还有很多不成熟的地方。如

·对图像中的表格、横线、 Lo go等的识别和处

理

·文字识别算法的鲁棒性需要进一步提高 ·通常手机中的字体不是计算机标准的字体得到手机字体库较困难

·不同品牌手机字体也不尽相同测试不同手机

时总需重新训练识别系统。

如上所述将图像处理和文字识别应用到手机软件自动化系统中还有一些不足之处但是随着算法的进一步完善以及合理设定识别图像区域通过图像处理和文字识别实现手机软件测试系统的自动化测试是完全可行的。

图5单个汉字切分效果图

图6归一化过程

图7汉字特征提取示意