标定pr查询

.
智能制造及控制技术·刘小力田梦倩罗翔等机器人视觉伺服系统的图像处理和定垫机器人视觉伺服系统的图像处理和标定技术刘小力,田梦倩,罗翔,史金飞(东南大学机械工程系,江苏南京210096)摘要:针对机器人视觉伺服系统的特点,对适用的图像处理和标定方法做了研究和总结首先对图像处理的过程和主要方法进行了归纳,然后着重对系统标定的方法进行了阐述,并对典型的标定算法进行了分类和比较,最后对图像处理和标定方法进行了展望和总结.
关键词:视觉伺服;图像处理;系统标定中图分类号:TP242.
6文献标识码:A文章编号:1672—1616(2005)lO一0000—04视觉伺服不同于通常所说的机器视觉,视觉伺服是以实现对机器人的控制为目的而进行图像的自动获取与分析,是利用机器视觉的原理,从直接得到的图像反馈信色、中,快速进行图像处理,在尽量短的时间内给出反馈信号,构成机器人的位置闭环控制:正是由于系统以实现某种控制为目的,所以视觉伺服系统中的图像处理过程必须快速准确.
而把摄像机获得的图像平面坐标信息转化到机器人所在的坐标系,就需要准确的标定.
现在对图像处理和标定方法的研究方兴未艾,各种数学模型和算法也层出不穷,但到目前为止还没有普遍适用和有效的方法,需要根据具体的系统和要求,进行试验比较和选择.
本文主要针对机器人视觉伺服系统要求快速准确的特点,为了项目研究的需要,查阅大量文献著作和近年论文,对适用于视觉伺服系统的图像处理和标定方法进行了归纳总结和比较,并对该领域的发展进行了展望:l图像处理摄像机所获得的图像对于机器人视觉伺服系统而言,还仅仅是一个矩阵数组,视觉系统的目标是要从图像中得到有用的信息,例如目标的大小、位置、方向和速度等,这就要求对图像进行进一步的处理,包括图像的划分和特征的提取在图像采集的过程中,由于外界干扰和摄像机本身物理条件的影响,难免会引入噪声,为了更有效地获取有用信息,就有必要对图像进行滤波:对于动态连续采集的图像,为了减小系统响应时间和图像处理速度,就需要对图像进行预测在进行图像处理时,很少有只用某一种方法就能解决问题的情况,经常需要几种方法配合使用才行:本文从图像划分、图像滤波以及图像特征提取3个主要方面对图像处理的方法进行了阐述1.
1图像划分图像划分有2种方法:一种是基于区域的方法;另一种是基于边缘检测的轮廓方法.
基于区域的方法两个最基本的原则是数值相似性和空间接近性.
常用的方法有灰度阈值分割法和区域生长法.
灰度阈值分割法是一种最简单的基于区域的技术,这种方法是把每个像素的灰度值与一个阈值进行比较,根据它是否超过该阈值而将该像素归于两类中的一类_21,该方法的关键和难点是阈值的恰当选取.
区域生长法从若干种子点或种子区域出发,按照一定的生长准则,对领域像素点进行判别并连接,直到完成所有像素点的连接,主要有区域增长法和分裂一合并区域法,但由于区域生长技术计算复杂费时,而很少应用与对实时要求高的场合,只有当阈值分割或边缘检测技术无法产生满意的效果时,才考虑应用边缘检测算法是一种基于点相关的分割技术.
在一幅图像中,边缘有方向和幅度两个特性,垂直于边缘走向的灰度变化剧烈,边缘点的一阶微分幅度大,而且是二阶微分的零交叉点,因此利用梯度最大值或二阶导数过零提取边界点.
传统的边缘检测方法大都依据这种特征,如Roberts、~)bel以及Laplacian微分算子等.
目前在经典边缘算子基础上发展起来的边缘检测算子可以分为3大类:(1)最优算子是根据信噪比求得检测边缘的最优滤波器,一种是Marr和Hildreth提出的Ix算子方法,另一种方法是局部曲面最小二乘拟合法.
最优算子可以实现保留边缘细节又能抑制噪声,但忽略了实际图像中存在着多种干扰边缘,往往影响边缘的正确检测和定位.
(2)多尺度方法处理信号不仅能辨识出信号中的重要特征,而且能以不同细节程度来构造对信号的描述,在高层次视觉处理任务中有着重要的作用.
(3)自适应方法是利用一个通用算子对信号进行平滑,该算子能使其本身与信号的局部结构相适应,即锐化了边缘又使区域内部得到平滑.
1.
2图像滤波对于基于位置控制的视觉伺服系统,从二维图像平面提取得到三维的目标位置,必然是带有噪声的.
图像的噪声表现为图像上面出现各种形式的干扰斑点、条纹等,这些随机噪声把像素的真值隐蔽起来,严重影响对图像的处理和提取图像特征,所以系统必须对视觉处理后的信号进行数字滤波.
噪声的浓度与其四周像素的浓度间,存在着很大的浓度差,平滑化就是利用噪声的这种性质除去噪声的方法.
但因图像的边界部分也存在着收稿日期:2005~04—26资助项目:江苏省自然科学基金资助项目(BK2002405)作者简介:刘小力(1975一),男,湖北房县人,东南大学硕士研究生,主要研究方向为机电控制及自动化和机器人技术.
ll9http://www.
paper.
edu.
cn2005年l0月中国制造业信息化第34卷第lO期急剧变化的浓度差,所以将这类边界部分与噪声的部分恰当地分离开,只把噪声除去,是研究的重点.
移动平均法是最简单的噪声去除法,主要是冲淡了图像的浓度,从而看不到细小的噪声,但这样会把图像边界和噪声一起冲淡.
中值滤波是既可除去噪声又能保存图像边缘的十分优秀的方法.
此外还有去除二值图像噪声的膨胀、收缩处理方法和保持边的平滑化方法.
:消除噪声没有完美无缺的方法,只有尽力选择与目的相吻合的方法.
在确定采用何种方法前,应当实际试验几次观察效果如何,可能是捷径1.
3图像特征提取图像处理的首要任务是选取图像特征点,特征点应对物体运动后位置、姿态的变化具有敏感性一般取图像几何特征点的数目与机器人的自由度相同,也可选取更多的特征,即冗余特征:从控制的观点看,用冗余特征可抑制噪声影响,提高视觉伺服的性能:几何特征是局部特征,而其容易受光照、遮挡等情况的影响,因此选用全局图像特征,如傅立叶描述子、几何矩、光流等的方法6一,鲁棒性更好:基于位置的控制方式需要由图像处理环节给出目标的空问位置,最简单直接的方法是根据摄像机模型及与目标的投影变换关系求取基于图像的控制方式则需要根据所选的图像特征来构造图像雅可比矩阵,计算图像雅可比矩阵的方法有经验法、在线估计法和学习方法等一经验法主要通过标定和先验模型知识得到;在线估计法可以不进行标定,但存在雅可比矩阵的初值选择问题;学习方法主要有离线示教和神经网络方法等:2像机标定机器人手眼系统的标定包括机器人内部参数标定,摄像机内部参数标定以及机器人坐标系与摄像机坐标系(手眼)关系的标定.
机器人内部参数的标定主要指应用先进的测量手段和基于模型的识别方法辨识出机器人本体的主要参数,在这方面已有学者展开研究j:本文重点对后两方面展开论述.
在计算机视觉中,往往需要对物体进行定量分析或对物体完成精确定位的处理,解决这一问题就不仅要了解成像的模型,还需要知道模型中各种参数的精确值,确定这一参数值的过程包括摄像机内部参数标定和手眼关系的标定2一.
如图1所示图l小孔摄像机模型图中给出了一个典型的小孔摄像机模型示意图:l20XYZ为摄像机坐标系,01一∞,为图像平面坐标系,02一"为以像素点为单位的图像平面坐标系,()为光学中心,Z轴与光轴重合,在0一XYZ为摄像机坐标系下,0J坐标为(0,0,.
厂),_/'为摄像机的焦距,同时0在02一下的坐标为("【l'(】):设在摄像机坐标系下的任意一点,J的坐标为(x,y,Z),其投影在0.
一州下的坐标为(")根据小孔成像原理有:0H0ol0,10L001(XZl=//s=j,s式中,分别为像素的宽度和高度:,'.
fl称为摄像机的内参数,考虑畸变还包括透镜畸变系数从世界坐标系到摄像机坐标系有如下关系:]卜]]ll3,l=RI+IT、(2)LzJLz.
Ll:R=【【IⅡ.
.
snn一n(I【In0oos一nnlMn.
.
snnn+.
.
.
[Mnn(I+.
.
nlL—n0dn-J其中:R为旋转矩阵;,和分别是相应于R的用欧拉角表示]的侧倾角、俯仰角和旋转角;【T、.
1为从世界坐标系到摄像机坐lT:J标系之间的平移:手眼关系的标定是指机器人坐标系(世界坐标系)与摄像机坐标系之『日J位置关系的标定,手眼关系的标定就是为了确定式(2)中的平移丁和旋转变换矩阵R中的参数而手眼关系的标定依赖于机器人内部参数的标定和摄像机内部参数的标定,手眼关系标定的误差对整个系统模型的精度影响很大:许多学者对此做了大量的研究,比较典型的标定方法可以分为以下3类:a.
离线标定离线标定是最简单直接地对摄像机的标定方法,主要利用成像几何性质将需要标定参数分解,建立方程组,然后将离线测量一些特殊点的位置坐标和方向带入,反解出需要标定的参数.
文献[8]通过一个设计的标定工具空间位置和几何结构的特殊性测量计算实现标定;文献[9]仅测量一个点,利用一个已知几何参数的物体和扩展卡尔曼滤波器标定参数;文献[10]采用一种测量目标相对于相机的位置和姿态的封闭算法确定参数;文献[11]、[12]通过改变眼在手上系统摄像机的位置,分别确定一个恒定变换矩阵和恒定旋转矩阵来简化参数,从而实现标定.
但离线标定容易引入测量误差,受人为因素和环境稳定性影响较大.
b.
在线标定.
在线标定将标定技术与控制理论方法结合,形成自治系统,任何系统冲击、震动及外部干扰都被自动考虑,能很好地消除离线标定引入的一些误差,能够实时准确的标定参数,且具有较好的鲁棒性[1.
.
现在大部分方法都是将手眼标定关系代入动.
智能制造及控制技术·~lJ4,JJ田梦倩罗翔等机器人视觉伺服系统的图像处理和标定技术力学方程,求解逆动力学方程,然后采用一种控制理论(目前多采用自适应控制)对运动轨迹和目标进行控制,同时实现了参数在线确定或实时校准,完成了摄像机的标定,主要区别在于使用的控制理论算法不同:文献[13]在机器人工作平面垂直于图像平面轴线的情况下,利用自适应控制理论方法对单个摄像机视觉伺服系统进行标定;文献[14][15]利用自适应逆动力学控制来校正参数:还有部分在线标定方法是利用离线标定的结果,应用数学方法处理,以得到参数的最优解~文献[16]首先利用线性最小二乘法估计线性系统参数,然后利用两种可选方法对此参数矩阵优化,最后用优化方法得到非线性系统部分的参数;文献[17]利用实矩阵的单值性,基于一个耗散函数和最小化准则在线估计内部参数;文献[18]建立一种新的线性方程并进行数学分析,实现在线手眼标定:但是在线标定无法克服系统建模误差对系统控制所产生的影响:c.
无标定:基于克服系统建模误差的影响和实际摄像机参数标定的复杂性,许多学者提出了一系列的无标定的视觉伺服机器人控制方法:无标定的方法通常通过一些外部传感器获取位置或速度参数,或通过一些控制器估计和在线校准所需量,从而达到无标定或减少标定参数的目的,减少了标定参数和标定建模引入的误差:文献[19]无需事先对摄像机进行标定,应用自适应控制原理在线实时调整图像雅可比矩阵,提出一种基于方差最小化原理的无标定视觉伺服控制方法;文献[20]提出利用鲁棒控制器克服满足一定约束条件的未建模动态控制,利用白适应控制器在线对系统模型进行实时辨识;文献[21]对固定摄像机视觉伺服平面机器人考虑动力学因素,利用末端执行器和目标物体的图像位置差求得部分参数,从而实现控制;文献[7]在未标定手眼关系及摄像机模型的情况下,建立机器人三维视觉跟踪问题非线性视觉映射关系模型,据此没计基于人工神经网络的视觉跟踪控制器无标定的视觉伺服机器人控制方法从严格意义上讲也是一种在线标定的方法,通常也会与控制理论相结合,但它通过外部传感器获取变量值或应用控制算法动态估计雅可比矩阵,实现参数无标定或减少标定参数由于摄像机组装精度和器件光学特点,在成像中会产生视觉畸变,这对摄像机标定会产生误差,直接影响系统的控制精度:大部分标定的研究为了简化计算,部假没忽略畸变的影响.
但对有些系统,比如固定摄像机系统的边缘地区,畸变的影响会很大一些学者对此进行了研究,在标定中部分的考虑了畸变的影响一2ll:3结束语机器人视觉伺服是一个发展十分迅速且应用广泛的研究领域,其中,快速、准确地完成图像处理才能实现对机器人的运动控制,而系统的标定亦是保证处理精度的基础工作:图像分割是数字图像处理中的关键技术之一:图像分割是将图像中有意义的特征部分提取出来,其有意义的特征有图像中的边缘、区域等,这是进一步进行图像识别、分析和理解的基础:虽然目前已研究出不少边缘提取、区域分割的方法,但还没有一种普遍适用于各种图像的有效方法.
因此,对图像分割的研究还在不断深入之中,是目前图像处理中研究的热点图像描述是图像识别和理解的必要前提.
最简单的二值图像可采用其几何特性描述物体的特性,一般图像的描述方法采用二维形状描述,它有边界描述和区域描述两类方法.
对于特殊的纹理图像可采用二维纹理特征描述.
随着图像处理研究的深入发展,已经开始进行三维物体描述的研究,提出了体积描述、表面描述、广义圆柱体描述等方法:数字图像处理后的图像一般是给人观察和评价的,因此受人的因素影响较大.
由于人的视觉系统很复杂,受环境条件、视觉性能、人的情绪爱好以及知识状况影响很大,作为图像质量的评价还有待进一步深入的研究:另一方面,计算机视觉是模仿人的视觉,人的感知机理必然影响着计算机视觉的研究:例如,什么是感知的初始基元,基元是如何组成的,局部与全局感知的关系,优先敏感的结构、属性和时间特征等,这些都是心理学和神经心理学正在着力研究的课题.
在机器视觉的应用中,如基于地图生成的视觉、移动机器人的白定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的.
目前已经出现了一些自标定和免标定的方法,这些方法在比较灵活的同时,尚不成熟,难以获得可靠的结果通过摄像机的标定重建三维世界目标物体仍然是重要的方法:在机器人的视党应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于标定精度.
随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进参考文献:f1]贾云得,机器视觉fM],北京:科学出版社,2000.
[2]郑南宁.
计算机视觉与模式识别[M.
北京:国防工业出版社.
1998,[3井上诚喜,八木伸行,林正树.
c语言实用数字图像处理[M.
北京:科学出版社,2003.
14jWiLsonWJ,HullsC(、Williams.
Relativeend—eflectorcontrolusing('artesianpositionbasedvisualseer()ing[J.
IEEETransonRoboticsandAutomation,l996,l2(5):684—696.
15jHashimotK,NoritsuguTPerfonnaccandsensitivityinvisualservoinglAJ.
ProcIEEElnt.
Conf,onrot.
x~ticsandAutomationlCj.
Belgium,1998:23212326.
【6JAllenPK,TimcenkoA.
AutomatedtrackingandgraspingofamovingobjectwitharobotichandeyesystemIj].
1EEETransonRoboticsandAutomation,1993,9(2):I52~I65.
[7]潘且鲁,苏剑波,席裕庚.
跟在手上机器人手胀无标定三维视觉跟踪[J].
自动化学报,2002,28(3):371377.
18]刘振宇,陈英林,曲道奎,等.
机器人标定技术研究[J.
机器人,2002,24(5):447450I9』StringaElena,RegazzoniCarl()S.
ANovelCameraCalibrationAl—gorithmB~sedonKalnmnFilter【c].
IEEE,2000:872—875,[10张贞子,罗兵.
机器人视觉定位系统的研究与实现[J].
哈尔滨工业大学学报,1997,29(6):8589.
12l2005年l0月中国制造业信息化第34卷第l0期王敏,王万俊,黄心汉.
空间物体定位的机器人手~眼视觉标定方法fJ].
华中科技大学学报,2001,29(3):45—47熊春山,黄心汉,王敏.
手眼立体视觉的算法与实现[J:.
机器人,2001,23(2):113一l17BishopBradleyE,S!
.
xmgMarkW.
Adaptivecalibrationandcontrolof2Dmonocularvisualservesystems[J].
ControlEngineeringPractice,1999(7):423430.
BishopBrad,ShirkeyPaul,Sb~ngMarkW.
Anexperimentaltestbedforintelligentcontrol[A].
ProceedingsoftheAmericanControlConference[c].
Seatile,Washington,l995:13281332.
S!
xmgMarkW,OrtegaRomeo.
OnadaptiveinversedynamicscontrolofrigidrobotsEJ].
IEEEfran~ctionsonAutomaticCon—trol,1990,35(1):9295.
BacakogluHakeal,KamelMohamedS.
Athreestepcameracall—brationmethodlJJ.
IEEEFransactk)nsonInstrumentationandMeasurement,1997.
46(5):11651172.
ChesiGraziano,HashimotoKoichi.
Aselfcalibratingtechniqueforvisualmrvoing[A.
Proceedingsofthe4lstIEEEConference()nDecisionandControl[C],2002:28782883.
AndreffNicolas,HoraudRadu,EspiauBcmard.
OnlineHandEyeCalibrationlCJ.
项龙江,司秉玉,薛定宇,等.
模型无关的无定标视党伺服控N[J].
机器人,2003.
25(5):424427,苏剑波,席裕庚.
机器人/视觉系统非标定的平面运动跟踪fJ1.
SYSTEM'SENGINEERIN(ANDEIECTRONICS,l999,21(6):50—53KellyRafael,ShirkeyPaul,S!
xmgMarkW.
Fixed(ameravisu—alservecontrolforplanarrobots[A:.
Proceedingsofthe1996IEEElnternatlena[Q)nferenceonRot~)ticsandAutomationlC.
Minnea!
x~lis.
Minnesota,l996:2643—2649.
ImageProcessingandCalibrationofRobotVisualServoingSystemLIUXiao—li.
TIAMeng—qian,LUOXiang,SHIJinfei(&mtheastUniversity,JiangsuNanjing,210096,China)Abstract:Basedonthecharacteristicsofrobotvisualservoingsystemandstm~rnaryoftheimageprocessingandC&FIleracalibration,itdescribestheprocessandmethc*tofimageproce.
'Keywords:VisualServoing;ImageProcessing;CalibrationofSystem《数字化工》杂志是中国化工信息中心为响应政府"信息化带动工业化"的号召,于2003年1月推出的全国惟一一本报道石油和化工行业信息化的专业期刊,是石油和化工企业和IT服务商之间的沟通平台和桥梁.
办刊目的旨在推动石油和化工行业中各企业的信息化进程,向行业内的企事业单位介绍信息化方面的新思路、新观念和新技术.
服务于石油、石化、化工企业的生产、科研、管理和贸易的数字化、网络化及知识化,报道企业信息化建设的规划、实施及成功经验,帮助企业利用IT技术最大限度提升企业核心竞争力.
同时向IT企业介绍石油化工企业信息化的需求和市场趋势.
读者对象为政府部门主管、石油石化和化工企业的总经理、信息化决策主管、企业信息科技发展中心的负责人及项目技术人员、仪器仪表车间主任、IT服务厂商主管等.
主要栏目视点行业视角独家观点案例专注石化再现经典技术全线出击注重实践资讯整合信息解析数据《数字化工》为月刊(国内统一刊号:CN11—4897/F;国际刊号:ISSN16724968),全国统一发行.
每月25日出版.
每期订价24元,全年定价288元.
《数字化工》杂志社地址:北京安外小关街53号化信大厦B座8层(邮编100029)电话:010—64444014传真:010—64444440E—mail:szhg@chemit.
org.
Clq122l卜一11l,一2l—l一……