-
摘要:针对汽车钣金零件表面缺陷检测问题,参考结构光三维成像原理,设计了以DLP投影仪和工业相机为主要工作部件的视觉检测装置,可在钣金表面投射等间距条纹并通过采集图像分析条纹边缘的间距和曲率变化识别表面缺陷。其主要结构特点是投影仪和相机方向相背布置,采用两组反射镜的反光进行图案投影和图像采集。在此结构基础之上,依据检测需求对条纹形式、颜色、反射镜与投影仪和相机镜头的夹角等主要的工作参数进行了试验优选,分别采用正交试验和二分法优选试验得到了最佳的投影图案形式和反射镜与镜头的最佳工作角度组合。为了实现钣金表面缺陷的准确定位,利用OpenCV软件库提供透视变换函数和相机标定函数对采集的图像进行了透视校正和实际坐标转换,使得图像满足了缺陷识别和定位的要求。该装置与现有技术相比,可以有效避免金属板表面纹理带来的缺陷识别干扰;与三维成像检测相比,可以快速地实现表面缺陷的检测和定位,节省了算力资源。
关键词:钣金;表面缺陷;视觉检测;结构设计;参数优选
0引言
汽车作为重要的工业产品,在国民经济生活中占有很高的地位。在汽车生产过程中有大量的零部件采用了冲压工艺,其中以“四门两盖”为代表的车身外覆盖件均为冲压钣金零件。该类型的零件由于生产工艺和材料等因素的影响往往会在其表面产生一些表面缺陷,例如凹凸点、划痕、缩颈、裂纹、起皱和双线等[1-4]。这些表面缺陷会对后续的生产环节和产品的质量产生严重的影响。目前机器视觉检测技术[5-7]是工业检测领域的热门技术。针对汽车钣金零件表面缺陷的检测方式主要有人工检测、视觉检测[8-12]和三维扫描[13-16]检测等。人工检测主要是采用推油石和条纹灯光下目视检测的方式实现的,过程费时费力,且长时间工作容易产生疲劳而造成误判,不利于产线的自动化。视觉检测和三维扫描检测都是利用光学原理的非接触式测量,检测结果稳定,可搭载工业机器人进行自动化检测,但是相较于视觉检测,三维扫描存在数据量大、处理效率低等问题,同时扫描过程需要借助标记点或固定支架等设备,不利于在生产线上使用。因此,开发一类高效稳定的视觉检测设备对于汽车钣金产品质量的提高和产线智能化水平的提升具有重要的意义。
汽车钣金零件的表面缺陷主要是由于冲压成型过程中局部受力不均引起的零件表面连续曲面上产生的不规则变形[2]。针对这一特点,受到结构光三维成像原理[17]的启发,本文提出采用等间距条纹投影和边缘检测的方法对钣金表面缺陷进行检测。通过调研发现,等间距条纹在连续曲面上的投影是均匀变化的,当受到局部不规则变形的影响时会产生相应的弯曲变化,利用图像处理对该部分条纹的弯曲和间距变化进行特征提取和量化分析可以有效地判断出零件表面是否存在相关的缺陷问题。
1结构设计
本文介绍的视觉检测装置结构如图1所示,主要由DLP数字投影仪、工业相机和两组金属镀膜反射镜组成。
根据前期调研结果,目前可以在钣金零件表面生成等间距条纹的设备主要有带栅格的同轴光源、带平行线光栅的激光发射器和DLP数字投影仪,先后采用以上3种设备进行了钣金零件投影和图像采集测试。经过测试发现,由于金属表面的反光特性,带栅格的同轴光源在钣金零件表面并不能很好地产生等间距的条纹,采集的图像中无法分辨暗条纹区域。装有平行线光栅的激光发射器所产生的平行激光线束太细,导致条纹间距过大,同时存在局部光斑,图像处理后无法有效识别缺陷区域。最终,选取了DLP数字投影仪作为光源进行钣金零件表面缺陷的检测。
如图2所示,检测装置中的投影仪和相机的镜头中心位于同一条直线上,镜头方向相反,分别通过位于各自镜头前的反射镜进行投影和图像采集。采用该结构布局的原因如下:前期的试验测试表明,若采用投影仪直投和相机直拍的方式,两者镜头的聚焦中心将产生交叠,会导致采集的图像中心区域存在过曝光的情况,即使调整相机曝光时间也无法避免这一情况,并且十分不利于图像的后期处理和缺陷的识别。而通过利用反射镜可以将投影仪镜头和相机镜头的聚焦中心点向外偏移,不使其重合,从而消除图像中心的高亮区,使得测试系统有效检测区域内的金属反光较为均匀,使其有利于缺陷的识别。
此外,为了方便检测头与工业机械手组合使用,采用了两组点激光发射器分别安装在相机和投影仪上方的外壳上,其中一组发射器光束方向与相机镜头垂直,另外一组发射器光束方向与前一组光束成一定夹角,两者交汇的点与垂直发射器末端距离为检测装置的有效工作距离,两组光束的夹角事先经过校准。当检测装置安装在机械手末端并随机械手移动时,可以根据光束是否相交于检测平面来判断检测装置与零件之间的高度是否能进行有效检测作业,检测装置的工作结构示意如图3所示。
2参数优化
在初步确定检测装置的功能结构之后,设计搭建了如图4所示的实验台架,并进行检测装置的结构调整和参数优化试验。
本文选取了常用于汽车钣金件制造的镀锌钢板为试验对象,从已成型的钣金零件中选取了带有冲压缺陷的部分,并将其分割成边长为200~300 mm大小的矩形测试样本,在缺陷区域外保留了大部分光整区域进行测试对比。
本文涉及的试验包括以下几项内容:(1)选取最佳的投影颜色和最佳的条纹形式;(2)选取单幅图像的条纹数;(3)选取两组反射镜与镜头平面的最佳角度。为此,分别设计了条纹颜色和条纹形式的正交试验,以及条纹数目的单因素试验和两组反射镜夹角的二分法优选试验,以图像质量和缺陷识别结果为指标进行了实验结果分析。
2.1条纹参数优选
如表1~2所示,在白色和红色的情况下由于金属板本身的反光特性使得图像存在大面积的高亮区域(单通道灰度值超过200的区域),导致处理结果很差,相比于红色和白色,蓝色的投影图案对金属反光比较不敏感,适合于钣金缺陷检测。此外,正弦条纹由于边缘是渐变的,没有清晰的边界,导致较小的缺陷无法被有效发现,因此选用了蓝色的方波型等间距条纹。正交试验拍摄结果如图5所示。
接着对条纹的密度和检测效果的关系进行了试验,本次实验为单因素试验,分别对3种不同条纹密度的图像进行了缺陷识别,结果如表3所示。
图6所示为不同条纹密度下缺陷样本的图像,经过测试发现当条纹密度达到一定程度后对检测效果的提升并无明显改善,考虑到硬件设备性能和条纹边界图像处理速度等因素,最终确定的单幅图像条纹数目为288条。
2.2反射镜角度优选
本次实验根据两组反射镜的位置进行模拟测试,在两组反射镜与投影仪和相机的镜头所在平面的角度变化范围内选取最佳的工作角度组合。由于试验范围较大,且无法确定有效的试验因素水平,因此无法用正交试验法进行参数优化,经过调研决定采用二分法优选参数组合[18],以拍摄图像的范围和条纹清晰度为指标进行目视评价测试。实验安排如下:首先选取角度范围中心点,接着在中心点两侧中心位置分别选取试验点,比较试验结果,淘汰试验结果较差的区域,缩小试验范围继续取点试验,之后不断重复该过程,最后确定最佳试验点组合。
如图7所示,经过12次试验(图中每条实线代表一次试验),最终确定了相机镜头与反射镜最佳角度为α,投影镜头与反射镜最佳角度为β。
3系统校正
3.1图像透视变换
由于视觉检测装置的图像拍摄采用反射镜投射的方式,这就导致相机拍摄的图像存在透视的问题,需要对其进行透视变换校准[19],已获取与水平方向平行的条纹图,从而保证检测的效果。透视变换采用了四点透视变换原理,在原图像的边缘提取4个顶坐标,并根据顶点坐标计算出新图像的4个点坐标,利用OpenCV提供的透视变换函数getPerspectiveTransform()进行求解得到透视变换矩阵,之后对图像进行变换得到校正后的图像,如图8所示。
透视变换后,通条算法检测出钣金缺陷的像素坐标,还需要利用逆透视变换获取实际成像系统中的像素坐标,计算公式如下:

式中:M为透视变换矩阵;[u,v,1]为透视变化后图像像素点的齐次坐标;[x,y,1]为原图像像素坐标对应的平面坐标;λ为平面坐标变换系数。
3.2实际坐标转换
为了获得钣金表面缺陷在样品上的实际位置坐标,需要对图像坐标进行坐标转换,其中关键是要对成像系统进行标定。如图9所示,此次标定的方法采用了张氏标定法[20],所用的棋盘格规格形式为12 mm×9 mm×30 mm,精度±0.005 mm。
利用OpenCV提供的标定函数calibrateCamera()进行了相机参数的标定计算。之后还需要将像素坐标转换为实际坐标,像素坐标点转换到世界坐标点的计算公式如下[21]:

式中:M为相机内参矩阵,通过张正友标定获得;R,t为相机外参矩阵,通过PNP估计获得;s为Z轴方向上的目标深度比例因子。
对于本系统,由于引入了反射镜导致相机镜头在X,Y方向上均不完全垂直于相机,从而引起了Z方向目标深度的变化,故需要引入校正系数k,则原公式改为:

该系数的初始值在棋盘格角点坐标和实际平面坐标进行转换时通过试凑法得到。从标定角点中选取16个点进行系数计算和回归拟合,数据如表4所示。之后还要利用拟合的函数计算出新的校正系数,并对标定的误差进行分析。利用Python语言的数学工具包Numpy所提供的统计分析函数对以上数据进行回归分析得出以下关系:

式中:a0,a1,a2和b0,b 1,b2为回归分析拟合系数;u,v为像素点的坐标值。
拟合分析曲线如图10所示。
之后利用拟合曲线关系计算出各点的校正系数,并对校正前后的坐标转换误差进行分析,结果如表5~6所示。由表分析可知在进行高度校正后,X轴坐标转换的误差平均值由17.65下降到-0.06,Y轴坐标转换的误差平均值由2.49下降到-0.01。坐标转换的平均误差下降幅度超过90%以上,满足了缺陷检测定位的需求。
4结束语
本文对钣金零件表面缺陷视觉检测装置的主体结构进行了设计,并对关键结构参数进行了试验优选。主要的设计结论如下。
(1)设计了利用DLP投影与工业相机为主要工作部件的钣金零件表面缺陷视觉检测装置,并确定了主要设备的型号和装置整体结构。
(2)根据图像采集和处理需求,提出了采用双反射镜组合的形式消除投影和相机聚光造成的零件图像高亮问题的解决方案和采用交叉激光束标记工作距离的方法。
(3)采用正交试验和二分法优选试验等试验方法确定了投影仪的工作参数和反射镜与镜头的夹角。其中,投影仪的投影图案为蓝色的方波型等间距条纹和单幅图像288条条纹的最佳条纹数目组合;相机镜头与反射镜最佳角度α和投影镜头与反射镜最佳角度β。
(4)对视觉系统进行了透视变换和相机标定,确定了图像检测结果与零件位置坐标的对应关系。由于采用了反射镜导致坐标转换存在误差,利用统计方法对误差进行了校准,引入了高度变化校正系数k,并通过回归分析给出了k与像素坐标值之间的函数关系。采用校正系数之后,极大地降低了坐标转换误差,满足了缺陷检测定位的需求。
(5)该装置与现有技术相比可以有效避免金属板表面纹理带来的缺陷识别干扰,同时与三维成像检测相比可以快速地实现表面缺陷的检测和定位,节省了算力资源。
参考文献:
[1]贺亮,李瑞杰,孙虎平.车身覆盖件表面缺陷数字化检测研究[J].模具工业,2019,45(1):66-70.
[2]吴红杰,王兴健,宋少清,等.车身外板件表面缺陷产生原因及解决措施[J].模具制造,2018,18(5):25-27.
[3]侯鸿佳,商英,胡建忠.汽车钣金表面质量缺陷追溯方法的探索[C]//四川省汽车工程学会第十六届汽车行业学术年会,2022:98-102.
[4]施雄飞.车身外板冲压缺陷[J].汽车与配件,2012(46):22-23.
[5]尹玲,叶正伟,陈新度,等.基于深度学习的曲面玻璃表面缺陷检测方法[J].机床与液压,2023,51(16):120-125.
[6]徐明升,祝俊辉,干家欣等.基于YOLOv5的钢材表面缺陷检测算法[J/OL].无线电工程:1-9[2023-09-26].
[7]覃云说.基于条纹质量图的轴承滚子表面缺陷检测技术研究[D].桂林:广西师范大学,2023.
[8]谢政峰,王玲,尹湘云,等.基于卷积神经网络的钣金件表面缺陷分类识别方法[J].计算机测量与控制,2020,28(6):187-190.
[9]Sheu R K,Chen L C,Pardeshi M S,et al.AI landing for sheetmetal-based drawer box defect detection using deep learning(ALDB-DL)[J].Processes,2021,9(5):768.
[10]王富春,张栩涛,梁云.基于工业视觉的汽车钣金件柔性检测系统设计[J].科技创新与应用,2023,13(6):9-12.
[11]李春,李琳,邹焱飚,等.基于机器视觉的钣金件缺陷在线检测算法[J].制造业自动化,2016,38(7):56-59.
[12]Gayubo F,Gonzalez J L,de la Fuente E,et al.On-line machine vision system for detect split defects in sheet-metal forming processes[C]//18th International Conference on Pattern Recognition(ICPR'06).IEEE,2006:723-726.
[13]唐敏,张祖勋,张剑清.工业钣金件视觉检测中的一种2D-3D自动定位算法[J].计算机工程与应用,2008(1):211-215.
[14]崔庆韬.基于三维激光点云数据的钣金件误差检测分析[J].信息通信,2019(2):64-67.
[15]黎国汉,李桑,蒲文伟.三维激光扫描技术在汽车钣金件测量中的应用[J].现代工业经济和信息化,2022,12(6):120-122.
[16]Jovancˇevic',Igor,Pham.3D Point Cloud Analysis for Detection and Characterization of Defects on Airplane Exterior Surface[J].Journal of Nondestructive Evaluation,2017,36(4):74.
[17]陈帅.基于结构光三维重建的砂纸表面缺陷检测[D].洛阳:河南工业大学,2023.
[18]张干清,龚宪生,沈杰,等.基于黄金分割二分法鞍点线抽样的可靠性分析[J].湖南大学学报(自然科学版),2012,39(11):52-57.
[19]李一航,周东兴,韩东升.一种基于透视变换的远距离双目测距方法[J].电子测量技术,2021,44(7):93-99.
[20]黄文文,彭小红,李丽圆,等.相机标定方法及进展研究综述[J].激光与光电子学进展,2023,60(16):9-19.
[21]娄群,吕钧潞,文立华,等.基于亚像素边缘检测的高精度相机标定方法[J].光学学报,2022,42(20):90-98.
后台-系统设置-扩展变量-手机广告位-内容正文底部 |
-
<< 上一篇
下一篇:没有了!