摘 要

随着中国制造2025重要战略布局的迅速推进，新一轮科技革命和产业革命加速孕育，智能制造在工业系统中的需求越来越多。在智能制造的需求的推动之下，机器视觉技术的应用越来越广泛。视觉伺服是机器视觉领域的研究热点，研究视觉伺服为智能制造的自主性、灵活性提供了依据。视觉伺服通过视觉系统自动接收物体的图像，通过图像定位、图像理解向机器人运动控制系统反馈目标或自身状态。

本文对视觉伺服的基本概念及发展过程进行了梳理，确定了视觉伺服的目标追踪系统的总体设计方案，自主搭建了一个视觉伺服的目标追踪系统，在此系统的情况下进行了摄像机的标定，设计了图像处理算法，研究了用Arduino控制步进电机驱动十字滑台运动的方法，通过对系统的多次实验和改进，形成了一套反应迅速、精度较高、性能稳定的目标追踪系统。

关键词：智能制造；视觉伺服；图像处理；运动控制；目标追踪

Abstract

With the rapid advancement of China's important strategic layout of manufacturing 2025, a new round of scientific and technological revolutions and an accelerated industrial revolution, the demand for intelligent manufacturing in industrial systems is increasing. Driven by the demand for intelligent manufacturing, the application of machine vision technology has become more and more widespread. Visual servoing is a research hotspot in the field of machine vision. Studying visual servoing provides the basis for the autonomy and flexibility of smart manufacturing. The visual servo automatically receives the image of the object through the vision system and feeds back the target or its own state to the robot motion control system through image positioning and image understanding.
  In this paper, the basic concepts and development process of visual servoing are combed, the overall design scheme of the visual servoing target tracking system is determined, and a visual servoing target tracking system is built independently. In this system, the camera calibration is performed. An image processing algorithm was designed. The method of controlling the cross-slide motion driven by a stepping motor using Arduino was studied. Through a series of experiments and improvements of the system, a set of target tracking system with rapid response, high accuracy, and stable performance was formed.

Key Words: intelligent manufacturing; visual servoing; image processing; motion control; target tracking

目 录

第1章 绪论 1

1.1课题研究背景及意义 1

1.2视觉伺服控制系统的综述 1

1.3视觉伺服控制系统的发展及现状 3

1.3.1 国外发展及现状 3

1.3.2 国内发展及现状 3

1.4 论文的主要内容 4

1.5本章小结 5

第2章 视觉伺服系统的设计 6

2.1系统的总体设计 6

2.2硬件选型 6

2.2.1摄像机的选择 7

2.2.2直线运动单元的选择 8

2.2.3步进电机和驱动器的选择 9

2.2.4控制模块的选择 9

2.2.5跟踪装置（激光笔）的选择 10

2.3软件平台设计 10

2.4 本章小结 11

第3章 视觉系统标定及图像处理 12

3.1图像采集 12

3.2图像处理 13

3.2.1图像增强 13

3.2.2图像分割 15

3.2.3形态学图像处理 16

3.2.4目标点提取 17

3.3视觉系统标定研究 18

3.4本章小结 20

第4章 基于LabVIEW和Arduino步进电机运动控制 21

4.1系统组成及原理 21

4.2 系统的硬件电路设计 21

4.3 系统的软件设计 22

4.3.1 LabVIEW的程序设计 22

4.3.2 Arduino IDE的程序设计 24

4.4本章小结 26

第5章 图像采集和运动控制的联调 27

5.1 搭建实验平台并进行实验 27

5.2 实验结果分析 28

5.3 本章小结 29

第6章 总结与展望 30

6.1总结 30

6.2展望 30

参考文献 32

附录 下位机程序全文 33

致 谢 41

第1章 绪论

1.1课题研究背景及意义

工业4.0战略的推出，在全球引发了新一轮的工业转型大潮，其旨在提升工业制造的智能化水平，建立起兼顾资源效率和自适应性及基因工程学的智慧型工厂。工业生产的数字化在工业4.0中具有重大意义。同时，中国制造2025提出了要大力地实施制造强国的战略，在提高制造业的自主创新能力、信息化程度和产业效益等的诉求之下，机器人技术的广泛应用得到了突破性的发展，这也对机器人的性能提出了更高的要求。在社会各产业的转型升级和迅速发展的洪流之中，研究机器人及相关技术至关重要。

随着实际生产对机器人的灵活性、自主性要求越来越高，机器人已不再停留在功能单一、局限性大的状态。视觉伺服通过视觉传感系统，赋予了机器人视觉的功能，让机器人拥有获取外界图像，从图像中获得信息的能力。视觉伺服将先进的图像算法和智能化控制技术相结合，可以实现视觉的目标准确识别、精准定位、运动控制，大幅度提高了工业设备的运动控制精度。视觉伺服在工业设备上的应用，具有很强的环境适应性和很高的智能化程度，解决了大量必需要人力操作才能实现的工作，以及操作环境恶劣的工作，同时比人力操作更具有稳定性和一致性。随着视觉伺服的不断发展，越来越具有普遍适应性的算法被开发出来，越来越丰富的成像方式在其中得到应用，越来越多种类的传感器与之相配合，视觉伺服的信息感知能力不断得到增强。视觉伺服已被广泛应用到工业产品自动化检测、精密仪器制造、智能视频监控、智能驾驶等多个领域，在提高我国智能化生产、精密化制造水平过程中起着重大作用。

1.2视觉伺服控制系统的综述

视觉伺服控制是利用摄像机等作为视觉传感器，得到图像信息，作为反馈信号传入计算机，计算机经过计算发出命令，控制机构运动完成伺服动作，以此形成了一个闭环反馈系统^[1]。视觉伺服结合图像处理、计算机视觉和控制理论等多项技术，通过赋予机器人视觉功能使其得到更智能和柔性的控制。可以从不同方面对视觉伺服系统进行多种分类，如下所示。

根据视觉反馈信号的差异，视觉伺服可分为定义在三维笛卡尔空间的基于位置的视觉伺服控制(PBVS)，和定义在二维图像特征的基于图像的视觉伺服控制(IBVS)^[2]。在基于位置的视觉伺服中，首先获取目标图像，通过算法对图像进行目标特征及其坐标的提取，再根据摄像机的标定信息，得到目标相对于执行机构的位置和姿态，最后通过控制策略计算得到执行机构的运动方向和控制量，完成轨迹跟踪。其控制结构图如图1.1所示。因此基于位置的视觉伺服方法，需要建立摄像机模型、执行机构模型，对摄像机、执行机构、目标之间的相对位置进行标定和校准，系统的控制精度受校准的误差影响较大。

图1.1 基于位置的视觉伺服控制结构图

基于图像的视觉伺服，在控制中将目标的图像特征反馈到系统中，计算当前图像特征和期望图像特征的误差，得到反馈控制误差，将此误差加入机器人的控制中，控制机器人的运动^[3]。其控制结构图如图1.2所示。基于图像的视觉伺服方法对系统的参数化模型的精度依赖性小，具有较强的鲁棒性，但此方法获得的图像是二维信息，图像特征是相机姿态的高度非线性函数，这使得此方法的控制成为具有挑战性的问题。

图1.2 基于图像的视觉伺服控制结构图

（2）按照视觉传感器相对于执行机构的位置，可划分为眼在手( eye in hand )和眼固定( eye to hand )两种模式。眼在手模式把视觉传感器安装在执行机构的末端适应性强，控制精度好，是目前应用比较广泛的模式。

（3）按照摄像机的数目的不同，可以分为单目、双目和多目视觉三种伺服系统^[4]。单目视觉是较为灵活的视觉方案，相对而言结构简单，双目和多目视觉能获取多方位多层次的视觉信息，但稳定性低，需要建立精确的摄像机模型。一般根据具体情况需要和成本要求选择摄像机的数目。

（4）根据视觉伺服系统控制中是否使用闭环的关节控制器，可分为look-and-move和direct visual servoing（直接视觉伺服）。前者在系统中增加了闭环关节控制器对系统进行闭环控制，后者直接接受视觉的反馈控制。

1.3视觉伺服控制系统的发展及现状

1.3.1 国外发展及现状

最早在1979年，视觉伺服（VisualServo）概念被提出，即可以将视觉信息用于连续反馈，提高视觉定位或追踪的精度^[5]。80年代的中期，计算机视觉快速发展，众多学者研究出了许多新算法、新方法。随着微处理器、半导体技术的进步，同时劳动力成本逐渐上升，对高质量产品的需求增加，国外的机器视觉在90年代步入高速发展期，广泛用于工业控制领域^[6]。

ABB公司研发的IRB360四轴并联的分拣机器人，利用Flex Picker视觉系统获取物体的位置信息，用真空吸盘从传送带上抓取移动的物体，放置到指定位置，速度可达每分钟做150次分拣。EPSON公司的N2机器人，是一款折叠手臂的六轴机器人，机身紧凑，能在狭小的空间内精确地完成细小的电子元器件的装配。研究人员将视觉伺服与其他新兴的技术相结合，得到了很多新的成果。比如阿根廷的Jorge A. Sarapura等提出了一种用于无人机进行监视和检查大面积作物区域的视觉伺服控制器，该控制器基于无源性开发，带有动态补偿功能，能在结构化的作物区域进行自主导航。以及澳大利亚的Quentin Bateux等人提出了一种基于深度神经网络的高精度的方法。对卷积神经网络进行微调以估计当前图像与期望图像之间的相对姿态，通过视觉伺服控制达到期望姿态。将该方法在6自由度机器人上进行验证，在场景不可知的情况进行训练，得到了较好的验证效果。

1.3.2 国内发展及现状

国内机器视觉起步相对较晚，真正开始起步是20世纪80年代，90年代进入发展期。中国作为全球的加工中心，国际上的高端制造业逐渐向中国迁移，随之而来的还有国际先进水平的机器视觉系统。如今，机器视觉在我国正处于发展的快速上升时期，机器视觉的应用，一方面替代人工视觉，另一方面用于提高生产的柔性和自动化程度。国内市场上机器视觉尚处于成长阶段，核心部件大多依赖进口，企业自身技术和创新能力有待提高，国内机器视觉从低端走向高端应用的诉求日益增加。国内的一些高校也相继推进了视觉伺服的研究，并获得了很多理论成果。但很多研究仅停留在理论阶段，尚未很好地应用到工业生产和实际应用中。

杨马英、葛轶众将BP神经网络用于多自由度机械臂控制问题，提出将控制系统分为全局神经网络与局部神经网络两部分，两部分组合形成对机械臂系统的控制。仲训杲、徐敏等研究了在未知相机标定模型、目标3D 模型环境下, 把雅可比求解问题转化为动态系统的状态估计,提出了网络补偿KF雅可比预测算法，用于提高雅可比实时预测的精确性和鲁棒性,改善了图像特征与机器人末端运动性能。陆雪强设计了在ROS环境下进行基于支持向量回归机的无标定视觉伺服控制器，减少了视觉伺服中摄像机标定的过程，使机器人的从二维的工作提高到三维中，提高了视觉伺服系统的稳定性和时效性。

1.4 论文的主要内容

本文搭建了一个视觉伺服的目标追踪系统，系统主要由USB摄像机、激光笔、XY直线运动单元、Arduino控制板组成。将摄像机和激光笔绑定，固定安装在XY直线运动单元上，形成一个单目的眼在手系统。通过摄像机获取视野内的图像，选择基于位置（PBVS）的视觉伺服控制，分析目标所在位置，将位置信息传递给Arduino，使用Arduino控制步进电机转动，使XY直线运动单元上的激光笔运动到对准目标。

在学习了大量国内外文献、书籍、资料，学习了MATLAB、LabVIEW等软件知识，学习了Arduino、步进电机等硬件使用方法之后，综合目标要求、现有的知识水平和各方面的条件，对目标追踪系统进行了设计，完成了实物的制作。

结合本文的研究内容，现对各章节做如下安排：

第二章进行了伺服系统工作平台的整体设计，确定了系统的工作流程和结构布置，完成了硬件的选型和软件开发环境的选择。

第三章建立了系统的参数化模型，完成了从图像获取到处理的过程，其中包括摄像机的标定，图像处理算法的设计，图像处理流程的确定等，实现了图像坐标和世界坐标的转换，完成了图像目标的识别和坐标提取。

第四章研究了视觉伺服系统的运动控制方法，实现了以LabVIEW为上位机，Arduino为下位机，用Arduino控制步进电机，完成对直线运动单元的控制。

第五章介绍了实验内容，进行了结果分析，搭建实物平台进行实验，记录实验过程及现象，对其进行分析。

第六章为总结和展望，总结了本论文的成果及出现的问题，展望了视觉伺服的目标追踪的发展趋势，最后为致谢和参考文献。

1.5本章小结

阐述了本文的研究背景和意义，介绍了视觉伺服的概念、基本分类和国内外发展现状，对本文的主要研究内容进行了介绍。

第2章 视觉伺服系统的设计

在本论文中，要实现视觉伺服系统自动控制激光笔追踪目标的操作，基于能达到的实验条件基础之上，对系统进行总体方案的设计，包括对系统的总体布局、工作流程、硬件设备和软件实现等进行合理的布置和选择。

2.1系统的总体设计

本论文所设计的视觉伺服的目标追踪系统主要由视觉分析模块和运动控制模块组成。视觉分析模块中包括摄像机和视觉图像软件处理两个部分，运动控制模块包括运动控制程序、软硬件通讯、Arduino控制、步进电机和直线运动单元四个部分。

系统工作时，在计算机的控制下运行LabVIEW程序，摄像机开始采集图像，接着对图像进行处理，获取目标位姿，结合标定结果算出执行单元的运动量，通过LabVIEW与Arduino的通讯将运动量信息传递给Arduino，Arduino运行其程序驱动步进电机转动，使摄像机-激光笔系统运动到指定位置。

图2.1 系统的工作流程和模块划分

2.2硬件选型

在本论文中，为了将研究的图像处理和运动控制的效果进行验证，为此视觉伺服的目标追踪系统投入实际应用提供借鉴，搭建了实验平台。一个稳定的实验平台不仅需要软件上的高效处理，更需要良好的硬件支持，硬件的选择对实验的效果有直接的影响。合理选择硬件能很好地实现系统的功能，同时降低成本。

2.2.1摄像机的选择

摄像机作为图像传感器在视觉伺服系统中主要用于采集图像，本系统采用眼在手的模式，需要一个灵活、简单的摄像机系统，采用单目系统虽不能获取多方位的视觉信息，但已能满足要求，且标定简单，稳定性好。所以本论文采用单目系统，只需一个摄像机即可。当前常用的图像传感器有CMOS和CCD两种，两种摄像机的各方面性能对比如表2.1所示。

表2.1 CMOS和CCD图像传感器对比表

综合上述对比，CMOS传感器传输速度高、成本低、功耗低，CCD传感器灵敏度、分辨率较高^[7]。由于本系统对的灵敏度和分辨率的要求不是特别高，我们选择了传感器为CMOS的T3200摄像头，其参数如表2.2所示。

表2.2 T3200摄像头参数表

2.2.2直线运动单元的选择

直线运动单元是视觉伺服系统的执行元件之一，负责将目标的坐标信息转化为摄像机-激光笔系统的运动，选择直线运动单元的主要考虑的技术指标有导轨行程、定位精度、重复定位精度等方面^[8]。

导轨行程：导轨行程决定了系统的追踪范围大小，但同时行程的加长会导致精度下降，由于本论文仅做实验验证，所以选择行程为300mm的导轨即可。

定位精度：是指在导轨上运动的运动件运动轨迹的准确程度。综合考虑实验要求和成本，选择定位精度为0.03mm的导轨。

重复精度：即重复定位精度，是从另一个角度衡量导轨精密度的指标，其要求比定位精度高。

综合上述要求，最终选择了CBX系列滚珠丝杆导轨，其各方面参数如表2.3所示。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：