论文总字数：32530字

摘 要

图形用户界面（Graphical User Interface，GUI）是目前人机交互系统采取的主要手段，是提高使用机器的工作效率、改善操作人员工作环境的有效方法。而近年来人工智能相关技术的普及与应用，也带给了GUI开发领域新的视角与思路。

经过课题调研，目前GUI的开发（即设计、实现与评价）过程中存在大量的重复劳动，增加了开发人员的负担。如何通过人工智能相关技术，自动化地完成GUI的设计、实现与评价，成为了摆在研究人员面前的重要问题。其中，通过检测GUI中各元素的图像边缘信息，并在此基础上获取各元素的布局信息，是GUI设计、实现与评价中的关键基础。

GUI图像与自然图像不同，有着明显的计算机图像特征,其处理方式也与自然图像存在较大差别。在本课题中，首先针对Sobel算子、Prewitt算子、Canny算子等经典的普适边缘检测算子进行了代码实现，并进行了深入分析和比较。针对各边缘检测算子在GUI图像上存在的不足之处，基于GUI图像的特征进行了相应优化，得到了良好的边缘检测效果。

在得到边缘信息的基础上，本课题更进一步，基于OpenCV针对GUI设计评价中常见的四种控件设计了检测算法。通过本算法，可以精确检测出控件的数量、类型、位置、大小等GUI布局信息，为GUI自动化开发研究打下了良好的基础。

关键词：图形用户界面，图像处理，边缘检测，控件识别

Abstract

GUI (Graphical User Interface) currently is the major methodology for human computer interaction, since it drastically raises the efficiency to work with machine and improves the working environment as well. The new currency of artificial intelligence brings us new mindset and vision about developing GUIs.

However, there is such massive of redundancy remained in the development of GUI about designing, implementation and evaluation that it is now urgent for researchers to make these tasks done automatically. Among the different stages of automatic GUI developing, first and foremost work on the list is to get information of edges in GUI images in a suitable and clean manner, and base on this, it is crucial and significant to obtain accurate information about the arrangement of GUI component, which will be the key basis of automatic development of GUI.

Differing from natural images, a GUI image has obvious hand-craft feature as a kind of computer image. Thus, in this work a special optimization has been done for GUI image target on the shortage of general edge-detection operator, after comprehensive experiments and evaluations about applying three typical edge-detection operators on GUI images. And it turns out that this optimization does work.

Based on the preceding edge information, I took a further step to design algorithms to detect four typical GUI components with OpenCV library, and eventually got accurate information of theirs amount, type, position and size, which would be key basis for automatic designing and evaluation of GUI.

KEY WORDS: graphical user interface, image processing, edge detection,

GUI component recognition.

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 研究背景与意义 1

1.2 国内外研究现状 3

1.2.1 GUI的传统开发方法 3

1.2.2 GUI的自动化设计、实现与评价 3

1.3 研究内容与目的 4

1.3.1 研究步骤 4

1.3.2 研究难点 6

第二章 复杂信息系统GUI的特点及处理方法 7

2.1复杂信息系统GUI图像的特点 7

2.2 GUI图像处理常用方法 8

2.2.1 经典边缘检测算子 8

2.2.2 基于深度学习的图像信息发掘 10

2.3 GUI布局检测常用方法 12

2.3.1 基于预定义模式的特征提取 12

2.3.2 基于深度学习的端到端检测方法 13

2.4 本章小结 13

第三章 环境搭建和软件框架 14

3.1 硬件环境与操作系统 14

3.2 OpenCV图像处理库 14

3.3 OpenMP多线程库 16

3.4 本章小结 17

第四章 基于边缘检测算子的GUI图像边缘分析 18

4.1 Gauss模糊的实现与测评 18

4.1.1 Gauss算子原理和相应实现方法 18

4.1.2 Gauss模糊在GUI图像中的表现 20

4.2 Prewitt边缘检测的实现与测评 21

4.2.1 Prewitt算子原理和相应实现方法 21

4.2.2 Prewitt边缘检测在GUI图像中的表现 21

4.3 Sobel边缘检测的实现、测评与改进 23

4.3.1 Sobel算子原理和相应改进方法 23

4.3.2 Sobel边缘检测在GUI图像中的表现 23

4.4 Canny边缘检测的实现、测评与改进 24

4.4.1 Canny算子原理和相应改进方法 24

4.4.2 Canny边缘检测在GUI图像中的表现 26

4.5 图像卷积处理的多线程优化与加速 28

4.6 本章小结 29

第五章 基于图像边缘信息的布局信息提炼 30

5.1 图像闭合轮廓的检测 30

5.1.1 基于Hough变换的圆与线检测 30

5.1.2 二值图像拓扑模型的轮廓检测 32

5.2 图像闭合轮廓的误检测和重检测的消除 35

5.2.1 误检测和重检测的来源分析 35

5.2.2 检测结果的归一化与误检测判断 35

5.3 从图像轮廓信息中提取控件类型信息 37

5.4 本章小结 39

第六章 结论 40

参考文献 41

致 谢 43

第一章 绪论

研究背景与意义

GUI（Graphical User Interface，图形用户界面）是目前人机交互系统采取的主要手段，是提高使用机器的工作效率，改善操作人员工作环境的有效方法，在新时代人工智能潮流中扮演着关键角色。在80年代之前，全命令行交互的DOS操作系统占市场主导地位，正是Windows系统的横空出世，给所有计算机使用者打开了新的大门，从此GUI交互方式一直是人机交互系统的主流。直到现在，微软公司也凭借基于GUI的Windows系统（如图1.1）成为世界巨头公司。

剩余内容已隐藏，请支付后下载全文，论文总字数：32530字