人脸照片素描生成研究

论文总字数：22884字

摘 要

本文主采用机器学习中的决策树学习法先对训练集中的所有样本照片小块进行学习，找到分类的标准，构建合适的决策树。再对测试照片以同样方式分块，小块通过学习对应位置的决策树找到训练样本中该位置上与自己最相似的小块作为最终选择。构建决策树时考虑以下几个特征：平均亮度、对比度和结构相似度对训练集中的照片和测试照片进行分类。平均亮度即所有像素灰度的平均值，对比度采用图像所有像素灰度的标准差作为度量，结构相似性采用测试照片与训练集中照片的每个像素灰度差的绝对值之和作为度量。

针对结果出现的块效应和模糊效应，再对合成的素描进行美化，先根据图像不同的区域信息特征进行分块，分为平坦区域，纹理区域和强边缘区域，不同区域在美化处理的过程中要有不同的操作。对合成的最终结果，再设定一些评价标准：素描与照片的结构相似性、块效应和模糊效应，结构相似性通过计算素描与照片的线性相关系数来评价，块效应强弱通过计算合成的素描中水平和垂直边缘能量占据所有边缘的能量之比来评价，而模糊效应则通过计算合成素描的梯度与原照片的梯度比较来评价。

关键词：素描生成，机器学习，决策树，图像处理

Face Photo-Sketch Synthesis

Abstract

This paper takes the decision tree learning method of the machine learning theory. First, all patches of the training photos are learned to search for a proper classification and construct the proper decision tree. Then, the test photo is divided into patches in the same way. Patches learn the decision tree to search for the most similar patch from the same position of all the training photos, which is set as the final choice. The following attributes are taken into account when constructing the decision tree: average grey level, contrast level and structure similarity. All training photos and test photos are classified according to these attributes. The average grey level is the mean of the grey level of all pixels. The contrast level is represented by the standard deviation of the grey level of all pixels. And the structure similarity is represented by the sum of absolute grey level difference of every pixel.

Then aiming at the mosaic effect and this paper improve the synthesized sketch. First, according to the feature of certain region, the test photo is segmented into flat region, texture region and strong edge region. Different regions are handled differently when beautify. At last, the paper sets some criterion to evaluate the final result, including the structural similarity between sketch and photo, mosaic effect and blurring effect. The structural similarity is measured by the linear correlation coefficient between the sketch and the photo. The mosaic effect is measured by the ratio of the sum of the horizontal edge power and vertical edge power and the total edge power. And the blurring effect is measured by the sum of the gradient.

KEYWORDS: sketch synthesis, machine learning, decision tree learning, image processing

摘要 ……………………………………………………………………………………… Ⅰ

Abstract ………………………………………………………………………………… Ⅱ

1. 绪论 ……………………………………………………………………………1

1.1 引言 ………………………………………………………………………1

1.2 人脸素描合成技术的研究现状…………………………………………………2

1.3 本文的研究目的和研究内容………………………………………………………2

1. 素描生成算法………………………………………………………………………4

2.1 决策树学习法………………………………………………………………………4

2.1.1决策树的表示………………………………………………………………4

2.1.2适合用决策树学习法的问题…………………………………………………4

2.2 基本的决策树学习算法……………………………………………………………5

2.3合成素描的决策树学习法…………………………………………………………6

2.4 合成结果……………………………………………………………………………8

1. 合成素描的改善 …………………………………………………………………11

3.1人类视觉系统的特性…………………………………………………………11

3.2 数字图像处理方法……………………………………………………………14

3.2.1图像边缘检测算法………………………………………………………14

3.2.2图像锐化算法……………………………………………………………16

3.3合成素描的美化处理…………………………………………………………18

3.3.1块效应的消除……………………………………………………………18

3.3.2模糊效应的消除…………………………………………………………21

3.4合成素描改良结果……………………………………………………………22

1. 素描质量评价算法………………………………………………………………24

4.1 有参考的图像质量评价算法………………………………………………24

4.2 无参考的图像质量评价算法……………………………………………24

4.2.1块效应的度量……………………………………………………………24

4.2.1块效应的度量……………………………………………………………25

4.3 合成素描图像质量评价……………………………………………………26

4.3评价结果…………………………………………………………………26

结论 …………………………………………………………………………………28

致谢 …………………………………………………………………………………29

参考文献（References） ……………………………………………………………30

第一章 绪论

1.1引言

随着社会的发展，科技的进步，安全问题被给予了越来越多的重视，基于各种生物特征的身份认证技术都有各自适合的应用领域，如人脸、指纹、声音、DNA、笔迹、虹膜等，都是识别人类个体身份的重要特征。相比较而言，人脸这种最古老普遍的方式依然有着不可否认的优越性，它更加直接、易获取。而随着计算机科学的发展，基于人脸的身份识别已逐渐由人工完成过渡到通过计算机来实现。基于人脸的身份识别需要依赖于人脸与身份对应的数据库，而人脸信息通常在数据库中都是以照片的形式存在，然而一些情况下面部的照片无法获得而只能得到素描画像，那么如果要进行身份识别就需要将素描转化为照片或者照片转化为素描。

人脸照片合成相应素描在执法过程中有着重要的地位。嫌疑犯的外貌特征是警方破案的关键，从警方的面部照片数据库自动的获取疑犯的照片可以帮助警方很快地缩小潜在疑犯的范围。而通常情况嫌疑犯的照片是不可得的，只能通过目击证人的描述绘制素描头像。如果可以利用素描头像从数据库中提取出相似的罪犯照片，警方不仅可以初步确定可能的嫌疑犯，还能够将照片反馈给目击证人，进一步修改以得到更准确的素描头像。而素描与照片的匹配很难在两种形式下进行，人脸照片素描生成技术就为这个问题提供了解决方案。由于照片是通过物理的手段获得，而素描的创作融入了大量复杂的心理和生理元素，因此人脸素描的识别比起普通人脸照片的识别要难的多。在两种形式上匹配照片和素描是很困难的。解决这个问题的一种方式是现将照片转化为素描然后将待查询的素描与同一形式的合成的素描相配对，或者首先将待查询的素描转化为一幅照片然后再讲合成的照片与库中真的照片进行匹配。人脸素描或者照片的合成不仅仅帮助人脸素描的识别，也在娱乐、教育等方面有很多其他用途。

画家有着捕捉人类面部最细微特征再将其表现于素描作品中的美妙能力。虽然素描和照片在风格和表现上很不同，我们通常可以很容易从一个人的素描认出他。如何用电脑把照片合成为人脸素描是一个有趣的问题。创作素描的心理活动是很难用规则和语法来精确描述的[1]。素描和照片的区别主要存在于两个方面：纹理和形状。如果试图将人类绘画素描时的每一个过程通过算法来实现将需要极大的空间和时间复杂度，并且结果也会显得不真实，而近几年很多研究者都通过机器学习的方法来寻求这一类问题的解答。

1.2人脸照片素描合成技术的研究现状

近几年一些基于电脑的人脸照片合成素描技术被提出,但是他们中的大部分都是得到一种线条画的结果。【1】，【2】，【4】都是针对面部形状的提取和处理，得到的结果也是线条画。这几项研究都是使用人脸定位算法中的ASM或者AAM模型来提取面部形状。心理学的研究表明，人类在识别线条画的速度和准确度上不比识别灰度图差。从人脸灰度图像中提取出来线条画在不同光照条件下和不同姿态情况下都有非常出色的表现，但是它在大表情的情况下识别效果不好，且相比于素描，这种画法可以体现形状却无法传递阴影部分明暗的信息。

后期Tang等【5】对明暗信息作了处理，得到的素描具备了明暗的对比，与手绘的素描更加接近，该研究对整张脸采用特征转化法。特征脸（PCA）是将高维的图像空间经过变化得到由新的正交基，扩张的低维线性空间，人脸在这个低维空间的投影被当作特征矢量。这个图像是基于灰度图像统计特性的。【6】进一步并将形状和明暗信息分别进行了特征转化，再将二者融合。但是该算法只在两个条件满足时才有较好的效果：

1）目标人脸照片可以从训练样本中被较好地重建；

2）照片素描转化过程大致是线性的；

而结果发现当头发被包含时，该算法通常无法得到较好的结果。

Liu等【7】采用了一种非线性的算法LGP，对图像分块并在局部小块上使用特征转化法。虽然非线性的算法更加符合手绘素描的真实情况，但是由于只是针对各个局部小块进行处理，没有对更大面积得到的结果不能很好的体现整体的形状。

【8】采用多尺度马尔可夫随机域模型建模，置信传播算法对模型求解。使用马尔可夫随机场模型在不同尺度合成局部的脸部结构。这需要一个包含照片素描对的训练集。我们假设被研究的脸都是正向的，有正常的光照和中性的表情并且没有咬牙。我们以局部的小块为目标，它们在结构上更简单，而非直接学习估计起来很复杂的整个脸部结构。脸部区域被分为相互重叠的小块。在合成素描的过程中，对待合成的人脸上的一小块，我们在训练集中找一个相似的照片块并用它相对应的素描块去近似要合成的素描块。潜在的假设是如果两个照片块相似，那么他们的素描块也应该相似。另外，我们有一个平滑性的要求是合成素描中临近的小块也应该较好的匹配。小块的大小决定了能够被学习的面部结构的尺寸。我们使用一个多尺度马尔可夫随机场模型来在不同尺度学习脸部结构。这样，不同区域和尺度的局部小块就可以被联合的学习MRF模型被提出后广泛应用于图像去噪，图像分割，纹理合成领域。Tang等假设若两个照片块相似，那么相应的素描块之间也存在相似的关系，并要求一个素描块与周围的素描块在重合位置能很好地拼接。那么基于这两点一个分割后的素描小块只与相应位置的照片块和周围的素描块有关系，与其他块的值没有关系，这样的该简化后的问题便可以由MRF模型较好地表示。但是该模型在考虑某个素描块与其周围素描块的关系时只考虑了重合部分的匹配程度，而忽略了手绘素描过程中每个局部的绘画都需要在明暗和形状上参照整体，因此作者采用了改进的MRF模型来更好地对该问题建模。然而由于【8】只是从训练集中选取一个最有可能的素描块作为目标的估计，则在训练集中样本数目不足的情况下，结果可能产生失真。Zhou等【9】提出一种带有权重的MRF模型，由若干个训练集中的素描块加权平均，这样产生的结果就不同于训练集中所有素描块。

以上的所有研究都是基于归纳式学习，对测试样本的浪费比较严重。

剩余内容已隐藏，请支付后下载全文，论文总字数：22884字

相关图片展示：