论文部分内容阅读
人对图像的感知和理解是在语义层次上的,且具有主观性。已有研究显示,不同的图像可以唤起人类不同的情感。图像情感语义研究的目的是希望计算机能够描述和表达人观察图像所引起的情感反应,使用带有主观感情色彩的语义表述和索引图像,其结果可用于图像的情感评估、图像检索、美术和广告设计等方面。该研究涉及到认知科学、心理学、生理学、图像处理、模式识别与人工智能等众多学科领域,是一个崭新的且有很大挑战性的前沿课题。
本文针对图像的情感语义问题,针对图像视觉特征、中间层语义和高层情感语义之间的语义鸿沟,提出了图像情感类查询的三层框架。以图像色彩为代表,实现了高层情感语义类的检索。
本文提出了基于色彩一致性的彩色图像分割方法。通过去除干扰性的图像边缘,在色彩空间,采用引入色差判断的改进K均值聚类算法进行图像色彩分割,分割方法简单有效。
本文设计了一种图像语义的描述方法。以图像色彩为代表,根据人类色彩感知的心理模型,通过非监督模糊聚类的方法分别计算出亮度、饱和度和色彩对比度的语义模糊隶属函数,并根据已有的色彩研究的成果构造了色调语义的模糊隶属函数,根据这些语义隶属函数,使用符合人类感知和描述习惯的自然语言来描述图像,填补了图像特征到图像语义之间的语义鸿沟。
本文通过定义查询语言,实现了情感语义类的查询。由查询语言,可以将中间层图像语义进行有效的组织,并融入已有的图像色彩情感效应的知识和经验,以描述高层次的情感语义,实现了简单情感语义类的查询。该图像情感语义描述框架支持对其它图像特征的进一步扩展。
在图像情感主观调查和统计分析的基础上,通过机器学习建立起图像视觉特征到图像情感的映射,构造了图像情感检索系统,可以实现以情感相似性为度量的图像样图检索,和基于情感形容词的图像语义检索。
本文进行了深入的图像情感主观调查,在调查结果的统计学分析的基础上,用情感形容词描述和量化图像情感语义,并构建图像情感因子空间。在实验心理学方法的指导下,采用语义差异法,在广泛收集测试图像和情感语义词汇后,精心设计图像情感主观调查问卷,完成图像情感主观评估,实现了图像情感语义的描述和量化;使用统计学方法对调查结果进行详细分析,总结得到较为稳定且具有较强共性的13对情感语义,对它们进行因子分析,消除情感形容词之间的相关性和冗余,构建出3维的图像情感因子空间。
本文以情感分析为目的,构造图像视觉特征,通过机器学习实现了图像情感因子值自动估计。详细分析三个图像情感因子与图像特征之间的联系,针对每个情感因子,分别设计了三种图像视觉特征(亮度-冷暖模糊直方图、饱和度-冷暖模糊直方图+色彩对比度值的综合特征、亮度对比度+边缘锐度综合特征),采用支持向量回归机(SVR)训练的方法,对每个因子值进行估计,完成了图像情感因子空间自动估算,估算结果与主观评估结果之间保持了较大的相关性。
本文构造了图像情感检索系统,可以实现以情感相似性为度量的图像样图检索,和基于情感形容词的图像语义检索。通过定义情感因子空间上的相似性度量,系统根据用户提供的样图,在图像库中按照情感相似性进行检索,输出与样图情感感觉上一致的图像;在情感因子值的基础上,通过因子载荷矩阵,完成图像情感形容词的自动估算,实现基于情感形容词的图像检索,系统根据用户提交的情感形容词,按情感形容诃值进行排序,输出符合该种情感的图像;以上检索均取得了令用户满意的结果。
本文以“静感-动感”为代表,实现了图像情感语义的分类。深入研究图像线条与图像情感之间的联系,我们定义了基于小波变换边缘的带权线条方向长度向量(Weightedlinedirection-lengthvectorWLDLV)作为图像特征,该特征能同时描述图像中线条的方向和长度信息,具有较好的分类特性;在此基础上,使用支持向量机(SVM)实现对图像的“动感-静感”分类,取得了较好的分类效果。