基于情感语义的图像特征提取、检索与分类研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:xiaoping123123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人对图像的感知和理解是在语义层次上的,且具有主观性。已有研究显示,不同的图像可以唤起人类不同的情感。图像情感语义研究的目的是希望计算机能够描述和表达人观察图像所引起的情感反应,使用带有主观感情色彩的语义表述和索引图像,其结果可用于图像的情感评估、图像检索、美术和广告设计等方面。该研究涉及到认知科学、心理学、生理学、图像处理、模式识别与人工智能等众多学科领域,是一个崭新的且有很大挑战性的前沿课题。   本文针对图像的情感语义问题,针对图像视觉特征、中间层语义和高层情感语义之间的语义鸿沟,提出了图像情感类查询的三层框架。以图像色彩为代表,实现了高层情感语义类的检索。   本文提出了基于色彩一致性的彩色图像分割方法。通过去除干扰性的图像边缘,在色彩空间,采用引入色差判断的改进K均值聚类算法进行图像色彩分割,分割方法简单有效。   本文设计了一种图像语义的描述方法。以图像色彩为代表,根据人类色彩感知的心理模型,通过非监督模糊聚类的方法分别计算出亮度、饱和度和色彩对比度的语义模糊隶属函数,并根据已有的色彩研究的成果构造了色调语义的模糊隶属函数,根据这些语义隶属函数,使用符合人类感知和描述习惯的自然语言来描述图像,填补了图像特征到图像语义之间的语义鸿沟。   本文通过定义查询语言,实现了情感语义类的查询。由查询语言,可以将中间层图像语义进行有效的组织,并融入已有的图像色彩情感效应的知识和经验,以描述高层次的情感语义,实现了简单情感语义类的查询。该图像情感语义描述框架支持对其它图像特征的进一步扩展。   在图像情感主观调查和统计分析的基础上,通过机器学习建立起图像视觉特征到图像情感的映射,构造了图像情感检索系统,可以实现以情感相似性为度量的图像样图检索,和基于情感形容词的图像语义检索。   本文进行了深入的图像情感主观调查,在调查结果的统计学分析的基础上,用情感形容词描述和量化图像情感语义,并构建图像情感因子空间。在实验心理学方法的指导下,采用语义差异法,在广泛收集测试图像和情感语义词汇后,精心设计图像情感主观调查问卷,完成图像情感主观评估,实现了图像情感语义的描述和量化;使用统计学方法对调查结果进行详细分析,总结得到较为稳定且具有较强共性的13对情感语义,对它们进行因子分析,消除情感形容词之间的相关性和冗余,构建出3维的图像情感因子空间。   本文以情感分析为目的,构造图像视觉特征,通过机器学习实现了图像情感因子值自动估计。详细分析三个图像情感因子与图像特征之间的联系,针对每个情感因子,分别设计了三种图像视觉特征(亮度-冷暖模糊直方图、饱和度-冷暖模糊直方图+色彩对比度值的综合特征、亮度对比度+边缘锐度综合特征),采用支持向量回归机(SVR)训练的方法,对每个因子值进行估计,完成了图像情感因子空间自动估算,估算结果与主观评估结果之间保持了较大的相关性。   本文构造了图像情感检索系统,可以实现以情感相似性为度量的图像样图检索,和基于情感形容词的图像语义检索。通过定义情感因子空间上的相似性度量,系统根据用户提供的样图,在图像库中按照情感相似性进行检索,输出与样图情感感觉上一致的图像;在情感因子值的基础上,通过因子载荷矩阵,完成图像情感形容词的自动估算,实现基于情感形容词的图像检索,系统根据用户提交的情感形容词,按情感形容诃值进行排序,输出符合该种情感的图像;以上检索均取得了令用户满意的结果。   本文以“静感-动感”为代表,实现了图像情感语义的分类。深入研究图像线条与图像情感之间的联系,我们定义了基于小波变换边缘的带权线条方向长度向量(Weightedlinedirection-lengthvectorWLDLV)作为图像特征,该特征能同时描述图像中线条的方向和长度信息,具有较好的分类特性;在此基础上,使用支持向量机(SVM)实现对图像的“动感-静感”分类,取得了较好的分类效果。
其他文献
在无线系统中,通过在发送端和接收端采用多个天线形成的多输入多输出模型能显著提高无线信道的容量,已经成为下一代移动通信系统的必然选择。但是如何设计实际的发送/接收系统,
认知 MIMO系统的资源分配是当前无线通信领域的研究热点之一。采用多天线的认知无线电系统相对于单天线认知无线电系统,既有传统的资源(频域,时域,码域),又有空域资源。本文
本文借鉴软件工程的思想,基于组件式GIS设计开发了一套地理信息系统——长江流域水利血防信息系统。 文章首先是地理信息系统的概述,全面详细讲述GIS的概念、国内外发展状况
本文主要研究探测坦克和装甲车目标的双波束毫米波被动探测系统,本系统采用双波束的方案来提高系统的径向定位精度,它还可以克服距离、气候等因素对定位精度影响太大的难题。
车载网络(VANET)是一种在交通领域支持动态、随机、多跳拓扑结构应用的特殊区域性移动自组织网络(MANET)。网络中的车辆间(V2V)及车辆与路侧单元(V2R)之间的通信容易出现数据
本课题在对目前心音信号分析方法进行讨论的基础上,采用小波变换对心音信号进行分析,利用小波的多分辨率分析对心音信号进行分解重构,并采用香农信息量对各层信号进行信息量
目前,宽带无线通信技术受到人们的广泛关注。本文的主要工作是研究单载波频域均衡(SC-FDE)系统中的自适应算法的关键技术——比特加载,这些算法是在研究SC-FDE系统本身特点和正
继计算机、互联网之后,以物联网为代表的第三次信息革命浪潮正悄然而至,无线传感器网络作为物联网重要组成部分对物联网应用的推动起着决定性作用。针对传统无线传感器网络出