论文部分内容阅读
情绪影响着我们的日常行为,诸多场合都要求我们有一个平和的情绪状态。调节情绪的方法有很多种,音乐是一种有效的手段。相关研究表明,人可以通过聆听音乐来舒缓情绪,然而人对于音乐的偏好受到性格、情绪、环境等诸多因素影响,为保证使用音乐舒缓情绪时的客观有效性,需识别音乐具有的情绪特征。表情是表达情绪的主要方式,通过识别人的面部表情,可以获得当前的情绪状态。表情研究属于热门领域,在日常生活和商业环境中有广泛的应用前景。生活场景中表情大多通过摄像设备采集,属于序列图像,相关研究主要集中在峰值表情判别,这些模型对序列图像识别能力较差。由此,本文设计并实现了一种基于表情识别的情绪舒缓系统,可以通过识别用户的面部表情来判断情绪,同时播放舒缓相应情绪的音乐,达到平和情绪的目的。本文的主要工作如下:第一,提出一种基于排序网络的表情识别算法,通过实验验证有效性。该模型考虑了同种表情间存在较大差异的问题,对同种表情的不同等级进行表情排序识别,在识别序列图像时达到了较高的精度。针对表情图像数据较少的问题,采用了面部预处理和两阶段迁移学习策略提升模型精度。第二,提出一种识别音乐情绪特征的算法。该算法根据情绪舒缓系统的要求,利用情绪二维模型描述音乐,采用了包括过零率、谱质心、色度特征、梅尔频率倒谱系数、波形能量、频谱带宽等特征,设计了双二分类SVM模型进行分类。用实验验证了该算法的有效性,分析了音频采样时间对识别精度的影响,并验证了音乐情绪特征识别的可行性。第三,在x86计算机和安卓系统上部署了设计完成的模型,基于计算机和移动设备间计算能力、内存大小等差异性,对系统进行了相应的设计。计算机部署方案采用了浏览器前端和服务器后端的设计方案,经过实验验证该部署可以达到理论要求的准确率和实时性。移动端部署采用了将排序网络模型压缩内置的方案,实现了移动设备单机离线的情绪舒缓功能,通过实验验证该方案的可行性。