论文部分内容阅读
Hashtag的使用为网络数据的组织和检索带来了极大的便利,可以缓解数据急速增长导致的“信息过载”问题,但是网络上大部分用户都没有使用Hashtag的习惯,使得Hashtag的优越性无法得到充分体现。因此,实现Hashtag的自动化推荐具有重要研究意义。现有Hashtag推荐的研究主要集中在纯文本或文本结合图片的微博领域,针对微视频的Hashtag推荐却还未获得足够关注。近年来,微视频社交逐渐成为人们生活娱乐的主要方式,使得实现微视频Hashtag自动化推荐日益迫切。微视频作为一种多模态数据,主要包括图像模态、音频模态以及文本模态,微视频三个模态之间相辅相成,相互补充。同时,近年来深度学习技术在图像、音频、文本等各个领域的应用收获了出色的成果。因此本文以微视频多模态数据为基础,以深度学习技术为支撑,进行微视频Hashtag推荐的研究。本文的内容主要包括:
1、针对以往Hashtag推荐工作未曾考虑数据的情感特征和Hashtag的内容/情感分类信息的不足,本文提出了一个情感特征增强下的多模态微视频Hashtag推荐模型(TOAST),模型的主要目标是提高情感类Hashtag的推荐效果,进而实现Hashtag推荐性能的整体提升。在提取了微视频各模态的内容特征和情感特征后,TOAST模型分别构建了微视频多模态数据的内容共同空间和情感共同空间,同时通过Hashtag分词引入外部知识增强Hashtag语义信息的学习,最后在进行Hashtag推荐决策时动态地捕获微视频多模态情感和多模态内容特征的不同重要性,提高推荐正确度。
2、针对TOAST模型没有考虑用户个性化差异以及微视频不同模态重要性的不足,提出了一个微视频Hashtag个性化推荐模型(GCN-SMPHR)。该模型在微视频多模态情感共同空间和内容共同空间下通过自注意力机制动态调整微视频不同模态的重要性权重,同时通过图卷积神经网络捕获用户、微视频以及Hashtag三者间的复杂交互关系,学习用户表达,实现个性化推荐。
3、为验证TOAST模型和GCN-SMPHR模型的有效性,本文在从Vine网站上爬取的真实数据集上进行了大量的实验,实验结果表明TOAST模型和GCN-SMPHR模型相比其各自的对比模型都取得了更好的推荐效果。考虑微视频的多模态信息、微视频的情感特征、Hashtag语义信息以及用户个性化特征确实能提高Hashtag推荐的性能。
1、针对以往Hashtag推荐工作未曾考虑数据的情感特征和Hashtag的内容/情感分类信息的不足,本文提出了一个情感特征增强下的多模态微视频Hashtag推荐模型(TOAST),模型的主要目标是提高情感类Hashtag的推荐效果,进而实现Hashtag推荐性能的整体提升。在提取了微视频各模态的内容特征和情感特征后,TOAST模型分别构建了微视频多模态数据的内容共同空间和情感共同空间,同时通过Hashtag分词引入外部知识增强Hashtag语义信息的学习,最后在进行Hashtag推荐决策时动态地捕获微视频多模态情感和多模态内容特征的不同重要性,提高推荐正确度。
2、针对TOAST模型没有考虑用户个性化差异以及微视频不同模态重要性的不足,提出了一个微视频Hashtag个性化推荐模型(GCN-SMPHR)。该模型在微视频多模态情感共同空间和内容共同空间下通过自注意力机制动态调整微视频不同模态的重要性权重,同时通过图卷积神经网络捕获用户、微视频以及Hashtag三者间的复杂交互关系,学习用户表达,实现个性化推荐。
3、为验证TOAST模型和GCN-SMPHR模型的有效性,本文在从Vine网站上爬取的真实数据集上进行了大量的实验,实验结果表明TOAST模型和GCN-SMPHR模型相比其各自的对比模型都取得了更好的推荐效果。考虑微视频的多模态信息、微视频的情感特征、Hashtag语义信息以及用户个性化特征确实能提高Hashtag推荐的性能。