基于数据采集的电商评论分析系统的研究

来源 :青岛科技大学 | 被引量 : 0次 | 上传用户:Horus_Ra
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的不断成熟以及物流产业的稳健发展,网上购物成为了越来越多人首选的购物方式。产品的评价信息反映了用户对产品的意见和态度,其具有很高的价值。一方面,产品的评论信息能够帮助其他用户提供一定的购买指导;另一方面,对产品某方面针对性的评价可以有效地改进产品性能以及提高服务质量。但是,从大量的产品评价内容中挖掘出所需要的信息是非常困难的。针对上述问题,本文对电商评价的采集以及挖掘进行了研究。本文首先采集电商网站的评价数据,并进行快速的存储。并在Scrapy框架的基础上以某网站的评价信息作为爬取对象。为满足评价系统的需要,对爬取策略进行改进。针对目标网站的访问限制和Robot协议,分别采用更换cookie和user-agent绕过限制。为满足对数据库的快速读写的需求,选用MongoDB进行存储。在评价信息挖掘之前,先对评价文本内容进行中文分词处理。本文在BI-LSTM的基础上,使用LSTMN单元对神经元替换,并结合CRF模型,提出了BI-LSTMN-CRF模型。在训练时使用Dropout防止过拟合,结果显示准确度有一定的提高。其次使用LDA模型对处理后的文本进行主题与包含方面的提取,并结合网络资源,充实了本地语料库,然后使用三层CRF模型,设定对应的特征规则,分别对文本中的情感态度以及情感强度进行了分类。通过准确度分析,该方法能够有效的对文本进行处理。最后设计了评论分析系统,本文在JFinal框架的基础上,将上述的算法进行整合并应用到系统中。在设定的产品评分规则下,对产品进行打分后排序展示,并针对用户的关注点进行了图形化展示。经过测试,文中所使用的算法能够完成对产品评论分析的目标,并能够客观的展示产品特点和用户需求。
其他文献
目的采用AHP-CRITIC法对门诊药房药师进行绩效考核。方法通过资料分析和专家咨询,构建门诊药房药师绩效考核体系,运用AHP-CRITIC法确定指标权重,进行绩效综合评分。结果构建
随着养鸡业的不断发展和壮大,更多的饲养者偏爱森林生态鸡的饲养模式。该模式是利用林区的自然生态环境,对本地的鸡雏或蛋鸡放养于山林之中,以林中的昆虫和野草作为其主要的
为了解口蹄疫疫苗免疫效果,本实验在山西省某羊场随机选取羔羊,2009-2012年,使用当年5个厂家生产的口蹄疫疫苗,跟踪观察监测口蹄疫O—AsiaI型二价灭活疫苗免疫消长情况。结果表明
兽药GMP作为一个系统工程,涉及到人员、厂房、设备、卫生等多要素,而我国兽药GMP与先进国家或与国内医药GMP相比,还有一定的差距,企业硬件改造任务十艰巨,软件建设任务尤为繁重。
在当前移动互联网浪潮下,不管是以阿里巴巴为代表的互联网电商平台,还是传统的金融、通信等行业的大型高频交易系统,都要求其软件系统必须具备客户体验友好、高并发、可拓展