【摘 要】
：
现在注意力机制已广泛地应用在深度学习的诸多领域。基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性。通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷。从图像处理、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构,并对近几年大火的基于注意
论文部分内容阅读
现在注意力机制已广泛地应用在深度学习的诸多领域。基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性。通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷。从图像处理、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构,并对近几年大火的基于注意力机制的transformer和reformer算法进行了综述。鉴于注意力机制的重要性,综述了注意力机制
其他文献
针对机器学习应用于脓毒症预测存在预测准确率低和可解释性不足的问题,提出了利用LIME对基于机器学习的脓毒症预测模型进行可解释性分析。模型由预测和解释两部分组成:预测部分使用XGBoost和线性回归(LR),首先通过XGBoost进行特征提取,再利用LR对提取到的特征进行分类;解释部分使用LIME模型提取出关键的预测指标对模型进行解释。实验结果表明,通过XGBoost+LR模型进行脓毒症预测的准确率
提出了一种在深度神经网络的基础上结合全局优化方法的条形码识别算法,利用卷积循环网络提取出条码中各字元的特征并进行分类,较传统方法具有更强的适应性与泛化能力,再进一步结合全局优化的方法,以达到充分利用条码结构性先验信息的目的,能显著提升方法的效果,尤其是将全局优化方法引入到神经网络中进行端到端学习,不仅保持了两者的优势同时还进一步提高了识别精度。实验结果证明了所提方法的有效性,达到约99.48%的识
针对复杂网页上主题信息被过多地与主题无关的广告、导航、版权等噪声信息隐藏的问题,提出一种基于长短期记忆的深度学习正文提取方法(LTE)。首先,设计一种根据超文本标记语言(HTML)中标签信息的数据划分策略:通过遍历HTML代码的文档对象模型(DOM)树来根据DOM树结构划分每一个具有文本信息的文本块;然后,通过预训练模型对每一个内容块的从属关系进行表征;最后,这些标签会被输入到用这种格式的数据预先
互联网的急速发展在给人类带来了巨大便利的同时,也使网络中的网络流量出现了爆炸性的增长,预测网络流量对于网络的研究、管理和控制都具有很高的现实指导意义。为了降低减少网络流量数据的预测误差,提出一种基于神经网络和自回归模型的网络流量预测模型——卷积神经网络(CNN)-长短期记忆(LSTM)网络+自回归(AR)。通过卷积神经网络和长短期记忆网络结合来同时获取数据的短期局部依赖特征和长期发展趋势,添加历史
针对工业机器人运行过程中存在着的非计划停机、维修反应慢等问题,构建了基于深度学习框架长短期记忆(LSTM)网络模型的机器人健康状态监测系统。首先,通过方差分析(ANOVA)确定了反映机器人状态变化的传感器信号;其次,通过主成分分析(PCA)融合多维传感器数据,并与机器人健康运行模式库中的特征数据分布进行相似度计算,获得能够表征机器人运行状态的健康指数;最后,根据LSTM网络的输入和输出节点,自适应
针对无线传感器网络(WSN)中成对节点时间同步的能耗约束问题,提出了一种节能单向型贝叶斯估计同步算法(O-WBSA)。首先,建立时间信令的单向模型;然后,利用贝叶斯估值理论,估计观测误差的标准差,进而得到参考节点本地时钟的估计值。将传统点对点双向型同步算法(TP-PSA)与O-WBSA植入到实验室使用CC2530等硬件搭建的Zigbee平台运行,实验结果表明,两算法均达到同步且同步后效果优越。理论
针对传感器故障检测方法对早期微弱故障信息不敏感以及抗异常值干扰能力差的问题,提出了一种基于因果卷积改进的自注意力长短期记忆网络(CCALSTM)模型和Shapiro-Wilk检验与阈值比较法相结合的故障预检测方法。首先在长短期记忆网络(LSTM)模型中引入基于因果卷积的自注意力机制,以提取局部信息特征,减少异常值对预测精度的影响;然后将预测结果与测量值进行残差计算,并利用滑动窗口选取合适长度的残差
对实时战略(RTS)游戏仿真平台μRTS自带的RTS游戏AI机器人之间进行游戏比赛产生的重放记录数据进行采样,用独热编码对采样点数据中的游戏玩家在游戏中的状态和动作信息进行编码,利用卷积神经网络、支持向量机和K-近邻等机器学习算法对RTS游戏AI机器人在游戏比赛中的获胜者进行预测。实验结果表明,结合给出的编码方法和机器学习算法预测RTS游戏获胜者的准确率与已有方法相比有显著提高,预测结果 ROC曲
针对带转运中心约束的运输规划问题,通过重心法计算转运中心的约束点,从图论角度出发构建带约束条件的最小生成树模型,采用改进的Kruskal算法对模型进行求解。首先,研究影响运输成本的相关因素,通过运输成本模型构建和对运输距离、运输总载货量、货物密度三个因素的综合考虑,将最小总运输成本问题转化为部分节点固定的连通网最短路径问题;对Kruskal算法进行改进给出了解决此问题的方法;最后通过对实际应用进行
针对因使用基于距离的相似性度量,传统聚类内部指标随着数据维数的增加而性能下降的问题,提出了一种基于共享近邻相似度的聚类内部指标。首先,利用共享近邻相似度和k最近邻(kNN)方法,估计数据点的密度,构建融合密度的共享近邻相似度图。然后,根据融合密度的共享近邻相似度图,利用最大流算法,计算出类内相似度和类间分离度,并结合两者计算出聚类内部指标。通过对人工数据集和真实数据集的测试表明,与9个基于距离的传