【摘 要】
：
提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术.为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3(Twin Delayed Deep Deterministic Policy Gradient)实现自动驾驶汽车的自主换道行为.首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数
【机 构】
：
武汉理工大学现代汽车零部件技术湖北省重点实验室,湖北武汉 430070;武汉理工大学汽车零部件技术湖北省协同创新中心,湖北武汉 430070
论文部分内容阅读
提高人类驾驶人的接受度是自动驾驶汽车未来的重要方向,而深度强化学习是其发展的一项关键技术.为了解决人机混驾混合交通流下的换道决策问题,利用深度强化学习算法TD3(Twin Delayed Deep Deterministic Policy Gradient)实现自动驾驶汽车的自主换道行为.首先介绍基于马尔科夫决策过程的强化学习的理论框架,其次基于来自真实工况的NGSIM数据集中的驾驶数据,通过自动驾驶模拟器NGSIM-ENV搭建单向6车道、交通拥挤程度适中的仿真场景,非自动驾驶车辆按照数据集中驾驶人行车数据行驶.针对连续动作空间下的自动驾驶换道决策,采用改进的深度强化学习算法TD3构建换道模型控制自动驾驶汽车的换道驾驶行为.在所提出的TD3换道模型中,构建决策所需周围环境及自车信息的状态空间、包含受控汽车加速度和航向角的动作空间,同时综合考虑安全性、行车效率和舒适性等因素设计强化学习的奖励函数.最终在NGSIM-ENV仿真平台上,将基于TD3算法控制的自动驾驶汽车换道行为与人类驾驶人行车数据进行比较.研究结果表明:基于TD3算法控制的车辆其平均行驶速度比人类驾驶人的平均行车速度高4.8％,在安全性以及舒适性上也有一定的提升;试验结果验证了训练完成后TD3换道模型的有效性,其能够在复杂交通环境下自主实现安全、舒适、流畅的换道行为.
其他文献
预制装配无湿接缝高强混凝土工字组合梁桥由于其装配化程度高、施工速度快等特点,越来越多地应用于中国公路及市政桥梁建设中.为验证该新型结构的受力性能及荷载分配比例,确立合理的设计计算模式和横隔梁设置方法,分别进行了设置5道及3道横隔梁的8梁式桥梁结构现场足尺模型试验,研究适用于该结构的荷载横向分配比例计算方法.试验及分析结果表明:设置3道横隔梁与采用5道横隔梁的横向分配比例接近,边、中梁比例系数分别为1.08和1.14;正弯矩等效加载试验中的应变校验系数、挠度校验系数分别为0.68～0.90、0.60～0.8
为分析钢箱梁的声振特性,联合锤击试验和统计能量分析(SEA)方法从统计能量分析参数和声振响应两方面进行研究.首先,以某钢箱梁节段[10.1 m(长)×4.8 m(宽)×3.1 m(高)]为对象,通过锤击激励获得顶板和底板不同位置的加速度频响函数.然后,建立SEA模型预测钢箱梁的振动声辐射,考察了各板件在100～5 000 Hz频段的模态数,并将加速度频响函数的仿真结果与实测值进行对比.最后,通过数值仿真分析,探讨了结构设计参数(加劲肋和横隔板)对统计能量分析参数和钢箱梁声振响应的影响规律.研究结果表明:除
为了深刻认识高疲劳抗力钢桥面板的疲劳特性,准确评估其结构体系的疲劳抗力,基于等效结构应力建立了考虑焊接微裂纹对钢桥面板疲劳性能劣化效应的结构体系疲劳抗力评估方法,并通过疲劳试验对所建立的评估方法进行了验证.在此基础上采用所建立的结构体系疲劳抗力评估方法对高疲劳抗力钢桥面板的疲劳开裂模式、疲劳抗力及其影响因素等相关关键问题进行系统研究.研究结果表明:焊接微裂纹的存在会显著降低钢桥面板的疲劳性能,导致主导疲劳开裂模式发生迁移;结构体系设计参数对纵肋与顶板双面焊构造细节和纵肋与横隔板新型交叉构造细节疲劳性能的影
衬砌病害诊治是隧道运营维护的首要任务.为形成隧道衬砌病害诊治现状与发展趋势的系统认识,从病害类型及成因、病害检测技术、病害加固治理方法3个方面对其发展现状进行了详细阐述和分析,并讨论了衬砌诊治研究尚存在的不足和下一步可能的研究重点.主要结论显示:①不同类型隧道衬砌的主要病害类型已基本明确,但是病害产生原因诊断方法及产生机制尚需进一步研究;②衬砌病害检测技术和方法取得了长足的进步,集合多种检测技术的病害智能检测识别系统成为了研究的主流方向,但是病害信息的快速、高精度拾取和智能识别仍是亟待解决的技术瓶颈;③经
为了探究局部地形及场地分层因素对地下多点地震动的影响,建立了分层圆弧峡谷模型,并进行了目标场地多点地震动模拟程序的开发和验证.在此基础上,对一跨越该场地的刚构桥进行了考虑多点激励作用下的地震反应分析.具体内容包括:首先,在推导得到SV波入射层状圆弧峡谷地震反应频域解基础上,依据规范谱确定矩阵的峡谷各位置自谱(绝对值),联合自谱和峡谷相干函数得到互谱,进而与自谱共同构造出功率谱矩阵.由此同时体现了峡谷局部场地三大典型物理效应:散射、相干和分层效应,奠定了 SV波入射下层状峡谷多点地震动模拟的基础,填补了由于
为探讨预制拼装钢管混凝土桥墩抗震力学性能,充分发挥预制拼装钢管混凝土桥墩的抗震能力,以实际桥墩为参考,考虑不同拼装接缝形式、耗能钢筋配筋率和预应力轴压比等参数,设计和制作了 6个摇摆式预制拼装预应力钢管混凝土桥墩和2个对比墩(1个摇摆式预应力钢筋混凝土墩和1个承插式预应力钢管混凝土墩),共8个缩尺模型.采用拟静力试验方法,结合数值模拟揭示预应力预制拼装钢管混凝土桥墩的延性能力、自复位性能、滞回耗能特性、破坏模式和破坏机理.试验结果表明:对于2种构造下的钢管混凝土桥墩,摇摆式桥墩因其可发生一定范围内摇摆,并
摇摆构造可限制结构的地震损伤和残余位移,从而提升结构的震后恢复能力.以消能自复位摇摆框架墩结构为研究对象,基于摇摆刚体假定,建立消能自复位摇摆框架墩结构的动力分析模型,并通过试验结果验证了该模型的有效性.模型中采用拉格朗日方程推导出结构的运动学方程,并考虑了桥墩复位碰撞所造成的速度折减以及预应力束和阻尼器的失效.以黄徐路摇摆桥梁结构为工程背景,对消能自复位摇摆框架墩结构进行实例分析、参数分析和易损性分析.实例分析和参数分析结果表明:阻尼器和预应力束的联合应用可减小结构的位移反应,阻尼器刚度的量纲一化参数(
为了探究断层破碎带处隧道沿纵向的变形和受力特征,首先基于筒仓理论和地层应力分布特征,考虑断层破碎带的几何特征和围岩特性,建立了断层破碎带内隧道纵向荷载简化计算模型,并利用应力传递原理进行了求解;其次将隧道简化为破碎带纵向荷载作用下的弹性地基梁,利用有限差分理论计算了破碎带纵向荷载作用下的隧道变形和受力特征.开展了相应的数值模拟和室内模型试验,结合试验数据和数值计算结果对理论模型进行了验证,并分析了埋深、破碎带宽度和倾角变化对隧道纵向变形和受力的影响.结果表明:①埋深越大,破碎带内纵向荷载越大,但纵向荷载的
为揭示钢筋混凝土实心墩和空心墩的刚度退化规律及等效阻尼比,以剪跨比、配箍率和配筋率为设计参数,开展了 7个方形实心墩和7个方形空心墩的低周往复加载试验.基于拟静力试验结果,探讨不同设计参数对实心和空心墩的滞回耗能及刚度退化的影响,建立了等效阻尼比与位移延性系数之间的关系,给出方形墩等效阻尼比的统一计算模型.通过文献中8组试验结果评估既有等效阻尼比公式,并验证所提出模型的适用性.研究结果表明:剪跨比对滞回耗能的影响不显著,而增加配筋率则可提高构件耗能能力;剪跨比对刚度退化的影响较配筋率和配箍率大,剪跨比越小
为研究岛式地铁车站内列车发生火灾时,站台细水雾与排烟系统对烟气蔓延的控制效果,依托西安地铁4号线岛式地铁车站,采用FDS软件建立1∶1的数值仿真模型,选择大涡模拟,研究站内列车火灾规模为5 MW时,站台细水雾与排烟系统共同作用下,火灾烟气蔓延速度、能见度与温度场的分布特征,分析了细水雾与排烟系统对烟气蔓延特性的影响规律;并通过缩尺模型试验,验证了数值模拟方法研究细水雾控制地铁火灾烟气蔓延的可靠性.研究结果表明:车门间隔开启时,烟气先向列车两侧蔓延,150 s时扩散至整个车厢并向站台层蔓延,当开启站台细水雾