论文总字数：77046字

摘 要

论文作者签名： 导师签名：日期：

摘要

城市快速道路是城市道路交通系统的重要组成部分，承担着城市内部各大区之间的中长距离出行需求。随城市的日益发展、扩张以及小汽车保有量的不断上升，快速道路承担的交通需求量也快速上涨，使得瓶颈路段在早、晚高峰期间（甚至平峰期间）的发生常发性拥堵现象，随拥堵的不断蔓延、扩散，导致快速道路系统的通行能力下降、通行效率降低，驾驶员的出行时间大幅增长。

首先，本文概述了国内外匝道控制研究现状，针对当下的研究指出其不足之处。在不足之处的基础上陈述了本文的研究目标以及研究内容，研究快速道路瓶颈路段的匝道智能交通控制策略的研究目标以及研究内容。

其次，本文介绍了SUMO仿真平台，阐述了SUMO的发展以及其特性。本文提出并构建了SUMO-Python交互仿真系统，搭建了快速道路仿真平台，并应用于搭建本文的仿真环境。

第三，本文通过应用交通瓶颈理论分析了快速道路匝道控制对于交通流的影响机理，探讨了匝道控制的适用场景。

第四，本研究利用SUMO仿真平台，应用传统的定配时匝道控制策略与反馈式匝道控制策略对瓶颈路段进行了效果评价仿真，通过实验论证这两种类配时策略对于交通流的影响机理。

第五，在此基础上，本文根据强化学习中的深度Q学习算法，利用TensorFlow^TM 机器学习框架，提出了基于检测器数据的深度Q学习匝道控制策略与基于图像数据的深度Q学习匝道控制策略。通过仿真对二者进行了效果评价，分析了本文所提出匝道控制策略对于交通流的影响机理。

最后，本文将传统匝道控制策略与基于深度强化学习的匝道控制策略进行了对比，从交通流特性、交通系统特性两大方面论述了后者的优越性，为今后的研究提供了理论与技术支持。

关键词： 快速道路；常发性拥堵；匝道控制；深度强化学习

ABSTRACT

Urban expressway is an important part of the urban road traffic system, and mainly supports middle and long distance commuting among districts within the city. With cities’ vast expansion and the increasing volume of road traffic, the demand for urban expressway has also increased rapidly. This has caused recurrent bottlenecks in some urban expressway typical sections during morning and evening peaks. The continual congestion have led to a decline in the capacity of the expressway system and a reduction in traffic efficiency, and the driver’s travel time has increased significantly.

First of all, literature review of both domestic and international ramp metering research was outlined and inadequacies of current researches were points out. Based on the shortcomings, the research objectives and research content of this paper was stated.

Secondly, SUMO simulation platform and its characteristics was introduced. A SUMO-Python interactive simulation system was described and was used construct an expressway simulation platform to help build the simulation network.

Thirdly, the influence mechanism of ramp metering on traffic flow was analyzed through traffic bottleneck theory, and the applicable scenarios of ramp metering was discussed.

Fourthly, this study used the proposed expressway simulation platform to apply the traditional ramp metering control strategy and feedback ramp metering strategy to evaluate the control effect on expressway recurrent bottleneck. And the impact mechanism of these two kinds of strategies on traffic flow was analyzed.

Fifth, based on deep Q learning algorithm and TensorFlowTM machine learning framework, two deep reinforcement learning control strategy were proposed, with one based detector data and another one based on image data. The performance was evaluated by the expressway simulation platform. And the impact mechanism of the proposed strategies on traffic flow was analyzed.

In the end, this paper compared the traditional ramp metering control strategies with the deep reinforcement learning based ramp metering control strategies. The superiority of the proposed strategies were discusses from the aspects of traffic flow characteristics and traffic system characteristics, providing theoretical and technical support for future research.

Key words: Expressway; Recurrent Bottleneck; Ramp Metering; Deep Reinforcement Learning

目 录

第一章 绪论 1

1.1 立题背景与意义 1

1.1.1 论文立题背景 1

1.1.2 论文立题意义 1

1.2 国内外研究概况 1

1.2.1 定配时匝道控制策略研究 2

1.2.2 反馈式匝道控制策略研究 2

1.2.3 基于路网输出流的匝道控制策略研究 2

1.2.4 强化学习方法在交通领域的相关研究 3

1.2.5 国内外研究不足 4

1.3 研究目标与研究内容 4

1.3.1 论文研究目标 4

1.3.2 论文研究内容 5

1.4 本章小结 5

第二章 SUMO仿真平台简介与仿真路网搭建 7

2.1 SUMO仿真平台 7

2.1.1 SUMO仿真平台简介 7

2.1.2 SUMO仿真平台的系统架构与交互设计 8

2.2 快速道路仿真平台与仿真环境搭建 8

2.2.1 快速道路仿真平台与交互设计 8

2.2.2 快速道路仿真环境搭建 9

2.3 本章小结 10

第三章 快速道路匝道控制策略对交通流影响机理 11

3.1 快速道路瓶颈路段拥堵分析 11

3.1.1 交通流分析 11

3.1.2 瓶颈路段拥堵仿真环境构建 12

3.1.3 瓶颈路段拥堵仿真结果分析 14

3.2 匝道控制对于交通运行影响机理 16

3.2.1 匝道控制对交通流的影响机理 16

3.2.2 匝道控制对交通系统的影响机理 17

3.3 本章小结 18

第四章 传统匝道控制策略 19

4.1 定配时匝道控制策略与效果仿真评价 19

4.1.1 定配时匝道控制策略 19

4.1.2 定配时匝道控制效果仿真评价 20

4.2 反馈式匝道控制策略与效果仿真评价 24

4.2.1 反馈式匝道控制策略 24

4.2.2 反馈式匝道控制效果仿真评价 25

4.3 本章小结 29

第五章 基于深度强化学习的匝道控制策略 30

5.1 强化学习算法简介 30

5.1.1 马尔科夫决策过程 30

5.1.2 Q学习算法简介 32

5.1.3 深度Q学习算法简介 33

5.1.4 卷积神经网络简介 35

5.2 基于深度Q学习的匝道控制策略与效果仿真评价 37

5.2.1 基于深度Q学习的匝道控制仿真系统 37

5.2.2 基于检测器数据的深度Q学习匝道控制策略 37

5.2.3 基于图像数据的深度Q学习匝道控制策略 44

5.3 本章小结 50

第六章 快速道路匝道控制策略比较与效果评价 51

6.1 交通流特性对比 51

6.1.1 流量累计曲线 51

6.1.2 速度与占有率曲线 51

6.2 交通系统特性对比 52

6.2.1 系统旅行时间曲线 52

6.2.2 瓶颈输出流量曲线 53

6.3 深度强化学习控制的优越性与不足 55

6.4 本章小结 59

第七章 总结与未来研究展望 60

7.1 论文研究工作总结 60

7.2 论文创新点 60

7.3 进一步研究工作 60

致 谢 62

参考文献 63

附录 65

绪论

立题背景与意义

论文立题背景

城市快速道路是城市道路的重要组成部分，作为连续流交通基础设施中的一类，其基本形式与道路行驶相关规则与高速公路较为相似，道路为全封闭式道路，禁止非机动车行驶，一般设有中央分隔带或双向完全分离，出入城市快速道路需要经由上、下匝道汇入、驶出。相较于普通的城市道路，城市快速道路上的车流不受信号控制影响，也不存在机动车与非机动车、行人之间的交通冲突，车辆可以以相对较高的速度进行行驶。因此，城市道路承担着城市内部各大区域之间的中、长距离交通出行。现如今，随着我国经济不断发展，交通基础设施建设日渐完善，许多主要城市都在普通城市道路的基础上修建起了城市快速道路，其种类视区域、地形各有特点，如上海的环城高架快速路、天津市的外环线快速路、南京扬子江隧道、长江隧道，上海的过江隧道等。这些城市快速道路有些以城市中心为圆形呈环形分布，有些以高架桥的形式贯穿整个城市，有些则以隧道的形式承担着跨河、过江等特殊功能。

如果将普通城市道路比喻为城市系统的血管，城市快速道路一般承担着主动脉的作用。由于其类似于高速公路的几何线性设置以及不受红绿灯影响的交通控制特性，当城市交通参与者面临中、长距离出行时，会优先选择交通可靠性、可达性更高城市快速道路，以减少旅行时间。因此，除凌晨时段与高峰时段，城市快速道路上的交通流量会一直保持在一个中、高的程度，路段上的车辆可以以接近自由流的速度行驶，在上、下匝道口以及交织区路段可能会出现轻微的常发性的交通瓶颈，使得车辆行驶缓慢。早、晚高峰期间，随着通勤者的加入，城市快速道路的交通流量大幅度增长，上、下匝道口的驶入、驶出量快速上升，交织区内的车辆换道行为加剧，当上、下匝道口或交织区路段（简称潜在瓶颈）流量、换道等交通参数上升到某一特定阈值时（一般为通行能力值），该潜在瓶颈会出现通行能力下降的情况，形成交通瓶颈，造成小范围拥堵；随着后续车辆不断到达瓶颈路段，拥堵会逐渐向上游蔓延，造成大范围的交通拥堵与延误，导致经济与能源的大量浪费。

论文立题意义

如何解决城市快速道路的交通瓶颈拥堵问题，提高交通系统的运行效率，减少能耗对城市的整体经济发展格外重要。本研究从现实世界中的城市快速道路交通拥堵现象出发，探讨快速道路的拥堵机理，提出基于深度强化学习的匝道控制策略，通过仿真手段对交通瓶颈进行模拟并施加控制策略，对比其他方法的仿真前后结果以检验控制策略的有效性。通过提出新的匝道控制策略，并在未来应用于实际的控制场景中，能够有效避免快速道路通行能力下降现象发生，提高瓶颈路段的交通通行效率，节约出行者的通勤时间。

国内外研究概况

常见的城市快速道路的智能交通主动控制方法（ATM）可以从根本上分为四类：匝道控制、主线控制、车道管理与通道控制。本文主要着眼于快速道路匝道控制中的入口匝道控制，因此主要论述入口匝道控制方向的研究概况。

剩余内容已隐藏，请支付后下载全文，论文总字数：77046字