2.1.1 可变限速控制方法

通常, 限制一条道路最大运输效率的区段称为瓶颈区。在城市快速路上, 瓶颈区域一般存在于车道减少处、车流汇合、分离处、转弯区域、施工区域以及发生交通事故的区域等。图3为快速路入口瓶颈区即汇流瓶颈区可变限速控制的示意图。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 快速路入口瓶颈区可变限速控制示意图Fig.3 Schematic of VSL control for entrance bottleneck of expressway

限速区域为瓶颈上游区域, 限速长度根据具体路段灵活确定, 但不应少于800 m。每隔一段时间对各检测器所得的数据进行处理, 当满足限速启动条件时, 根据限速策略在限速区域的可变情报板上发布限速值, 并在控制区的上游对前来的车辆予以限速预告; 限速值根据最近的监测数据确定, 每个限速值周期性更新; 在无需进行限速时, 关闭可变限速控制^[7]。

2.1.2 可变限速控制提高通行效率的原理

国、内外学者^{[7, 8, 9]}在对道路上瓶颈区域的交通流进行研究时, 发现了一种称为“ 通行能力突变(Capacity drop)” 的现象, 即当道路通过流率达到或接近其最大通行能力时, 若密度继续增大, 通行能力将突然下降的现象, 如图4(a)所示。当密度达到最佳密度k_m, 流率达到道路最大通行能力q_m之后, 随着密度的进一步增大, 流率将迅速下降至突变后流率q_d。通过前文中实际路段的调查数据可知, 相同区域冰雪条件下与正常天气相比, 通行能力的突变幅度更大。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 VSL控制提高通行能力的原理Fig.4 Principle of improving capacity using VSL

可变限速控制的目的是使瓶颈区域上游在交通需求较大时保持低流量、高密度的通行状态, 从而使瓶颈区的通过流率维持在其通行能力附近。为了便于说明, 画出在交通需求逐渐增大时瓶颈区流率随时间的变化图, 如图4(b)所示。其中, 纵轴表示流率, 横轴表示时间。在t₁时刻道路上交通流密度达到最佳密度k_m, 流率达到最大通行能力q_m。

若不对快速路交通流进行控制, 在道路上交通流密度达到k_m后, 瓶颈区向下游输送车辆的流率将会突然降低, 如图4(b)中线段AB、BC所示; 若对快速路交通流进行了合适的限速控制而使快速路瓶颈区的交通流密度不能达到k_m, 则瓶颈区流率将维持在稍低于最大通行能力q_m, 但高于突变后流率q_d的q', 如图4(b)中线段AD所示。此时, 瓶颈区向下游输送的车辆数与无控制时相比将会得到提高, 提高的数量为阴影部分四边形ACDB的面积。

在制定快速路控制策略时, 可以把快速路的状态演变看作一个马尔科夫过程, 即快速路在控制开始时刻t₀的条件下, 一个控制周期T结束后它的运行状态与且仅与在此周期选择的控制动作(限制速度)有关, 而与快速路在之前的状态无关。此时, 可以把求限制速度的问题转化为求解马尔科夫过程的问题, 而强化学习中的Q学习算法作为求解该问题的一种方法, 具有以下特性^[10]:①可通过与环境不断地试错交互来进行学习, 不要求或较少要求先验知识; ②可用于模型不确定的环境中; ③是一种增量式学习方法, 使用与学习可以同时进行。

在对冰雪条件下具体快速路进行限速控制的初始, 并不能精确地知道各种限速动作将会对快速路的运行产生何种影响(较少的先验知识); 其次, 要想建立能够精确描述冰雪条件下的快速路运行机理的模型基本不可能; 最后, 由于交通大环境的发展, 一些在快速路区域之外影响其运行的因素也在不断变化, 相对于固定的可变限速控制策略, 一种能够随时根据控制效果对后续的控制策略进行修改的算法更能满足需要。

综合以上考虑, 本文在获取限制速度的过程中选择了Q学习算法。

2.2.1 Q学习算法原理^[10]

Q学习算法是强化学习算法的一种, 在该算法中, 智能体将整个学习过程分为若干次学习, 每次学习的步骤如下:

(1)观察当前的环境状态s_t。

(2)执行一个可选动作a_t。

(3)观察下一个状态s_t+1。

(4)收到一个立即强化信号。

(5)按照式(3)调整Q值:

Qt(st, at)=(1-αt)Qt-1(st, at)+αt[rt+ γmaxa∈A{Qt-1(st+1, a)}], 当s=st, a=atQt-1(st, at), 其他(3)

式中:Q_t(s_t, a_t)表示状态为s_t、执行动作a_t、学习次数为t时对应的Q值; r_t表示状态为s_t、执行动作a_t时得到的即时奖励; α _t为学习次数为t时的学习系数, α _t越大学习速度越快; γ 表征对未来奖励的重视程度; maxa∈A{Q_t-1(s_t+1, a)}表示状态为s_t时对应的最大Q值。

2.2.2 基于Q学习算法求限速值

本文提出的基于Q学习算法的可变限速控制(简称Q-VSL)求限速值的步骤如下所示。

(1)确定交织区上游、交织区及入口匝道处的所有状态, 确定可选的限速值。

(2)制定各限速情况下的即时奖励r及长远奖励Q学习的确定规则。

(3)基于仿真平台实现在各种状态下加以不同限速动作的仿真。

(4)由步骤(2)(3)得到所有状态下执行不同限速动作时对应的r值及Q学习值, 并对Q学习值进行迭代直至其收敛或达到迭代次数。

(5)确定动作选择策略, 并结合第(4)步得到的Q学习值确定不同状态下选择各限速动作的概率。

在步骤(1)中, 快速路运行状态应包括所有影响控制效果的状态因素, 动作应包括所有可选的控制行为, 其确定及划分是算法成功与否的关键。本文状态及动作分类如表4所示。

表4

Table 4

表4(Table 4)

表4 快速路状态及控制动作划分 Table 4 Classifications of expressway states and control actions 状 态 动作 分类 划分 系统交通流 瓶颈区上游 瓶颈区 各限速值(10、20、 30、40、50、60、 70、80)km/h 系统输入 主线上游输入 匝道输入 天气条件 正常、小雪、中雪、大雪、暴雪及 除雪路面、松雪路面、压实雪 路面、冰板路面等9种

表4 快速路状态及控制动作划分 Table 4 Classifications of expressway states and control actions

在步骤(2)(3)(4)中, 借助仿真平台在各种状态组合中加入不同的控制动作, 并根据其控制效果确定对应的即时奖励值, 且越是有利于提高其运行效率的, 即时奖励值越大(本文中即时回报值取在单一限速时间段内瓶颈区通过的车辆数)。之后, 按照式(3)合理地选择系数对Q学习值进行更新。

在步骤(5)中, 所得的表中包含各状态与不同动作对应时的Q学习值, 结合选择策略(贪心算法)可以确定各个状态下各限速动作的选择概率。实际应用中, 该Q学习值表能够根据应用效果进行不断更新。

2.2.3 可变限速控制策略设计

本文提出的Q-VSL控制方法流程如图5所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 Q-VSL控制策略流程图Fig.5 Flow chart of Q-VSL control strategy

为了避免由于车辆速度波动较大引起的交通安全问题, 本设计规定限速值每6 min更新一次, 最新一次所取的限速值需在上次限速值及与其相邻的两个值中选取, 即根据实际交通系统状态和Q学习学习结果所得的限速值与上一时间段的限速值相差不超过20 km/h。每次限速值发布之后, 根据6 min之后的交通系统状态评价该次限速控制的效果, 并据此对控制之前的状态对应的各可选动作的Q学习值及被择概率表进行更新, 这体现了本文控制算法的持续在线学习能力, 该能力能够弱化在算法中考虑不足和已经发生变化的因素对控制效果的影响。因此, 该算法的应用时间越长, 控制效果越好、越稳定。

本文研究目的是提高快速路的通行效率, 在综合考虑是否能够满足模拟关键的交通流特性、模型参数标定的难易、能否加入可变限速控制以及仿真时间的基础上, 本文采用元胞传输模型, 以Matlab为仿真平台对本文限速策略进行了验证。

3.1.1 基本CTM模型

元胞传输模型(Cell transmission model, CTM)是宏观动力学模型LWR模型的差分离散形式, 由美国科学家Daganzo于1994年提出^[11], 被用来对快速路交通流及城市路网交通进行仿真模拟。

基本的元胞传输模型将时间划分为相等的时间间隔(即仿真步长)T₀, 路段分为若干等距小段(称为元胞)L₀来模拟实际道路上的交通流运行。其中, 每个元胞的长度等于自由流速度与仿真步长的乘积, 且元胞内的流量与密度符合图6所示的梯形函数关系。图中, q为交通流流率; v_f为自由流速度; k为交通流密度; q_max为元胞最大通行能力; w为拥堵形成时向上游传播的交通波波速; k_j为阻塞交通流密度。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 经典的CTM交通流基本图Fig.6 Traffic flow chart of classic CTM

在模拟道路运行时, 每一时刻系统的状态由各元胞中所含的车辆数确定。元胞i在步长t时段内从上游元胞接受的车辆数情况可由式(4)得到:

Js(i, t)=min{n(i-1, t-1), qmaxt0, N(i)- n(i, t-1)}, n(i, t-1)≤qmaxt0min{n(i-1, t-1), qmaxt0, wvf(N(i)- n(i, t-1))}, n(i, t-1)> qmaxt0(4)

式中:Js(i, t)为元胞i在步长t时接受的车辆数; N(i)为元胞i所能包含的最大车辆数; n(i, t-1)为元胞i在步长(t-1)结束时所包含的车辆数。

3.1.2 CTM模型的改进

基本的元胞传输模型能够模拟道路上常规的交通流运行如拥堵的形成及消散, 交通波的生成及传播等, 但是, 其对于交通流流量与密度的关系的假设过于简单, 既无法体现车辆较多时道路上车辆的时走时停现象, 也无法体现瓶颈区拥堵形成时的通行能力突变现象, 而且在同步流时通过流量不变的假设与事实存在明显差异。为了更真实、精确地反映快速路实际运行情况, 本文在实际调查数据的基础上对元胞传输模型的交通流基本图做了如下改进:

(1)自由流枝的改进

在经典的交通流梯形关系图的中, 假设车辆可以由自由流速度行驶直至达到道路的通行能力, 如图6所示。而实际中, 在道路密度由零逐渐增加的过程中, 初始阶段由于车流密度较小, 车辆可以以自由流速度行驶, 如图7(a)中线段AB所示, 道路通过流率随着密度呈正比上升; 随着车流密度进一步增加, 车辆间距变小, 车辆之间的相互干扰加重, 致使车速逐渐降低, 但是此时的道路通过流率仍然是增加的, 只是增速有所放缓, 直至到达最大通行能力, 如图7(a)中曲线BC所示。为此, 在本研究中对CTM中的交通流基本图的自由流部分做了如图7(b)所示的改进。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 CTM流率-密度基本图自由流枝的改进示意图Fig.7 Schematic of improvement of free flow branch in fundamental volume-density diagram of CTM

在图中, 自由流枝包括两段, 称为完全自由段OD与部分自由段DF, 其中, k_f为车两段之间衔接处的交通流密度; k_m为最佳密度。

(2)瓶颈区通行能力突变现象及滞后效应的改进

滞后效应^[12]指的是在交通流状态转变过程中, 自由流与拥堵流之间的车流密度存在重叠的部分, 且从自由流向拥堵流过渡时的车流密度大于由拥堵流向自由流过渡的密度。本文通过实际采集到的数据绘制流率随密度变化的散点图(见图2), 验证了该现象。为了体现这种现象, 对瓶颈区元胞的交通流基本图做如图8所示的改进^[13]。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 CTM流率-密度基本图中加入突变和滞后效应的改进示意图Fig.8 Schematic of fundamental volume-density diagram of CTM inlaid capacity gap and hysteresis effects

图8中, k_z为从拥堵流向自由流转变时的交通流密度; q_z为对应的交通流密度。通过实测数据得到k_f、q_f、k_m、q_m和w时, 可通过计算得到k_z和q_z。当k_z< k(t)≤ k_m时, 步长t时的交通流状态与步长(t-1)时的状态相同。在拥堵枝末端k> k_j之后的部分, 为了避免元胞路段交通流密度达到阻塞密度之后将既不会接收上游车辆也不会再向下游输送车辆的现象, 将车流密度大于阻塞密度之后的流率取为一较小值q_j。

(3)限速影响的改进

在快速路加入限速控制后, 理论上讲, 只有不限速车辆行驶速度超过限速值时才有必要限速, 当限速值小于自由流车速而大于无限速情况下的最佳车速时, 随着密度的增大, 车辆行驶速度保持不变一段时间后将减小至最佳车速(此时密度为最佳密度); 此后, 基本图与无限速情况下相同(见图9(a))。当限速值小于最佳车速时, 车辆将按限速值行驶至该限速值下的最大流率, 然后与无限速情况下相同^[7](见图9(b))。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 限速影响的两种情况下CTM流率-密度基本图Fig.9 Fundamental volume-density diagram of CTM of two scenarios for limiting speed

图10为仿真路段元胞设计图, 仿真路段总长度为1400 m, 其中包括一个主线输入元胞①, 一个匝道输入元胞⑨, 一个瓶颈元胞⑥, 一个终端元胞⑩, 6个主线元胞(②、③、④、⑤、⑦、⑧), 单个元胞长度为200 m; 入口匝道输入车辆通过元胞⑥汇入主线, 交织区长度为200 m。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 仿真路段元胞设计示意图Fig.10 Schematic of cellular elements design in simulation segments

在仿真程序的开始, 需要对各个元胞进行初始化。初始化包括确定各元胞当前所包含的车辆数, 输入元胞的输入速度随时间的变化关系, 以及非输入元胞内部车辆运行所遵循的交通流基本图(见表5)。仿真时间为4 h, 共1800个步长, 在每个仿真步长内, 各元胞中所含的车辆数将按照式(3)(4)进行更新, 直至仿真结束。

表5

Table 5

表5(Table 5)

表5 元胞初始化 Table 5 Initialization of cellular 元胞类型 主线输入 匝道输入 主线 瓶颈 匝道 车辆数 0 0 0 0 0 拥堵与否 否 否 否 否 否 流量关系 f-t0 f-t2 f-k0 f-k1 f-k2 上个步长 接受车辆数 0 0 0 0 0 上个步长 发送车辆数 0 0 0 0 0

表5 元胞初始化 Table 5 Initialization of cellular

为了更好地对Q-VSL控制方法进行效果评价, 本文对冰雪条件(除雪后)下的快速路瓶颈汇流区域进行了不采用任何控制、采用基于限速模型的可变限速控制、采用Q-VSL控制等的仿真, 并将控制效果进行了对比分析。其中, 基于限速模型的可变限速控制的核心思想是通过分析车流量、大小车型、车道位置等因素对快速路运行速度的影响, 基于车辆追尾时的临界条件以及车辆的跟驰特性, 建立与道路附着系数、交通量等参数相关的安全限速模型, 并利用不同冰雪路面附着系数对模型中的路面参数进行标定, 进而提出分级限速的控制方法。本文参考冰雪条件下安全停车间距限速模型^[4], 对于除雪后的城市快速路采用的限速值为50 km/h。

为了使仿真效果更接近于实际情况, 仿真路段的流量输入采用随时间变化的形式, 如图11所示。其中主线需求在仿真开始的60 min内由零匀速增加到1800 veh/h(主线通行能力), 维持30 min后, 在36 min内匀速减少为720 veh/h, 之后维持不变; 入口匝道需求在仿真开始的60 min内由零匀速增加到600 veh/h, 之后维持不变。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 仿真路段车辆输入Fig.11 Input of simulation road

图12及表6为除雪条件下采用各种限速控制策略的控制效果对比, 其中图12从左至右依次为除雪条件下无控制、模型控制以及Q-VSL控制时瓶颈区域流率随仿真步长的变化图。

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 冰雪天气三种控制方法下瓶颈通过流率对比Fig.12 Comparison of flow rate at the bottleneck under three control methods in snow and ice weather

表6

Table 6

表6(Table 6)

表6 控制结果对比 Table 6 Comparison of control results 控制方法 截至拥堵结束 通过车辆数/辆 相对于不予 控制的提高/% 瓶颈区是否 发生拥堵 无控制 2327 0 是 模型控制 2329 0.086 是 Q-VSL控制 2703 16.16 否

表6 控制结果对比 Table 6 Comparison of control results

由图可知, 未采用任何控制与采用模型控制时的瓶颈通过流率随时间的变化基本相同, 这是因为当限制速度大于路段运行最佳速度时, 限制速度并不能起到限制流量的效果。在此两种控制手段下, 瓶颈区流率在到达其最大通行能力之后迅速降低, 之后维持在1050 veh/h左右, 并在步长为1071时运行状态恢复畅通; 采用Q-VSL控制之后, 瓶颈区流率在到达其最大通行能力之前有一较大幅度的降低, 随后升高并维持在1400 veh/h左右, 且在整个仿真过程中瓶颈区未出现长时间拥堵的现象。

由表6中数据可知, 模型控制相对于无控制在通行效率方面基本无提升, 而采用Q-VSL控制后, 每条车道在无控制的整个拥堵时间内多通过了376辆车。由此可见, 本文控制方法与不予控制及模型控制相比, 不仅提高了快速路入口回流区域的服务水平, 也较大幅度地提高了其通行效率。