吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (5): 1638-1647.doi: 10.13229/j.cnki.jdxbgxb.20230908

• 计算机科学与技术 • 上一篇    下一篇

面向车联网隐私保护的深度确定性策略梯度缓存方法

申自浩1(),高永生1,王辉2(),刘沛骞2,刘琨2   

  1. 1.河南理工大学 计算机科学与技术学院,河南 焦作 454000
    2.河南理工大学 软件学院,河南 焦作 454000
  • 收稿日期:2023-08-27 出版日期:2025-05-01 发布日期:2025-07-18
  • 通讯作者: 王辉 E-mail:szh@hpu.edu.cn;wanghui_jsj@foxmail.com
  • 作者简介:申自浩(1980-),男,副教授,博士.研究方向:网络信息安全与智能信息处理.E-mail:szh@hpu.edu.cn
  • 基金资助:
    国家自然科学基金项目(61300216);河南省高等学校重点科研项目(23A520033);河南理工大学博士基金项目(B2022-16)

Deep deterministic policy gradient caching method for privacy protection in Internet of Vehicles

Zi-hao SHEN1(),Yong-sheng GAO1,Hui WANG2(),Pei-qian LIU2,Kun LIU2   

  1. 1.School of Computer Science and Technology,Henan Polytechnic University,Jiaozuo 454000,China
    2.School of Software,Henan Polytechnic University,Jiaozuo 454000,China
  • Received:2023-08-27 Online:2025-05-01 Published:2025-07-18
  • Contact: Hui WANG E-mail:szh@hpu.edu.cn;wanghui_jsj@foxmail.com

摘要:

针对车联网隐私保护边缘节点缓存命中率低的问题,本文提出一种深度确定性策略梯度缓存(DDPGC)方法。首先,经可信机构认证的出租车作为二级缓存边缘节点获取热点数据并存储至本地缓存,然后将信息广播给周边服务请求车辆(SRV);SRV将收到的广播数据缓存至本地,发生服务请求时,按照本地缓存、出租车、云服务器的顺序依次查找。其次,在出租车和SRV部署神经网络,通过深度强化学习对其缓存数据决策替换,最大化缓存收益。最后,当SRV位于车辆稀疏处,无法从周边车辆获取请求数据时,结合k匿名与随机响应扰动机制产生匿名集,以匿名方式向云服务器发送请求,在保护用户位置隐私的前提下获取服务。仿真实验结果表明,DDPGC能够有效提高车辆缓存命中率,减少SRV与云服务器交互频次,有效保护车联网用户隐私安全。

关键词: 计算机应用, 车联网, 隐私保护, 深度强化学习, 缓存替换

Abstract:

To address the problem of low cache hit ratio in edge nodes for privacy-preserving in the Internet of Vehicles (IoV), a deep deterministic policy gradient caching (DDPGC) method was proposed. Firstly, a taxi certified by a trusted authority acted as a second-level caching edge node to acquire hotspot data and store it in the local cache. It then broadcasted this information to the neighboring service requesting vehicles (SRV). SRVs cached the broadcasted data locally and search for service requests in the order of priority of local cache, taxi, and cloud server when such requests arise. Secondly, a neural network was deployed in taxis and SRV to maximize the caching benefit through deep reinforcement learning for decision replacement of their cached data. Finally, when SRV were located in vehicle sparsity and could not obtain request data from neighboring vehicles, a combination of k-anonymity and random response perturbation mechanisms generated anonymity sets to send requests to cloud servers in an anonymous manner to obtain services while protecting user location privacy. Simulation experimental results show that DDPGC can effectively improve the vehicle cache hit ratio, reduce the frequency of SRV interaction with the cloud server, and effectively protect user privacy security.

Key words: computer application, Internet of Vehicles, privacy protection, deep reinforcement learning, cache replacement

中图分类号: 

  • TP393

图1

DDPGC系统模型"

图2

出租车端平均缓存命中率"

图3

不同缓存替换策略下缓存命中率"

图4

连接不同SRV下的请求时延"

图5

缓存命中率与隐私保护程度之间的关系"

图6

连接SRV数量与隐私保护度"

[1] Li Y, Tao X, Zhang X, et al. Break the data barriers while keeping privacy: a graph differential privacy method[J]. IEEE Internet of Things Journal, 2023, 10(5): 3840-3850.
[2] 崔杰, 陈学峰, 张静, 等. 基于公交车缓存的车联网位置隐私保护方案[J]. 通信学报, 2021, 42(7): 150-161.
Cui Jie, Chen Xue-feng, Zhang Jing, et al. Bus cache-based location privacy protection scheme in the Internet of vehicles[J]. Journal on Communications, 2021, 42(7): 150-161.
[3] Liu T, Zhang J. An adaptive traffic flow prediction model based on spatiotemporal graph neural network[J]. The Journal of Supercomputing, 2023, 79(14): 15245-15269.
[4] Zhang K, Liu Y, Zhang J, et al. TDCA: improved optimization algorithm with degree distribution and communication traffic for the deployment of software components based on autosar architecture[J]. Soft Computing, 2023, 27(12): 7999-8012.
[5] 张健, 李青扬, 李丹, 等. 基于深度强化学习的自动驾驶车辆专用道汇入引导[J]. 吉林大学学报: 工学版, 2023, 53(9): 2508-2518.
Zhang Jian, Li Qing-yang, Li Dan, et al. Merging guidance of exclusive lanes for connected and autonomous vehicles based on deep reinforcement learning[J]. Journal of Jilin University (Engineering and Technology Edition), 2023, 53(9): 2508-2518.
[6] Dai Y, Xu D, Zhang K, et al. Deep reinforcement learning and permissioned blockchain for content caching in vehicular edge computing and networks[J]. IEEE Transactions on Vehicular Technology, 2020, 69(4): 4312-4324.
[7] 宁兆龙, 张凯源, 王小洁, 等. 基于多智能体元强化学习的车联网协同服务缓存和计算卸载[J]. 通信学报, 2021, 42(6): 118-130.
Ning Zhao-long, Zhang Kai-yuan, Wang Xiao-jie, et al. Cooperative service caching and peer offloading in Internet of vehicles based on multi-agent meta-reinforcement learning[J]. Journal on Communications, 2021, 42(6): 118-130.
[8] Sabnis A, Salem T S, Neglia G, et al. GRADES: gradient descent for similarity caching[J]. IEEE/ACM Transactions on Networking, 2023, 31(1): 30-41.
[9] Zong T, Li C, Lei Y, et al. Cocktail edge caching: ride dynamic trends of content popularity with ensemble learning[C]∥IEEE INFOCOM 2021 - IEEE Conference on Computer Communications, Vancouver, Canada, 2021: 1-10.
[10] Yang J, Song Z, He P, et al. Social-aware caching strategy based on joint action deep reinforcement learning[J]. Wireless Communications and Mobile Computing, 2021, 2021: 1-15.
[11] Hu L, Qian Y, Chen M, et al. Proactive cache-based location privacy preserving for vehicle networks[J]. IEEE Wireless Communications, 2018, 25(6): 77-83.
[12] Ni S, Xie M, Qian Q. Clustering based k-anonymity algorithm for privacy preservation[J]. International Journal of Network Security, 2017, 19(6): 1062-1071.
[1] 戴银飞,周秀贞,范子尧,刘镕源,刘志远,王绍强,杜伟. 车载网络中基于密钥驱动信任机制的身份认证协议[J]. 吉林大学学报(工学版), 2025, 55(5): 1788-1797.
[2] 侯越,郭劲松,林伟,张迪,武月,张鑫. 分割可跨越车道分界线的多视角视频车速提取方法[J]. 吉林大学学报(工学版), 2025, 55(5): 1692-1704.
[3] 赵宏伟,周明珠,刘萍萍,周求湛. 基于置信学习和协同训练的医学图像分割方法[J]. 吉林大学学报(工学版), 2025, 55(5): 1675-1681.
[4] 王友卫,刘奥,凤丽洲. 基于知识蒸馏和评论时间的文本情感分类新方法[J]. 吉林大学学报(工学版), 2025, 55(5): 1664-1674.
[5] 王军,司昌馥,王凯鹏,付强. 融合集成学习技术和PSO-GA算法的特征提取技术的入侵检测方法[J]. 吉林大学学报(工学版), 2025, 55(4): 1396-1405.
[6] 徐涛,孔帅迪,刘才华,李时. 异构机密计算综述[J]. 吉林大学学报(工学版), 2025, 55(3): 755-770.
[7] 戴银飞,周秀贞,刘玉宝,刘志远. 基于CAN总线数据的车载网络入侵检测系统[J]. 吉林大学学报(工学版), 2025, 55(3): 857-865.
[8] 朱齐亮,余雪婷. k-prototype聚类算法和相对熵下敏感数据重发布隐私安全保护[J]. 吉林大学学报(工学版), 2025, 55(3): 1009-1014.
[9] 车翔玖,武宇宁,刘全乐. 基于因果特征学习的有权同构图分类算法[J]. 吉林大学学报(工学版), 2025, 55(2): 681-686.
[10] 蔡晓东,周青松,张言言,雪韵. 基于动静态和关系特征全局捕获的社交推荐模型[J]. 吉林大学学报(工学版), 2025, 55(2): 700-708.
[11] 赵孟雪,车翔玖,徐欢,刘全乐. 基于先验知识优化的医学图像候选区域生成方法[J]. 吉林大学学报(工学版), 2025, 55(2): 722-730.
[12] 刘元宁,臧子楠,张浩,刘震. 基于深度学习的核糖核酸二级结构预测方法[J]. 吉林大学学报(工学版), 2025, 55(1): 297-306.
[13] 郭晓然,王铁君,闫悦. 基于局部注意力和本地远程监督的实体关系抽取方法[J]. 吉林大学学报(工学版), 2025, 55(1): 307-315.
[14] 汪豪,赵彬,刘国华. 基于时间和运动增强的视频动作识别[J]. 吉林大学学报(工学版), 2025, 55(1): 339-346.
[15] 李路,宋均琦,朱明,谭鹤群,周玉凡,孙超奇,周铖钰. 基于RGHS图像增强和改进YOLOv5网络的黄颡鱼目标提取[J]. 吉林大学学报(工学版), 2024, 54(9): 2638-2645.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 寇淑清,乔健,皮文皓,杨慎华 . 滚花连接的中空凸轮轴装配过程影响因素分析
[J]. 吉林大学学报(工学版), 2008, 38(02): 323 -0328 .
[2] 闫洪余,吴文福,尹慧敏,韩峰. 立辊型玉米收获机运动参数对损失率的影响[J]. 吉林大学学报(工学版), 2010, 40(01): 113 -0118 .
[3] 陈书明, 王登峰, 马一功, 曹晓琳, 刘波, 昝建明. 模态密度计算精度对车内噪声预测精度的影响[J]. 吉林大学学报(工学版), 2010, 40(02): 335 -0340 .
[4] 张国祥,,,陈光南,张坤,罗耕星,李怀学,. 基体界面屈服强度和残余应力失配对界面裂纹扩展的影响[J]. 吉林大学学报(工学版), 2006, 36(03): 294 -0297 .
[5] 梁金广,于秀敏,高跃,于洪洋,李雅群,于晓璐 . 起动结束标志转速、供油量和环境温度
对电控柴油机起动性能的影响
[J]. 吉林大学学报(工学版), 2007, 37(05): 1023 -1027 .
[6] 苏岩,刘忠长,孙万臣,郭亮,杜宝程 . 柴油机起动测控系统的开发及初步应用[J]. 吉林大学学报(工学版), 2007, 37(01): 60 -64 .
[7] 孙杨, 宋瑞, 何世伟. 弹性需求下的接运公交网络设计[J]. 吉林大学学报(工学版), 2011, 41(02): 349 -0354 .
[8] 宗芳, 张屹山, 王占中, 李志瑶. 城市中心商业区停车收费分析[J]. 吉林大学学报(工学版), 2013, 43(05): 1235 -1240 .
[9] 罗柏文, 万明康, 于宏毅. 基于自相关系数的合成权值估计算法[J]. 吉林大学学报(工学版), 2013, 43(05): 1401 -1407 .
[10] 韩强,姜文龙,姚冠新. 利用混合母体结构改善有机发光器件性能[J]. 吉林大学学报(工学版), 2011, 41(03): 787 -790 .