-
题名结合优先经验回放机制的IQN算法
- 1
-
-
作者
王元昊
张国
王华川
-
机构
海军大连舰艇学院水面舰艇作战实验中心
哈尔滨工程大学智能科学与工程学院
-
出处
《指挥信息系统与技术》
2025年第3期44-50,57,共8页
-
基金
国家社会科学基金重大项目(24&ZD288)
国家自然科学基金(72471104)资助项目。
-
文摘
结合动态采样权重与分位数回归损失,使用时序差分(TD)误差作为优先级指标以优化经验选择,并应用重要性采样修正分布偏差,提出了结合优先经验回放的隐式分位数网络(P-IQN)算法,以提升在高维不确定环境下的性能。试验结果表明,与基线算法相比,P-IQN算法在多个任务中收敛速度提高46.7%~53.8%,样本利用效率提高40%~50%,特别是在高维不确定环境下。尽管P-IQN算法适用于高维不确定离散控制任务,但它仍面临计算资源需求高、超参数调优困难和泛化能力有限等问题,需进一步优化以适应资源受限或动态变化剧烈的场景。
-
关键词
隐式分位数网络(iqn)
优先经验回放(PER)
分布式强化学习(DRL)
样本效率
收敛加速
-
Keywords
implicit quantile network(iqn)
prioritized experience replay(PER)
distributed reinforcement learning(DRL)
sample efficiency
convergence acceleration
-
分类号
TP181.4
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于隐式分位数网络的车联网任务卸载策略
- 2
-
-
作者
王聪
刘帅
左明敏
-
机构
东北大学秦皇岛分校计算机与通信工程学院
东北大学计算机与通信工程学院
-
出处
《计算机工程》
北大核心
2025年第12期244-254,共11页
-
基金
河北省自然科学基金(F2022501025)
河北省重大科技支撑计划(242Q1602Z)。
-
文摘
随着物联网(IoT)和无线技术的迅猛发展,车辆面临着前所未有的计算资源需求挑战。为了应对这些挑战,研究车辆边缘计算(VEC)场景中的任务卸载问题,提出一种基于隐式分位数网络(IQN)的动态任务卸载策略。首先,对VEC系统进行建模,将任务卸载决策问题构建为一个马尔可夫决策过程(MDP);然后,引入一种融合时间优先和噪声增强策略的双分位数强化学习算法,以实现更加精准的任务卸载。该算法利用IQN对值函数的完整概率分布进行估计,进而实现对回报分布的连续参数化估计,有效提升预测和决策的准确性。同时,算法整合了时序优先经验回放机制和噪声网络,前者优先重放对学习更有价值的经验,后者通过引入随机性增强了探索效率。实验结果表明,与传统算法相比,该算法能够显著降低整体任务的完成时延,同时提升任务卸载决策的准确性和系统资源的利用率。研究表明,通过引入IQN和双分位数强化学习算法,可以在动态且复杂的车联网(IoV)环境中实现高效的任务卸载。
-
关键词
车联网
边缘计算
任务卸载
深度强化学习
隐式分位数网络
-
Keywords
Internet of Vehicles(IoV)
edge computing
task offloading
Deep Reinforcement Learning(DRL)
implicit quantile network(iqn)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
