在资源受限的水声网络中,使用软频率复用技术和自适应资源分配技术可以提高网络容量和能量效率。然而,水声信道的长传播时延和时变特性导致用于自适应技术的反馈信道状态信息(Channel State Information, CSI)是时变且过时的。非理想的...在资源受限的水声网络中,使用软频率复用技术和自适应资源分配技术可以提高网络容量和能量效率。然而,水声信道的长传播时延和时变特性导致用于自适应技术的反馈信道状态信息(Channel State Information, CSI)是时变且过时的。非理想的反馈CSI会降低自适应系统的性能。针对该问题,提出了一种基于多智能体深度Q网络的资源分配(Multi-agent Deep Q Network Based Resource Allocation, MADQN-RA)方法。该方法将水声软频率复用网络视为多智能体系统,并使用过时的反馈CSI序列作为系统状态。通过建立有效的奖励表达式,智能体可以跟踪时变时延水声信道的变化特性并做出相应的资源分配决策。为了进一步提高智能体的决策准确度,同时避免状态空间维度增大时的部分学习成本,结合动态状态长度方法改进了MADQN-RA。仿真结果表明,所提方法实现的系统性能优于基于其他学习的方法和基于信道预测的方法,且更接近理论最优值。展开更多
文摘在资源受限的水声网络中,使用软频率复用技术和自适应资源分配技术可以提高网络容量和能量效率。然而,水声信道的长传播时延和时变特性导致用于自适应技术的反馈信道状态信息(Channel State Information, CSI)是时变且过时的。非理想的反馈CSI会降低自适应系统的性能。针对该问题,提出了一种基于多智能体深度Q网络的资源分配(Multi-agent Deep Q Network Based Resource Allocation, MADQN-RA)方法。该方法将水声软频率复用网络视为多智能体系统,并使用过时的反馈CSI序列作为系统状态。通过建立有效的奖励表达式,智能体可以跟踪时变时延水声信道的变化特性并做出相应的资源分配决策。为了进一步提高智能体的决策准确度,同时避免状态空间维度增大时的部分学习成本,结合动态状态长度方法改进了MADQN-RA。仿真结果表明,所提方法实现的系统性能优于基于其他学习的方法和基于信道预测的方法,且更接近理论最优值。
