针对网络化电力系统在分布式拒绝服务(Distributed Denial of Service,DDoS)攻击与控制器增益偏差并存导致的频率调节退化问题,提出一种将非脆弱比例积分(Non-fragile Proportional Integral,NFPI)与Q-learning自适应采样结合的采样数...针对网络化电力系统在分布式拒绝服务(Distributed Denial of Service,DDoS)攻击与控制器增益偏差并存导致的频率调节退化问题,提出一种将非脆弱比例积分(Non-fragile Proportional Integral,NFPI)与Q-learning自适应采样结合的采样数据负荷频率控制(Load Frequency Control,LFC)框架。采用伯努利随机门控刻画由DDoS引发的指令丢失与阻塞,构建含状态、采样保持与能量积分项的Lyapunov-Krasovskii泛函,并配合线性矩阵不等式(Linear Matrix Inequalities,LMIs)给出H_(∞)稳定性判据与控制器综合。同时以频差和攻击指示等构成学习状态,将候选采样间隔离散为动作空间并设计兼顾误差与通信代价的回报函数以在线优化采样策略。仿真表明,在较高攻击概率下该方案仍能实现频率快速且近乎无过冲的收敛,并在保持可比稳态精度的前提下显著减少采样与控制更新,从而在增益不确定与对抗性丢包并存时兼顾鲁棒性与通信效率,适于现代网络化电力系统部署。展开更多
针对无线和电力线通信混合组网的信道竞争接入问题,提出了一种基于深度强化学习的电力线与无线双模通信的MAC接入算法。双模节点根据网络广播信息和信道使用等数据自适应接入双媒质信道。首先建立了基于双模通信网络交互和统计信息的双...针对无线和电力线通信混合组网的信道竞争接入问题,提出了一种基于深度强化学习的电力线与无线双模通信的MAC接入算法。双模节点根据网络广播信息和信道使用等数据自适应接入双媒质信道。首先建立了基于双模通信网络交互和统计信息的双模通信节点数据采集模型;接着定义了基于协作信息的深度强化学习(deep reinforcement learning,DRL)状态空间、动作空间和奖励,设计了联合α-公平效用函数和P坚持接入机制的节点决策流程,实现基于双深度Q网络(double deep Q-network,DDQN)的双模节点自适应接入算法;最后进行算法性能仿真和对比分析。仿真结果表明,提出的接入算法能够在保证双模网络和信道接入公平性的条件下,有效提高双模通信节点的接入性能。展开更多
船舶在自动靠泊过程中会受到风、浪、流和岸壁效应等因素的影响,故需要精确的路径规划方法防止靠泊失败。针对全驱动船舶靠泊过程的基于双深度Q网络(double deep Q network,DDQN)算法,设计了一种船舶自动靠泊路径规划方法。首先建立船...船舶在自动靠泊过程中会受到风、浪、流和岸壁效应等因素的影响,故需要精确的路径规划方法防止靠泊失败。针对全驱动船舶靠泊过程的基于双深度Q网络(double deep Q network,DDQN)算法,设计了一种船舶自动靠泊路径规划方法。首先建立船舶三自由度模型,然后通过将距离、航向、推力、时间和碰撞作为奖励或惩罚,改进奖励函数。随后引入DDQN来学习动作奖励模型,并使用学习结果来操纵船舶运动。通过追求更高的奖励值,船舶可以自行找到最优的靠泊路径。实验结果表明,在不同水流速度下,船舶都可以在完成靠泊的同时减小时间和推力,并且在相同水流速度下,DDQN算法与Q-learning、SARSA(state action reward state action)、深度Q网络(deep Q network,DQN)等算法相比,靠泊过程推力分别减小了241.940、234.614、80.202 N,且时间仅为252.485 s。展开更多
文摘针对网络化电力系统在分布式拒绝服务(Distributed Denial of Service,DDoS)攻击与控制器增益偏差并存导致的频率调节退化问题,提出一种将非脆弱比例积分(Non-fragile Proportional Integral,NFPI)与Q-learning自适应采样结合的采样数据负荷频率控制(Load Frequency Control,LFC)框架。采用伯努利随机门控刻画由DDoS引发的指令丢失与阻塞,构建含状态、采样保持与能量积分项的Lyapunov-Krasovskii泛函,并配合线性矩阵不等式(Linear Matrix Inequalities,LMIs)给出H_(∞)稳定性判据与控制器综合。同时以频差和攻击指示等构成学习状态,将候选采样间隔离散为动作空间并设计兼顾误差与通信代价的回报函数以在线优化采样策略。仿真表明,在较高攻击概率下该方案仍能实现频率快速且近乎无过冲的收敛,并在保持可比稳态精度的前提下显著减少采样与控制更新,从而在增益不确定与对抗性丢包并存时兼顾鲁棒性与通信效率,适于现代网络化电力系统部署。
文摘针对无线和电力线通信混合组网的信道竞争接入问题,提出了一种基于深度强化学习的电力线与无线双模通信的MAC接入算法。双模节点根据网络广播信息和信道使用等数据自适应接入双媒质信道。首先建立了基于双模通信网络交互和统计信息的双模通信节点数据采集模型;接着定义了基于协作信息的深度强化学习(deep reinforcement learning,DRL)状态空间、动作空间和奖励,设计了联合α-公平效用函数和P坚持接入机制的节点决策流程,实现基于双深度Q网络(double deep Q-network,DDQN)的双模节点自适应接入算法;最后进行算法性能仿真和对比分析。仿真结果表明,提出的接入算法能够在保证双模网络和信道接入公平性的条件下,有效提高双模通信节点的接入性能。
