为提高高超声速飞行器姿态控制问题的求解速度和精度,提出了一种结合示教学习的高超声速飞行器智能姿态控制方法。首先,建立了高超声速飞行器的控制模型,选取姿态角动作作为控制输出。其次,设计了一种结合DDQN(Double Deep Q-Network)...为提高高超声速飞行器姿态控制问题的求解速度和精度,提出了一种结合示教学习的高超声速飞行器智能姿态控制方法。首先,建立了高超声速飞行器的控制模型,选取姿态角动作作为控制输出。其次,设计了一种结合DDQN(Double Deep Q-Network)和示教学习的算法,将智能体的训练分为预训练和正式训练两个阶段。在预训练阶段,智能体从演示数据中抽取小批量数据,应用四种损失函数进行神经网络更新。在正式训练阶段,从飞行器自身训练生成的数据和演示数据中进行采样,并通过优先经验回放控制每个小批次中两种类型数据的比例,在与环境的交互中学习,使飞行器能够根据飞行环境变化自适应地调节姿态。仿真结果表明,基于演示数据的强化学习方法能够跟踪控制指令,实现高超声速飞行器的姿态控制,并且能够提高神经网络训练初期的表现,具有更高的平均奖励。展开更多
文摘为提高高超声速飞行器姿态控制问题的求解速度和精度,提出了一种结合示教学习的高超声速飞行器智能姿态控制方法。首先,建立了高超声速飞行器的控制模型,选取姿态角动作作为控制输出。其次,设计了一种结合DDQN(Double Deep Q-Network)和示教学习的算法,将智能体的训练分为预训练和正式训练两个阶段。在预训练阶段,智能体从演示数据中抽取小批量数据,应用四种损失函数进行神经网络更新。在正式训练阶段,从飞行器自身训练生成的数据和演示数据中进行采样,并通过优先经验回放控制每个小批次中两种类型数据的比例,在与环境的交互中学习,使飞行器能够根据飞行环境变化自适应地调节姿态。仿真结果表明,基于演示数据的强化学习方法能够跟踪控制指令,实现高超声速飞行器的姿态控制,并且能够提高神经网络训练初期的表现,具有更高的平均奖励。
