受限于模型方程决定的固定结构,传统四旋翼控制器设计难以有效应对模型参数和环境扰动变化带来的控制误差。提出了基于深度强化学习的四旋翼航迹跟踪控制方法,构建了对应的马尔可夫决策模型,并基于PPO框架提出了PPO-SAG(PPO with self a...受限于模型方程决定的固定结构,传统四旋翼控制器设计难以有效应对模型参数和环境扰动变化带来的控制误差。提出了基于深度强化学习的四旋翼航迹跟踪控制方法,构建了对应的马尔可夫决策模型,并基于PPO框架提出了PPO-SAG(PPO with self adaptive guide)算法。PPO-SAG在学习过程中加入自适应机制,利用PID专家知识进行引导和学习,提高了训练的收敛效果和稳定性。根据问题特点,设计了带有距离约束惩罚和熵策略的目标函数,提出扰动误差信息补充结构和航迹特征选择结构,补充控制误差信息、提取未来航迹关键要素,提高了收敛效果。并利用状态动态标准化、优势函数批标准化及奖励缩放策略,更合理地处理三维空间中的状态表征和奖励优势表达。单种航迹与混合航迹实验表明,所提出的PPO-SAG算法在收敛效果和稳定性上均取得了最好的效果,消融实验说明所提出的改进机制和结构均起到正向作用。所研究的未知扰动下基于深度强化学习的四旋翼航迹跟踪控制问题,为设计更加鲁棒高效的四旋翼控制器提供了解决方案。展开更多
为了研究污泥在低温低湿条件下的干燥规律,获得表征水分迁移过程的有效水分扩散系数(D_(eff))和活化能(E_a),以脱水污泥为研究对象进行了污泥低温低湿干燥试验,探讨了温度(30℃、35℃、40℃、45℃、50℃)和相对湿度(20%、40%、60%)对污...为了研究污泥在低温低湿条件下的干燥规律,获得表征水分迁移过程的有效水分扩散系数(D_(eff))和活化能(E_a),以脱水污泥为研究对象进行了污泥低温低湿干燥试验,探讨了温度(30℃、35℃、40℃、45℃、50℃)和相对湿度(20%、40%、60%)对污泥水分比(MR)和干燥速率(DR)的影响。结果表明,污泥的低温低湿干燥过程属于内部迁移控制,即水分扩散速率决定干燥速率。根据试验数据建立了污泥水分迁移动力学模型,并与6种常用薄层干燥模型进行拟合,通过对决定系数(R^2)、方差(χ~2)和残差平方和(RSS)的比较,得出污泥低温低湿干燥过程可以用Page模型来描述。结合Fick第二定律,得到不同温度(30~50℃)、湿度(20%~60%)条件下污泥有效水分扩散系数的范围为(0.699~1.991)×10^(-9)m^2/s;对传统的Arrhenius公式进行湿度修正,获得了干燥介质温度和湿度对污泥干燥特性影响的数学模型及活化能E_a=23.83 k J/mol。展开更多
文摘受限于模型方程决定的固定结构,传统四旋翼控制器设计难以有效应对模型参数和环境扰动变化带来的控制误差。提出了基于深度强化学习的四旋翼航迹跟踪控制方法,构建了对应的马尔可夫决策模型,并基于PPO框架提出了PPO-SAG(PPO with self adaptive guide)算法。PPO-SAG在学习过程中加入自适应机制,利用PID专家知识进行引导和学习,提高了训练的收敛效果和稳定性。根据问题特点,设计了带有距离约束惩罚和熵策略的目标函数,提出扰动误差信息补充结构和航迹特征选择结构,补充控制误差信息、提取未来航迹关键要素,提高了收敛效果。并利用状态动态标准化、优势函数批标准化及奖励缩放策略,更合理地处理三维空间中的状态表征和奖励优势表达。单种航迹与混合航迹实验表明,所提出的PPO-SAG算法在收敛效果和稳定性上均取得了最好的效果,消融实验说明所提出的改进机制和结构均起到正向作用。所研究的未知扰动下基于深度强化学习的四旋翼航迹跟踪控制问题,为设计更加鲁棒高效的四旋翼控制器提供了解决方案。
文摘为了研究污泥在低温低湿条件下的干燥规律,获得表征水分迁移过程的有效水分扩散系数(D_(eff))和活化能(E_a),以脱水污泥为研究对象进行了污泥低温低湿干燥试验,探讨了温度(30℃、35℃、40℃、45℃、50℃)和相对湿度(20%、40%、60%)对污泥水分比(MR)和干燥速率(DR)的影响。结果表明,污泥的低温低湿干燥过程属于内部迁移控制,即水分扩散速率决定干燥速率。根据试验数据建立了污泥水分迁移动力学模型,并与6种常用薄层干燥模型进行拟合,通过对决定系数(R^2)、方差(χ~2)和残差平方和(RSS)的比较,得出污泥低温低湿干燥过程可以用Page模型来描述。结合Fick第二定律,得到不同温度(30~50℃)、湿度(20%~60%)条件下污泥有效水分扩散系数的范围为(0.699~1.991)×10^(-9)m^2/s;对传统的Arrhenius公式进行湿度修正,获得了干燥介质温度和湿度对污泥干燥特性影响的数学模型及活化能E_a=23.83 k J/mol。
