摘要
针对大规模离散空间中强化学习的"维数灾"问题,即状态空间的大小随着特征的增加而发生指数级的增长,提出了一种基于高斯过程的强化学习方法。在本方法中,高斯过程模型有表示函数分布的能力,使用该模型之后,可以得到的不只是一个所需的估计值,而是关于该值的一个分布。实验结果表明,结合了高斯过程的强化学习方法在各方面性能,如收敛速度以及最终实验效果等都有所提高。使用高斯方法的回归模型可以在一定程度上解决大规模离散空间上的"维数灾"问题。
In order to solve the problem of ＂curse of dimensionality＂,which means that the states space will grow exponentially in the number of features, in large discrete states space in reinforcement learning, a reinforcement learning method based on Gaussian processes was proposed. The Gaussian processes model can represent the distribution of functions, and it can be used to get a distribution of the expectation instead of its value. The experiment result shows that the performance such as speed of convergence and final effect can be improved obviously with the reinforcement learning method combined Gaussian processes. The ＂curse of dimensionality＂ in large discrete states space could be solved to a certain extent with the Gaussian processes regression model.
出处
《计算机科学》
CSCD
北大核心
2009年第8期247-249,275,共4页
Computer Science
基金
国家自然科学基金项目(60673092
60775046
60873116)
教育部科学技术研究重点项目(207040)
中国博士后科研基金(20060390919)
江苏省高校自然科学基金(06KJB520104)资助
关键词
强化学习
维数灾
高斯过程
回归
函数分布
Reinforcement learning,Curse of dimensionality,Gaussian processes,Regression,Distribution of functions
