随着科技的创新和社会的进步,数据采集技术得到显著提升,高维数据流(High-dimensional Data Stream,HDS)在医学、机械、工业工程等领域开始广泛出现。除了HDS的在线监控之外,精确而高效的故障诊断也变的越来越重要。在本文中,我们将HDS...随着科技的创新和社会的进步,数据采集技术得到显著提升,高维数据流(High-dimensional Data Stream,HDS)在医学、机械、工业工程等领域开始广泛出现。除了HDS的在线监控之外,精确而高效的故障诊断也变的越来越重要。在本文中,我们将HDS的故障诊断问题阐述为一个新颖的多重检验问题,并通过控制过度遗漏发现概率(Missed Discovery Excessive Probability,MDX)来对HDS进行异常诊断,克服了传统诊断方法的限制,并能够显著的提高异常诊断的稳健性和精确度。我们给出了MDX的Monte-Carlo近似计算方法,并在此基础上提出了Oracle和DataDriven诊断程序。我们通过模拟研究和一个实例分析来阐明所提方法的优越特性。展开更多
对数据流中的潜在信息进行分析和利用是数据流挖掘工作的重要内容。然而,数据的分布会随着时间的推移发生变化,从而使学习假设发生更改,这就是概念漂移现象,它给数据流挖掘带来了巨大的挑战。检测数据分布的变化是一种直接且有效的概念...对数据流中的潜在信息进行分析和利用是数据流挖掘工作的重要内容。然而,数据的分布会随着时间的推移发生变化,从而使学习假设发生更改,这就是概念漂移现象,它给数据流挖掘带来了巨大的挑战。检测数据分布的变化是一种直接且有效的概念漂移检测方法,目前,已有研究方法基于树型结构或网格结构建立直方图,实现对数据分布的描述,但是,此类方法在进行分布检测时容易产生检验盲点,其可解释性较差,并且在多维数据上的内存消耗较大。文中提出了一种基于等密度分区的概念漂移检测方法PUDC(Partition Based on Uniform Density Clusters),该方法基于改进的k-Means算法,对数据进行等密度分区,利用卡方检验对每个分区进行统计和计算,从而检测数据分布变化,以达到概念漂移检测的目的。为了验证方法的有效性,选取了4个人工数据集和3个真实数据集进行实验,对比分析了不同维度的数据下的I类错误率和II类错误率,实验结果表明,PUDC算法在多维数据流的概念漂移检测中相比几种较新的算法具有一定的优势。展开更多
文摘对数据流中的潜在信息进行分析和利用是数据流挖掘工作的重要内容。然而,数据的分布会随着时间的推移发生变化,从而使学习假设发生更改,这就是概念漂移现象,它给数据流挖掘带来了巨大的挑战。检测数据分布的变化是一种直接且有效的概念漂移检测方法,目前,已有研究方法基于树型结构或网格结构建立直方图,实现对数据分布的描述,但是,此类方法在进行分布检测时容易产生检验盲点,其可解释性较差,并且在多维数据上的内存消耗较大。文中提出了一种基于等密度分区的概念漂移检测方法PUDC(Partition Based on Uniform Density Clusters),该方法基于改进的k-Means算法,对数据进行等密度分区,利用卡方检验对每个分区进行统计和计算,从而检测数据分布变化,以达到概念漂移检测的目的。为了验证方法的有效性,选取了4个人工数据集和3个真实数据集进行实验,对比分析了不同维度的数据下的I类错误率和II类错误率,实验结果表明,PUDC算法在多维数据流的概念漂移检测中相比几种较新的算法具有一定的优势。
