基于空气质量监测站点间迟滞效应的监测异常值检测方法

1

作者 史烨挺 刘海江 +3 位作者 狄旸辰 袁烨城 高锡章 孙聪 《中国环境监测》 北大核心 2025年第2期201-209,共9页

检测空气污染物浓度监测数据中的异常值对于环境空气质量评价和提升研究具有重要意义。考虑到空气污染物监测数据在不同监测站点之间存在时空相关性和传输效应,该文提出了一种基于空气质量监测站点间迟滞效应的异常值检测方法,利用其估... 检测空气污染物浓度监测数据中的异常值对于环境空气质量评价和提升研究具有重要意义。考虑到空气污染物监测数据在不同监测站点之间存在时空相关性和传输效应,该文提出了一种基于空气质量监测站点间迟滞效应的异常值检测方法,利用其估算值与测量值之间的残差来检测空气污染物(以PM_(2.5)为例)监测数据中的异常值。针对北京市34个空气质量监测站2021年PM_(2.5)监测数据,用时空迟滞法对时间序列异常值进行实验检验,具有较好效果。与反距离加权法(IDW)、空间回归检验法(SRT)及时间序列低通滤波法进行对比,基于空气质量监测站点间迟滞效应的时空模型,可以根据空气质量监测站点间的时空关联性检测异常值,具有更高的检测精度。PM_(2.5)估算精度方面,当没有其他辅助变量时,基于空气质量监测站点间迟滞效应的时空模型相较于单纯基于空气污染物浓度监测数据在时间自相关性或者空间自相关性的方法上有更高的估算精度。 展开更多

关键词 空气污染物 PM_(2.5) 异常值检测 迟滞效应 时空模型

在线阅读 下载PDF 职称材料

镜像结构和强度特征约束的海岸带LiDAR点云多路径负异常点去除方法

2

作者 高浩龙 李邵波 赵建虎 《测绘学报》 北大核心 2025年第5期840-852,共13页

气垫船载激光雷达扫描系统可以实现海岸带点云数据获取,但其数据质量受多路径效应引起的负异常点影响,限制了后续应用。本文针对该类异常点的形成机制,提出了一种基于镜像结构和强度特征约束的多路径负异常点去除方法。该方法首先通过... 气垫船载激光雷达扫描系统可以实现海岸带点云数据获取,但其数据质量受多路径效应引起的负异常点影响,限制了后续应用。本文针对该类异常点的形成机制,提出了一种基于镜像结构和强度特征约束的多路径负异常点去除方法。该方法首先通过区域生长和二次最小二乘拟合获取镜像面;然后,对区域生长得到的点云簇进行几何结构和强度特征的描述;最后,基于镜像面,在镜像空间内建立点云簇的几何结构和强度特征的对应关系,从而识别并剔除具有镜像特征的负异常点。试验结果显示,本文方法在去除海岸带滩涂地形中的负异常点时,精准率和召回率分别达到了90.83%和76.05%,有效实现了负异常点去除,并在较大程度上保留了地形特征,在需要高精度去噪的场景中,提升了后续数据应用的可靠性。 展开更多

关键词 海岸带地形 LIDAR 多路径效应 负异常点去除 镜像关系

在线阅读 下载PDF 职称材料

地质统计学在固体矿产资源/储量分类中的应用 被引量：66

3

作者 侯景儒 黄竞先 《地质与勘探》 CAS CSCD 北大核心 2001年第6期61-66,共6页

讨论了地质统计学 (空间信息统计学 )在固体矿产资源 /储量分类中应用的若干问题 ,主要包括 :1)矿产资源 /储量估计方法的选择 ;2 )两个重要概念———估计方差及离差方差 ;3)支撑效应及其在矿产资源 /储量评估中的重要作用 ;4)特异值 ... 讨论了地质统计学 (空间信息统计学 )在固体矿产资源 /储量分类中应用的若干问题 ,主要包括 :1)矿产资源 /储量估计方法的选择 ;2 )两个重要概念———估计方差及离差方差 ;3)支撑效应及其在矿产资源 /储量评估中的重要作用 ;4)特异值 (特高品位 )的识别及处理方法 ;5 )关于吨位—品位曲线 ;6 )确定最优勘探网度及取样间距(及位置 )的地质统计学方法 ;7)地质统计学在确定最优矿床工业指标中的应用 ;8)储量计算及固体矿产资源 展开更多

关键词 地质统计学 空间信息统计学 克立格法 资源/储量分类 估计方差 支撑效应 固体矿产资源

在线阅读 下载PDF 职称材料

污染场地土壤重金属空间异常值识别及其点源效应的分离 被引量：7

4

作者 吴运金 何跃 +4 位作者 邓绍坡 徐建 张胜田 龙涛 林玉锁 《生态与农村环境学报》 CAS CSSCI CSCD 北大核心 2013年第6期789-795,共7页

由点源污染导致的土壤重金属空间异常值的分布及点源效应的大小将影响场地风险评估和修复方案的制定,进而影响场地的环境管理。以某典型重金属污染场地为研究区域,以表层土壤Cd含量为研究对象,引入稳健变异函数模型,并筛选出合适的变异... 由点源污染导致的土壤重金属空间异常值的分布及点源效应的大小将影响场地风险评估和修复方案的制定,进而影响场地的环境管理。以某典型重金属污染场地为研究区域,以表层土壤Cd含量为研究对象,引入稳健变异函数模型,并筛选出合适的变异函数模型,结合平尾化方法对表层土壤Cd含量空间异常值进行识别和处理,并有效地分离出点源效应。研究表明:研究区表层土壤Cd含量空间变异大且存在明显的空间异常值;CressieHawkins稳健变异函数更适用于对研究区表层土壤Cd含量半方差函数的估计,采用稳健变异函数和平尾化方法能够有效地识别空间异常值和分离点源效应,空间异常值主要分布在受人为活动影响较大的区块;由于准点过程导致的变异较大,分离出的点源效应解释了异常值点位表层土壤Cd含量的大部分。 展开更多

关键词 重金属 异常值 点源效应 污染场地 稳健变异函数

在线阅读 下载PDF 职称材料

谐波改进的植被指数时间序列重建算法 被引量：18

5

作者 张霞 李儒 +2 位作者 岳跃民 刘波 刘海霞 《遥感学报》 EI CSCD 北大核心 2010年第3期437-447,共11页

提出一种基于傅里叶谐波分析的改进算法,引入异常值检测算法,检测拟合过程中的异常值,增加数据拟合的真实性;迭代前动态估算出待处理序列点的峰值个数(即频数),解决整个区域预设单一频数的不合理性;引入拟合影响因子,自动控制迭代终止条... 提出一种基于傅里叶谐波分析的改进算法,引入异常值检测算法,检测拟合过程中的异常值,增加数据拟合的真实性;迭代前动态估算出待处理序列点的峰值个数(即频数),解决整个区域预设单一频数的不合理性;引入拟合影响因子,自动控制迭代终止条件,避免传统方法中人为设置阈值导致的不确定性。利用2003年华北平原MODIS_EVI时间序列图像验证表明,较之HANTS算法,改进算法能够有效修正噪声污染像元值,修正后的EVI时序曲线更能反映地物内在的物候变化规律,并能够更好地保真原始曲线上的特征(点),如作物EVI最大值、最小值出现的时间和大小关系。 展开更多

关键词 植被指数图像时间序列 滤波 傅里叶谐波 异常值检测 拟合影响因子

在线阅读 下载PDF 职称材料

基于记忆效应的局部异常检测算法 被引量：8

6

作者 李健 阎保平 李俊 《计算机工程》 CAS CSCD 北大核心 2008年第12期4-6,共3页

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LO... 基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。 展开更多

关键词 数据挖掘 异常检测 局部异常因子 记忆效应 MELOF算法

在线阅读 下载PDF 职称材料

考虑负荷自适应检测和修复的鲁棒极限学习机短期负荷预测方法 被引量：25

7

作者 彭显刚 郑伟钦 +1 位作者 林利祥 刘艺 《中国电机工程学报》 EI CSCD 北大核心 2016年第23期6409-6417,6606,共9页

针对现有负荷预测方法对于温度、湿度累积效应下的短期负荷预测精度低的不足,该文提出了一种基于时变Cook距离统计量的负荷异常值检测和基于非参数概率密度估计的负荷自适应修复的鲁棒极限学习机(extreme learning machine,ELM)短期负... 针对现有负荷预测方法对于温度、湿度累积效应下的短期负荷预测精度低的不足,该文提出了一种基于时变Cook距离统计量的负荷异常值检测和基于非参数概率密度估计的负荷自适应修复的鲁棒极限学习机(extreme learning machine,ELM)短期负荷预测方法。首先将历史负荷数据按季节分组,根据每个季节实时负荷和对应的气象因素,利用递归最小二乘法获取历史负荷数据的自适应遗忘因子,构建基于遗忘因子的时变Cook距离统计量,检测负荷数据中的异常值(或强影响值);采用非参数概率密度估计,构建实时负荷与气象因素的随机模型对异常负荷值(或强影响值)进行修复。考虑电力负荷数据异常值对预测精度的影响,采用了一种鲁棒ELM算法对负荷数据进行回归分析;最后,引入基因遗传算法对负荷预测模型参数进行优化,提升负荷预测算法预测准确率;通过实例仿真分析,验证了该方法提高预测精度的有效性。 展开更多

关键词 短期负荷预测 时变Cook距离 非参数概率密度函数估计 累积效应 鲁棒极限学习机算法

原文传递

两参数Weibull分布多个异常数据的检验 被引量：6

8

作者 李云飞 《电子科技大学学报》 EI CAS CSCD 北大核心 2007年第S1期386-388,共3页

针对两参数Weibull分布的异常大数据给出了一个新的检验方法.该方法利用样本分位数与两参数Weibull分布有密切联系的I型极值分布尺度参数的同变估计来构造新的检验统计量——Z~*型统计量.讨论了该方法的检验效率,表明利用Z~*型统计量作... 针对两参数Weibull分布的异常大数据给出了一个新的检验方法.该方法利用样本分位数与两参数Weibull分布有密切联系的I型极值分布尺度参数的同变估计来构造新的检验统计量——Z~*型统计量.讨论了该方法的检验效率,表明利用Z~*型统计量作检验可以避免Masking效应,如果样本中存在多个异常大数据,反复利用该方法也可以检验出这些异常数据. 展开更多

关键词 Masking效应 异常数据 检验统计量 WEIBULL分布

在线阅读 下载PDF 职称材料

指数分布中下异常值的逐步检验的改进 被引量：3

9

作者 田存志 张进 王学仁 《数理统计与应用概率》 1998年第1期58-64,共7页

关于指数样本中下异常值的检验，各种文献中仅对下异常值个数已知的情况作了讨论．当下异常值个数未知时，因存在ｍａｓｋｉｎｇ或ｓｗａｍｐｉｎｇ效应，检验问题变得十分复杂和困难．本文成功地解决了这一问题．

关键词 下异常值 masking效应 swamping效应 临界值

在线阅读 下载PDF 职称材料

MELOF算法的理论分析与拓展 被引量：1

10

作者 李健 阎保平 李俊 《计算机工程》 CAS CSCD 北大核心 2009年第19期94-96,共3页

介绍LOF算法、记忆效应以及MELOF算法,对记忆效应进行理论证明,验证MELOF算法的正确性,同时分析该算法的不足和记忆效应的一些特性。针对MELOF算法中的不足进行改进,介绍未来的研究方向,即参数自动选择和利用分而治之思想提高运行效率等。

关键词 数据挖掘 异常检测 局部异常因子 记忆效应 MELOF算法

在线阅读 下载PDF 职称材料

正态样本中多个异常值的双边检验(英文) 被引量：1

11

作者 秦叔明 田存志 《经济数学》 2001年第2期62-67,共6页

对于正态样本中上下异常值的同时检脸，大多数文献仅处理了下异常值的个数ｋ１和上异常值个数ｋ２已知的情况，当ｋ１和ｋ２未知时．由于受ｍａｓｋｉｎｇ或ｓｗａｍｐｉｎｇ效应，检验问题变得十分困难与复杂．本文成功地解决了这一问题．

关键词 正态分布 异常值 masking效应 Swamping效应 双边检验

在线阅读 下载PDF 职称材料

基于有效候选集的支持向量机样本选择方法 被引量：4

12

作者 王展青 王传廷 +1 位作者 张富铭 赵鹏 《计算机工程与应用》 CSCD 北大核心 2008年第23期214-216,共3页

训练样本选择是支持向量机的一个重要研究课题。但是,目前大部分样本选择方法的一个共同的不足就是,其训练样本的候选集是整个样本空间,因此可能会选择一些对分类效果影响不大的内部样本,或者选择一些可能会降低分类效果的"过边界&... 训练样本选择是支持向量机的一个重要研究课题。但是,目前大部分样本选择方法的一个共同的不足就是,其训练样本的候选集是整个样本空间,因此可能会选择一些对分类效果影响不大的内部样本,或者选择一些可能会降低分类效果的"过边界"样本。提出了两种基于"有效"候选集的样本选择方法。该方法首先通过"挖心"和剔除"过边界"样本来确定训练样本的"有效"候选集,然后在此"有效"候选集上进行训练样本的选择。实验结果表明,该方法在保留"有效"候选样本的同时,也提高了支持向量机分类器的正确识别率。 展开更多

关键词 “有效”候选集 挖心 过边界 支持向量机

在线阅读 下载PDF 职称材料

适应于纵数据的随机效应模型中参数的局部影响诊断 被引量：2

13

作者 孙海燕 吴喜之 《数学理论与应用》 2000年第3期1-9,共9页

本文根据纵数据既包含个体又包含个体不同状态的特点 ,针对适应于纵数据的随机效应模型提出两种便于合理分析数据的扰动方案 ,并给出扰动对参数估计局部影响的各种计算公式和寻找影响点的方法 .通过对 Cambridge过滤嘴中提取尼古丁含量... 本文根据纵数据既包含个体又包含个体不同状态的特点 ,针对适应于纵数据的随机效应模型提出两种便于合理分析数据的扰动方案 ,并给出扰动对参数估计局部影响的各种计算公式和寻找影响点的方法 .通过对 Cambridge过滤嘴中提取尼古丁含量的实验室间数据进行分析表明我们的分析结果不但包含了以前许多学者用不同的方法对这组数据所进行的所有有关影响点方面的分析结果 。 展开更多

关键词 随机效应模型 纵数据 局部影响 诊断 参数估计

在线阅读 下载PDF 职称材料

基于离群点探测准则和主成分分析的点云平面拟合效果研究 被引量：7

14

作者 丁鸽 赵若鹏 +1 位作者 卞磊 陈艳华 《测绘地理信息》 2017年第3期25-28,共4页

针对三维激光扫描测量中离群值对点云质量的影响,提出了基于离群点探测准则和主成分分析的点云平面拟合方法,给出了方法的基本原理和实现步骤。实验结果表明,该方法较稳定,能够在不同条件下较为准确地剔除噪声,提高了点云拟合的平面精度。

关键词 离群值探测准则 主成分分析 点云平面拟合 效果分析

原文传递

基于混沌的孤立点最优识别与探测

15

作者 王建州 李廉 李泽慧 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2006年第11期2012-2014,共3页

孤立点的识别可能导致意想不到的、有用的知识发现,并有许多的应用.提出一种对时间序列孤立点数据检测与挖掘的新方法,计算出时间序列相邻两个点之间的斜率,再与混沌预测斜率相比较以检测出数据的孤立点集.并对该模型的最优性进行证明,... 孤立点的识别可能导致意想不到的、有用的知识发现,并有许多的应用.提出一种对时间序列孤立点数据检测与挖掘的新方法,计算出时间序列相邻两个点之间的斜率,再与混沌预测斜率相比较以检测出数据的孤立点集.并对该模型的最优性进行证明,评估出信息量的损失. 展开更多

关键词 孤立点探测 混沌系统 屏蔽效应 最优性

在线阅读 下载PDF 职称材料

平衡单向分类随机效应模型中的多个异常值检验 被引量：4

16

作者 石磊 何利平 黄梅 《数学物理学报（A辑）》 CSCD 北大核心 2007年第3期476-487,共12页

该文研究平衡单向分类随机效应模型中多个异常值的检验问题,在基于随机效应上的均值滑动模型下导出了似然比检验统计量,并给出了其精确分布及水平异常值的检验过程。在基于观测误差上的均值滑动模型下,利用得分检验统计量给出了多个异... 该文研究平衡单向分类随机效应模型中多个异常值的检验问题,在基于随机效应上的均值滑动模型下导出了似然比检验统计量,并给出了其精确分布及水平异常值的检验过程。在基于观测误差上的均值滑动模型下,利用得分检验统计量给出了多个异常值的检验过程。 展开更多

关键词 平衡单向分类随机效应模型 多个异常值 检验 得分统计量

在线阅读 下载PDF 职称材料

异常影响诊断的统计量 被引量：1

17

作者 王志忠 李朝奎 朱建军 《湘潭矿业学院学报》 EI 2000年第1期85-89,共5页

随着测量数据处理特征的变化与要求的发展 ,测量平差模型的影响分析理论获得迅速发展 重点讨论了异常数据诊断统计量的功能特性、数学意义及与传统统计量的关系 用一个简单的数值例子论证了上述方法的实用性 图 1 ,表 1 ,参

关键词 异常数据 统计诊断 影响统计量 测量平差

在线阅读 下载PDF 职称材料

高职学生成绩影响因素的班主任效应分析 被引量：1

18

作者 荣建英 《中国西部科技》 2011年第23期85-86,共2页

本文从研究影响高职学生成绩的非智力因素出发,用盒状图和方差分析的方法,对班主任任教班级和非班主任任教班级的学生成绩进行分析,发现前者成绩整体比后者要高,且异常值相对较少。对两个非班主任任教班级的学生成绩进行分析,发现二者... 本文从研究影响高职学生成绩的非智力因素出发,用盒状图和方差分析的方法,对班主任任教班级和非班主任任教班级的学生成绩进行分析,发现前者成绩整体比后者要高,且异常值相对较少。对两个非班主任任教班级的学生成绩进行分析,发现二者没有明显差别。这说明在高职教育教学中,对于任教班级来说班主任效应的确是存在的,班主任在高职学生学习中起到了一种始动功能,因此在高职教学中可以合理地应用这一非智力因素。 展开更多

关键词 STATA软件 班主任效应 盒状图 异常值

在线阅读 下载PDF 职称材料

基于多重离群点平滑转换自回归模型的短期风电功率预测 被引量：40

19

作者 陈昊 张建忠 +1 位作者 许超 谭风雷 《电力系统保护与控制》 EI CSCD 北大核心 2019年第1期73-79,共7页

基于对风电功率时间序列波动性多重机制的研究,提出一种基于多重离群点平滑转换自回归模型(M-OSTAR)的风电功率预测方法。运用一种改进条件极大似然估计方法,获得M-OSTAR模型的参数估计。考虑风电波动性的厚尾效应,将M-OSTAR模型推广为... 基于对风电功率时间序列波动性多重机制的研究,提出一种基于多重离群点平滑转换自回归模型(M-OSTAR)的风电功率预测方法。运用一种改进条件极大似然估计方法,获得M-OSTAR模型的参数估计。考虑风电波动性的厚尾效应,将M-OSTAR模型推广为厚尾形式。进一步借助所提模型的机制转换参数,描述了风电时间序列的多重离群点效应。此外,给出了一种新型的波动性分析工具——标准信息冲击曲面,分析了风电时间序列条件方差的动态变化特征。基于实际风电数据的算例验证了基于M-OSTAR族模型预测方法的可行性与有效性。 展开更多

关键词 多重离群点平滑转换自回归模型 双重离群点效应 风电功率预测 厚尾效应

在线阅读 下载PDF 职称材料

基于平滑转移自回归模型的东盟十国实际有效汇率的预测研究

20

作者 唐菁菁 范利民 曹鑫 《当代金融研究》 2018年第6期39-51,共13页

非线性模型在汇率走势的模拟过程中的应用相较线性模型有较大的优势。本文利用平滑转移自回归(STAR)模型对东盟十国的实际有效汇率的走势进行了模拟预测,实证结果发现:一、东盟国家除新加坡外,实际有效汇率皆拒绝线性假设;二、实际有效... 非线性模型在汇率走势的模拟过程中的应用相较线性模型有较大的优势。本文利用平滑转移自回归(STAR)模型对东盟十国的实际有效汇率的走势进行了模拟预测,实证结果发现:一、东盟国家除新加坡外,实际有效汇率皆拒绝线性假设;二、实际有效汇率具有LSTAR的性质,而不论离群值是否排除;三、T分布用于残差假设更具解释力,但样本外预测效果不如正态分布假设;四、STAR模型的模拟效果大致优于AR(1)模型。研究结论为中国"一带一路"战略构想在东盟地区的推进提供了科学的政策依据。 展开更多

关键词 平滑转移动自回归 东盟十国 实际有效汇率 离群值

在线阅读 下载PDF 职称材料