海量影像数据管理系统设计与实现

1

作者 方旋 李璐 赵雪珍 《测绘与空间地理信息》 2025年第7期80-82,86,共4页

针对传统方式难以解决海量影像数据管理与在线使用的问题,本文设计并开发实现了海量影像管理系统。首先,梳理并规范影像数据及其元数据,制定海量影像数据库的数据结构和入库标准;其次,建立一个海量影像数据管理系统,根据影像数据的管理... 针对传统方式难以解决海量影像数据管理与在线使用的问题,本文设计并开发实现了海量影像管理系统。首先,梳理并规范影像数据及其元数据,制定海量影像数据库的数据结构和入库标准;其次,建立一个海量影像数据管理系统,根据影像数据的管理者和使用者的不同需求,将整个系统分为海量影像数据后台管理系统与海量影像数据共享网站两个部分。其中后台管理系统采用C/S方式开发,部署于服务器上,负责数据入库、服务发布和数据备份;影像共享网站采用B/S方式开发,部署于服务器上,负责服务加载、影像查询和数据分发,用户通过网页浏览器访问。 展开更多

关键词 海量影像 镶嵌数据集 影像管理 影像数据库

在线阅读 下载PDF 职称材料

海量多源遥感影像数据服务系统设计与研究

2

作者 权西瑞 王凯 +1 位作者 王博 王小飞 《测绘与空间地理信息》 2025年第2期70-72,76,共4页

针对传统遥感影像数据共享分发过程中存在的问题,结合海量多源遥感影像存储管理特点及数据分发模式,分析了遥感影像数据应用需求和系统业务功能需求,基于影像快速检索技术和影像元数据自动建模技术,构建了海量多源遥感影像数据服务系统... 针对传统遥感影像数据共享分发过程中存在的问题,结合海量多源遥感影像存储管理特点及数据分发模式,分析了遥感影像数据应用需求和系统业务功能需求,基于影像快速检索技术和影像元数据自动建模技术,构建了海量多源遥感影像数据服务系统总体架构,提出了影像数据存储管理及数据分发的技术路线,设计了影像存储及查询展示、影像申请、影像审批、数据分发及统计分析等功能,实现了海量多源遥感影像全流程科学高效管理,提升了遥感影像数据的共享分发应用效率和精细化程度。 展开更多

关键词 遥感影像 海量数据 分布式存储 影像分发

在线阅读 下载PDF 职称材料

面向网络的海量影像空间数据在线分发技术 被引量：26

3

作者 朱欣焰 陈能成 +1 位作者 王密 刘琳 《武汉大学学报（信息科学版）》 EI CSCD 北大核心 2003年第3期288-293,共6页

阐述了基于J2EE的海量空间数据在线分发系统原理和关键技术 。

关键词 海量空间数据 J2EE 影像数据发布 无缝影像数据库

在线阅读 下载PDF 职称材料

基于均值滤波的大规模无线传感网能耗及海量数据去冗余方法研究 被引量：6

4

作者 蒋鹏 李勇鹏 +2 位作者 吴锋 余善恩 许欢 《工程科学与技术》 EI CAS CSCD 北大核心 2017年第2期145-151,共7页

随着无线传感网络结构日趋复杂及逐渐朝大规模方向转变。科学、高效地解决传感网内的海量数据冗余及巨大能量消耗问题变得十分困难,本文通过对节点数据图像化建模,提出了一种基于节点数据图像的均值滤波算法来达到降低大规模无线传感网... 随着无线传感网络结构日趋复杂及逐渐朝大规模方向转变。科学、高效地解决传感网内的海量数据冗余及巨大能量消耗问题变得十分困难,本文通过对节点数据图像化建模,提出了一种基于节点数据图像的均值滤波算法来达到降低大规模无线传感网中的冗余数据量及能量消耗。首先从传感网的部署结构出发,通过节点之间的位置关系进行节点分簇并标记簇头节点,然后依据各簇内节点获取的数据信息进行图像化建模,建模完成后以各簇簇头节点获取的数据为参照标准对图像化后的簇内节点进行均值滤波,从而将簇内节点划分为活跃节点与休眠节点,活跃节点为传感网提供有效数据而休眠节点提供冗余数据,需要进入休眠状态。从仿真结果可知:在实际数据集与模拟数据集结合验证下,一个大规模、结构复杂的无线传感网被分为若干个簇并有效的完成了各簇内的节点数据图像化建模。在整体数据有效且不失真的前提下,各簇内实现了将可能存在的部分节点转化为休眠节点且成功将休眠节点转为休眠转态,不再产生、传递数据,从而降低传感网内的整体数据量及数据传递消耗的能量。因此本文提出的算法能够有效地处理规模大、结构复杂的无线传感网中存在的数据冗余及巨大能量消耗问题,通过该算法不仅降低了无线传感网中的冗余数据量,而且降低了无线传感网的能量消耗,提高了无线传感网的生命周期。 展开更多

关键词 无线传感网 节点数据图像 均值滤波 海量冗余数据

在线阅读 下载PDF 职称材料

蛋鸡养殖过程中海量数据自动处理系统 被引量：7

5

作者 劳凤丹 滕光辉 +1 位作者 余礼根 李卓 《农业机械学报》 EI CAS CSCD 北大核心 2012年第8期193-197,共5页

采用分时变频的采集模式,应用Java媒体框架模型,设计并实现了蛋鸡养殖过程中海量数据自动处理系统。系统既可同步采集和保存关键的环境、图像及音频信息,又能减少存储空间、降低存储成本和加速查询速度。系统运行结果表明:依据采集设备... 采用分时变频的采集模式,应用Java媒体框架模型,设计并实现了蛋鸡养殖过程中海量数据自动处理系统。系统既可同步采集和保存关键的环境、图像及音频信息,又能减少存储空间、降低存储成本和加速查询速度。系统运行结果表明:依据采集设备及采集参数设置的不同,单采集点一天采集的音频及图像数据量为200～400 MB,一年采集的数据量为70～140 GB。系统同时提供了以采集时间戳为索引的多源信息同步查询及同步展示模块,可复原大部分生产过程场景。 展开更多

关键词 蛋鸡 养殖 图像 音频 海量数据

在线阅读 下载PDF 职称材料

大数据量遥感影像的快速调度与显示 被引量：24

6

作者 余粉香 王光霞 万刚 《海洋测绘》 2006年第2期27-30,40,共5页

随着遥感技术的飞速发展,特别是传感器分辨率的提高,遥感影像的数据量急剧增加,如何有效地从这些庞大的影像数据中获取用户感兴趣的信息已成为当前的研究热点。针对大数据量影像的快速调度与显示问题,提出了一种基于文件的数据组织与管... 随着遥感技术的飞速发展,特别是传感器分辨率的提高,遥感影像的数据量急剧增加,如何有效地从这些庞大的影像数据中获取用户感兴趣的信息已成为当前的研究热点。针对大数据量影像的快速调度与显示问题,提出了一种基于文件的数据组织与管理方法,实现了单幅和多幅大数据量影像的实时调度与快速显示。经过与当前几种常用的商用软件进行对比发现:提出的方法占用计算机资源少,预处理后的影像浏览速度基本与数据量大小无关,可以在任意一台普通配置的计算机上无缝、平滑地快速显示大数据量影像。 展开更多

关键词 大数据量遥感影像 影像显示 影像金字塔 数据分块 数据调度 金字塔矩阵

在线阅读 下载PDF 职称材料

Internet GIS海量空间数据发布的关键技术 被引量：8

7

作者 朱江 张立立 +1 位作者 宋关福 钟耳顺 《高技术通讯》 CAS CSCD 北大核心 2006年第3期286-289,共4页

本文介绍在Internet环境，尤其在低带宽的情况下，有效进行海量空间数据（矢量数据和栅格数据混合）发布的实现技术。提出基于服务器端计算技术的多层体系结构，并对这种体系结构的特点进行了分析。重点阐述了影像管理与金字塔压缩、多... 本文介绍在Internet环境，尤其在低带宽的情况下，有效进行海量空间数据（矢量数据和栅格数据混合）发布的实现技术。提出基于服务器端计算技术的多层体系结构，并对这种体系结构的特点进行了分析。重点阐述了影像管理与金字塔压缩、多因素规划动态平衡群集和多级缓存等海量空间数据发布的关键技术。 展开更多

关键词 INTEMET GIS 海量空间数据 影像金字塔 动态负载平衡 多级缓存

在线阅读 下载PDF 职称材料

多源影像数据库金字塔结构的研究与实践 被引量：4

8

作者 贠建明 汪汇兵 唐新明 《测绘科学》 CSCD 北大核心 2011年第4期53-55,共3页

针对大数据量遥感影像的管理与快速调度显示问题,本文概述了基于关系型数据库的金字塔型数据组织与管理方法。详细介绍了分块分层的数据结构及其快速索引机制,并从建立、索引、调度、缓存四个方面比较讨论了海量、多源影像数据库金字塔... 针对大数据量遥感影像的管理与快速调度显示问题,本文概述了基于关系型数据库的金字塔型数据组织与管理方法。详细介绍了分块分层的数据结构及其快速索引机制,并从建立、索引、调度、缓存四个方面比较讨论了海量、多源影像数据库金字塔建立的两类策略,并对其进行了分析比较。最后通过开发实践验证了分析比较的结论,并给出了策略的选取原则。 展开更多

关键词 海量影像 多源 影像金字塔 分层分块

原文传递

基于GDAL大于2G遥感图像的快速浏览 被引量：20

9

作者 张宏伟 童恒建 +1 位作者 左博新 张昕 《计算机工程与应用》 CSCD 2012年第13期159-162,共4页

快速显示与浏览大的遥感图像是遥感图像处理与分析软件的一个重要的功能。利用GDAL的快速高效的文件读取功能,动态地分块从文件中读取图像块到内存,动态地建立金字塔结构,从而能快速地显示大的遥感图像。放大、缩小和漫游操作实现了渐... 快速显示与浏览大的遥感图像是遥感图像处理与分析软件的一个重要的功能。利用GDAL的快速高效的文件读取功能,动态地分块从文件中读取图像块到内存,动态地建立金字塔结构,从而能快速地显示大的遥感图像。放大、缩小和漫游操作实现了渐变的效果,能给用户非常快速和平滑的感觉。 展开更多

关键词 海量遥感图像 GDAL开源软件 动态金字塔 快速显示与浏览 渐变显示

在线阅读 下载PDF 职称材料

基于稀疏表示全局字典学习的图像分类方法 被引量：9

10

作者 蒲国林 邱玉辉 《计算机应用》 CSCD 北大核心 2015年第2期499-501,514,共4页

针对传统的稀疏表示字典学习图像分类方法在大规模分布式环境下效率低下的问题,设计一种基于稀疏表示全局字典的图像学习方法。将传统的字典学习步骤分布到并行节点上,使用凸优化方法在节点上学习局部字典并实时更新全局字典,从而提高... 针对传统的稀疏表示字典学习图像分类方法在大规模分布式环境下效率低下的问题,设计一种基于稀疏表示全局字典的图像学习方法。将传统的字典学习步骤分布到并行节点上,使用凸优化方法在节点上学习局部字典并实时更新全局字典,从而提高字典学习效率和大规模数据的分类效率。最后在MapReduce平台上进行并行化实验,结果显示该方法在不影响分类精度的情况下对大规模分布式数据的分类有明显的加速,可以更高效地运用于各种大规模图像分类任务中。 展开更多

关键词 字典学习 图像分类 稀疏表示 大规模数据 MAPREDUCE

在线阅读 下载PDF 职称材料

海量多源1∶50000正射影像数据建库与集成更新 被引量：8

11

作者 王发良 廖安平 +1 位作者 朱秀丽 张宏伟 《地理信息世界》 2012年第1期22-26,31,共6页

高分辨率正射影像不仅是1∶50 000地形数据库更新的数据源,也是1∶50 000数据库更新工程的重要数据产品。本文针对国家1∶50 000更新工程DOM数据库建设目标和要求,提出了建库总体思路、技术方法和海量多源正射影像数据库的技术设计,面... 高分辨率正射影像不仅是1∶50 000地形数据库更新的数据源,也是1∶50 000数据库更新工程的重要数据产品。本文针对国家1∶50 000更新工程DOM数据库建设目标和要求,提出了建库总体思路、技术方法和海量多源正射影像数据库的技术设计,面向正射影像数据库管理与分发服务需求研制开发了影像库集成管理与数据服务系统软件,实现影像成果数据集成管理和分发服务一体化。 展开更多

关键词 海量多源 正射影像 建库 集成更新

在线阅读 下载PDF 职称材料

MGSI-8CA标记算法 被引量：3

12

作者 沈夏炯 王晶晶 +1 位作者 范家铭 周兵 《计算机工程与应用》 CSCD 2013年第20期126-129,135,共5页

针对已有连通域标记算法不能适用于遥感数据等海量灰度图像八连通域快速标记的问题,设计并实现了一种MGSI-8CA标记算法。该算法对传统的八连通域标记算法进行八向变四向优化,采用列表机制解决连通域标记冲突问题,并引入了筛选机制和分... 针对已有连通域标记算法不能适用于遥感数据等海量灰度图像八连通域快速标记的问题,设计并实现了一种MGSI-8CA标记算法。该算法对传统的八连通域标记算法进行八向变四向优化,采用列表机制解决连通域标记冲突问题,并引入了筛选机制和分块处理机制,实现了对海量灰度图像八连通域标记的快速处理,同时也得到了灰度图像连通域的正确划分及精确的连通域数目。实验结果证明,MGSI-8CA标记算法运行效率高,更能适应海量灰度图像处理的要求。 展开更多

关键词 遥感数据 海量 灰度图像 八连通域 分块处理

在线阅读 下载PDF 职称材料

T级影像数据管理平台的设计与实现 被引量：6

13

作者 霍亮 刘桂红 《测绘科学》 CSCD 北大核心 2010年第6期87-89,160,共4页

栅格数据如遥感影像数据、DEM数据等是重要的空间信息数据源。本文在分析了空间数据库存贮和管理技术基础上,基于对象关系模式的数据库技术,提出了一种支持T级数据、可扩展的、支持海量多分辨率多波段影像集成平台架构体系,并进行了多... 栅格数据如遥感影像数据、DEM数据等是重要的空间信息数据源。本文在分析了空间数据库存贮和管理技术基础上,基于对象关系模式的数据库技术,提出了一种支持T级数据、可扩展的、支持海量多分辨率多波段影像集成平台架构体系,并进行了多源海量影像数据库管理系统的设计与实现,对多源海量影像数据合理有效管理具有一定的意义。 展开更多

关键词 多源海量影像数据 对象关系型空间数据库 开源类库 元数据

原文传递

基于多源海量国产卫星影像智能优选实现 被引量：2

14

作者 郑雄伟 魏英娟 +2 位作者 李春英 雷兵 甘宇航 《国土资源遥感》 CSCD 北大核心 2017年第B10期13-20,共8页

针对海量国产卫星数据使用过程中优质数据筛选困难且费时费力的问题,设计并实现自动化优质数据筛选.构建基于资源一号02C、高分一号、高分二号等多源国产卫星影像智能优选模型,将卫星及传感器类型、空间范围、时相、空间分辨率和空间分... 针对海量国产卫星数据使用过程中优质数据筛选困难且费时费力的问题,设计并实现自动化优质数据筛选.构建基于资源一号02C、高分一号、高分二号等多源国产卫星影像智能优选模型,将卫星及传感器类型、空间范围、时相、空间分辨率和空间分析方法等各项指标要求抽象为数学模型,完成异构元数据的高效集成与管理,制定遥感影像评价指标体系和评价模型,面向用户的定制化需求,通过自适应优选规则和自主性权重设置,运用典型运筹学方法进行定量分析,实现目标区域的卫星影像自动最优化覆盖.实验结果表明,自动优选与人工精选的结果重合率在85%以上,执行效率提高了10倍以上,验证了自动优选方法的正确性和高效性. 展开更多

关键词 多源海量 国产卫星数据 优质数据自动筛选 影像智能优选

在线阅读 下载PDF 职称材料

大数据分析技术在海量激光图像检索中的应用 被引量：4

15

作者 严伟中 刘芝怡 《激光杂志》 北大核心 2019年第9期85-89,共5页

为解决海量激光图像的检索问题,提出基于大数据分析的海量激光图像检索方法。大数据分析技术中的HDFS采用一个NameNode与数个DataNode组合的运行方式,将海量激光图像特征数据存储在HDFS中;采用基于MapReduce程序与相似度计算方法检索海... 为解决海量激光图像的检索问题,提出基于大数据分析的海量激光图像检索方法。大数据分析技术中的HDFS采用一个NameNode与数个DataNode组合的运行方式,将海量激光图像特征数据存储在HDFS中;采用基于MapReduce程序与相似度计算方法检索海量激光图像,利用Map读取存储在HDFS中的海量激光图像特征数据,并转换为Key/Value形式的数据特征,在Reduce任务中采用相似度计算方法获取HDFS中海量激光图像特征的形状、纹理、颜色相似度并排序,排序结果则为激光图像检索结果。实验结果表明,所提方法计算的激光图像特征相似度误差较小,检索海量激光图像过程中,所提方法具有高查全率、高查准率的优势,是一种高性能的海量激光图像检索方法。 展开更多

关键词 大数据分析 海量 激光图像 HDFS 特征相似度 检索

原文传递

被动成像广域空中监视系统综述 被引量：7

16

作者 张春晓 林招荣 +2 位作者 姚毅刚 李福东 张卫卫 《航天返回与遥感》 2014年第1期37-45,共9页

被动成像广域空中监视(Wide Area Airborne Surveillance,WAAS)系统因其良好的隐蔽性和动态监视的实时性、持久性及大面积覆盖,已成为情报监视侦察的重要工具,广泛应用于军事、民用领域。文章结合典型被动成像广域空中监视系统(如自动... 被动成像广域空中监视(Wide Area Airborne Surveillance,WAAS)系统因其良好的隐蔽性和动态监视的实时性、持久性及大面积覆盖,已成为情报监视侦察的重要工具,广泛应用于军事、民用领域。文章结合典型被动成像广域空中监视系统(如自动实时地面全部署侦察成像系统ARGUS-IS)的特点,从光电传感器设计、数据传输与信息处理等方面阐述被动成像WAAS的系统特点及关键技术环节;重点分析了大视场高分辨率的实现方式、海量数据传输与存储、数据智能分析等制约被动成像WAAS性能的瓶颈技术,为被动成像WAAS的研制与应用提供了参考。 展开更多

关键词 广域空中监视系统 被动成像 情报监视侦察 大视场 高分辨率 海量数据处理

在线阅读 下载PDF 职称材料

基于地理国情监测的影像处理方法研究 被引量：5

17

作者 张璐 刘昱君 +1 位作者 唐权 杨程瑶 《测绘与空间地理信息》 2014年第6期116-117,121,共3页

随着遥感技术的迅速发展,影像数据量也越来越庞大,而遥感影像是地理国情监测的重要组成部分。使用传统的影像处理方法如坐标转换、图像镶嵌等,会输出多次中间结果,耗时长,资源占用多并产生巨大的数据冗余,已无法满足地理国情监测底图快... 随着遥感技术的迅速发展,影像数据量也越来越庞大,而遥感影像是地理国情监测的重要组成部分。使用传统的影像处理方法如坐标转换、图像镶嵌等,会输出多次中间结果,耗时长,资源占用多并产生巨大的数据冗余,已无法满足地理国情监测底图快速制作的需求。本文探索了一种基于Mosaic Dataset的影像快速处理方法,该方法通过建立影像索引,从而无须输出中间结果,效率较高,能够满足影像快速应用需求,具有实用性。 展开更多

关键词 海量遥感数据 MOSAIC dataSET 影像索引

在线阅读 下载PDF 职称材料

Hadoop分布式的海量图像检索 被引量：7

18

作者 王立 陈军峰 《现代电子技术》 北大核心 2018年第9期62-67,共6页

传统基于内容的图像检索方法通过相似度测量算法获取检索结果,对海量图像存在检索效率低和精度差的弊端,因此设计基于Hadoop分布式的海量图像检索方法,其基于Hadoop云平台对海量数码图像实施分布式运算,采集图像SURF特征,采用K-Means聚... 传统基于内容的图像检索方法通过相似度测量算法获取检索结果,对海量图像存在检索效率低和精度差的弊端,因此设计基于Hadoop分布式的海量图像检索方法,其基于Hadoop云平台对海量数码图像实施分布式运算,采集图像SURF特征,采用K-Means聚类方法将相似图像SURF特征聚集起来,通过TF-IDF数据挖掘技术对图像特征实施量化,进而基于Hadoop平台中的Lucene框架塑造海量图像数据的索引模块和搜索模块,依据用户输入的图像SURF特征塑造海量图像数据索引,完成相似图像的准确检索。实验结果说明,所提图像检索方法检索出的图像质量佳,对海量图像进行检索的效率和精度高。 展开更多

关键词 Hadoop分布式 海量图像 SURF特征 K-MEANS聚类 检索 数据挖掘

在线阅读 下载PDF 职称材料

基于Hadoop的医学影像数据平台应用研究 被引量：3

19

作者 陆婷娟 戚小平 《世界复合医学》 2015年第3期223-226,共4页

基于医学影像数据的特点和目前医学影像数据管理存在的问题,我们设计了医学影像数据平台的架构,并对关系数据和非关系数据的存储和管理进行了设计。尤其是对影像数据的分布式存储进行了研究,我们利用Hadoop技术、结合分布式文件系统(HD... 基于医学影像数据的特点和目前医学影像数据管理存在的问题,我们设计了医学影像数据平台的架构,并对关系数据和非关系数据的存储和管理进行了设计。尤其是对影像数据的分布式存储进行了研究,我们利用Hadoop技术、结合分布式文件系统(HDFS)和集中存储(FCSAN)两者的优点和医学影像的特点设计了一套两者相结合的医学影像"在线一归档"二级存储架构,解决了PACS系统的扩展性和可用性问题。最后,基于上述的研究内容,设计了实验,验证了本文所提方法的医学影像数据平台具有的诸多优势。 展开更多

关键词 HADOOP 医疗大数据 分布式存储 海量影像数据

在线阅读 下载PDF 职称材料

遥感图像处理软件的设计与关键技术研究 被引量：3

20

作者 刘国成 杨长保 《吉林工程技术师范学院学报》 2009年第3期75-77,共3页

以遥感图像处理软件设计与开发中所涉及的一些关键技术作为研究内容,包括遥感图像处理软件的体系结构、图像数据在计算机中的存贮与表示以及海量图像数据的快速处理研究。

关键词 软件体系结构 遥感图像处理 海量图像数据

在线阅读 下载PDF 职称材料