期刊文献+
共找到11,924篇文章
< 1 2 250 >
每页显示 20 50 100
基于大语言模型的SQL注入漏洞检测载荷生成方法
1
作者 顾兆军 李丽 隋翯 《信息网络安全》 北大核心 2026年第2期274-290,共17页
针对现有SQL注入漏洞检测方法存在鲁棒性不足以及测试用例缺乏针对性等问题,文章提出一种基于大语言模型的SQL注入漏洞检测载荷生成方法。该方法通过生成针对性的检测载荷实现SQL注入漏洞检测,借助提示工程与DeepSeek-V3模型自动提取和... 针对现有SQL注入漏洞检测方法存在鲁棒性不足以及测试用例缺乏针对性等问题,文章提出一种基于大语言模型的SQL注入漏洞检测载荷生成方法。该方法通过生成针对性的检测载荷实现SQL注入漏洞检测,借助提示工程与DeepSeek-V3模型自动提取和统一构建漏洞特征;利用贡献度对漏洞特征进行分析和选择,构建模型的核心输入;通过将关键特征组织成思维链的形式促进多维度漏洞表征融合,并采用低秩适配技术对Qwen模型进行领域自适应监督微调。实验在多个公开漏洞靶场中验证Qwen模型与SqliGPT、GPT-2-web和SQLMap等模型的性能差异和生成质量,并深入分析DeepSeek-V3模型在复杂SQL注入漏洞数据中的特征提取能力。实验结果表明,Qwen模型的平均检测准确率达到75%以上,比SqliGPT、GPT-2-web和SQLMap模型分别提升49.18%、59.64%和15.19%,且载荷生成质量显著优于现有模型,证明了基于大语言模型生成检测载荷,实现SQL注入漏洞检测方法的有效性与优越性。 展开更多
关键词 大语言模型 sql注入漏洞 代码生成 检测载荷
在线阅读 下载PDF
新工科背景下基于翻转课堂的教学改革实践——以NoSQL数据库课程为例 被引量:3
2
作者 闫林 王浩鸣 《教育教学论坛》 2025年第28期61-64,共4页
传统课堂模式难以适应新工科背景下数据库课程教学的需求。以NoSQL数据库课程为例,通过分析传统教学模式存在的主要问题,提出基于翻转课堂的改革方案。方案实施贯穿教学活动的全过程,课前注重基础理论知识准备、课中强调问题导向和深度... 传统课堂模式难以适应新工科背景下数据库课程教学的需求。以NoSQL数据库课程为例,通过分析传统教学模式存在的主要问题,提出基于翻转课堂的改革方案。方案实施贯穿教学活动的全过程,课前注重基础理论知识准备、课中强调问题导向和深度互动、课后关注巩固和效果反馈。翻转课堂模式通过降低学生的理论学习难度,提升实践操作能力,确保不同水平的学生都能获得有效的学习支持,提高了教学质量。实践结果表明,翻转课堂模式促进了数据库理论与实践的紧密结合,实现了课内与课外学习的深度融合,激发了学生的学习主动性。 展开更多
关键词 新工科 数据库 nosql 翻转课堂
在线阅读 下载PDF
基于NoSQL技术的电网调控系统实时数据库研究 被引量:2
3
作者 史豪杰 刘荣鑫 钱金戈 《自动化应用》 2025年第2期190-193,共4页
为解决电网调控系统实时数据库面临的扩展能力差、处理性能不足、灵活性差等问题,提出一种基于NoSQL技术的分片集群实时数据库总体架构,并对该架构下的数据模型设计、数据分片策略、统一访问接口和动态扩容等关键技术进行研究分析。实... 为解决电网调控系统实时数据库面临的扩展能力差、处理性能不足、灵活性差等问题,提出一种基于NoSQL技术的分片集群实时数据库总体架构,并对该架构下的数据模型设计、数据分片策略、统一访问接口和动态扩容等关键技术进行研究分析。实测表明,基于该架构实现的分片集群实时数据库系统在实时性、吞吐量、扩展性和稳定性方面均有较大提升,能够有效支撑电网调控系统基础SCADA应用和各类高级应用功能。 展开更多
关键词 nosql 电网调控系统 实时数据库 MONGODB REDIS
在线阅读 下载PDF
基于结构感知与蒙特卡洛树搜索的SQL生成
4
作者 富宇 李浩冉 《计算机技术与发展》 2026年第3期118-123,117,共7页
自然语言到SQL(Text-to-SQL)任务旨在将用户查询映射为可执行的SQL语句,是自然语言与数据库交互的核心技术。当前主流大型语言模型在处理复杂结构、多表关联及嵌套逻辑时,常出现结构错误、语义偏离和执行失败,限制了其可靠性与泛化能力... 自然语言到SQL(Text-to-SQL)任务旨在将用户查询映射为可执行的SQL语句,是自然语言与数据库交互的核心技术。当前主流大型语言模型在处理复杂结构、多表关联及嵌套逻辑时,常出现结构错误、语义偏离和执行失败,限制了其可靠性与泛化能力。为此,该文提出Struct-MCTS,一种基于结构感知与蒙特卡洛树搜索(MCTS)的Text-to-SQL生成框架。该框架通过细粒度结构化动作建模SQL生成过程,并结合多模型并行生成与协同辩论对候选路径进行动态打分,从而提升生成结果的鲁棒性与一致性。在零样本条件下,Struct-MCTS在Spider和BIRD等复杂数据集上表现出领先的执行准确率,显示出强泛化能力与实际应用潜力。 展开更多
关键词 Text-to-sql 大语言模型 结构感知 蒙特卡洛树搜索 多模型辩论 零样本学习
在线阅读 下载PDF
融合GAT与可解释DQN的SQL注入攻击检测模型
5
作者 邓钰洋 芦天亮 +2 位作者 李知皓 孟昊阳 马远声 《信息网络安全》 北大核心 2026年第1期150-167,共18页
随着Web应用的持续演进及数据库驱动系统的广泛部署,SQL注入攻击作为一种高度隐蔽且破坏力强的网络攻击方式,依然是当前Web安全防护的重要研究对象。针对SQL注入语句结构复杂、语义多样以及攻击样本稀缺等问题,文章提出一种融合图结构... 随着Web应用的持续演进及数据库驱动系统的广泛部署,SQL注入攻击作为一种高度隐蔽且破坏力强的网络攻击方式,依然是当前Web安全防护的重要研究对象。针对SQL注入语句结构复杂、语义多样以及攻击样本稀缺等问题,文章提出一种融合图结构建模与强化学习机制的SQL注入攻击检测方法。该方法将SQL语句建模为图结构,通过改进的图注意力网络GAT融合节点与边的语法特征,并构建了包含4个专门化检测专家的多智能体强化学习框架,实现动态集成决策。同时,该检测方法设计了针对SQL注入攻击混淆特点的对抗样本生成模块,增强了模型对复杂变形攻击的识别能力。此外,结合LIME与SHAP方法对检测结果进行可解释性分析,增强系统的透明度与实用性。实验结果表明,该方法在保持较低计算资源消耗的前提下,有效缓解了样本不均衡与攻击模式多样化引起的检测偏差问题。该方法在综合性SQL注入数据集上的检测准确率达0.955,AUC值为0.978,显著优于现有基线方法,为SQL注入攻击的智能化检测提供了有效解决方案。 展开更多
关键词 sql注入攻击检测 图注意力网络 多智能体 DQN 可解释强化学习
在线阅读 下载PDF
Hint-SQL:基于自动线索生成的Text-to-SQL提示方法
6
作者 谭钊 刘喜平 +4 位作者 舒晴 万齐智 刘德喜 万常选 廖国琼 《计算机学报》 北大核心 2026年第3期700-720,共21页
Text-to-SQL旨在将自然语言问题翻译为可被数据库系统执行的SQL语句,从而为数据查询提供便利。随着大语言模型(LLMs)技术的发展,基于LLMs的Text-to-SQL提示方法成为该领域的主流解决方案。近年来,研究者在LLMs的提示词中加入线索(Hint)... Text-to-SQL旨在将自然语言问题翻译为可被数据库系统执行的SQL语句,从而为数据查询提供便利。随着大语言模型(LLMs)技术的发展,基于LLMs的Text-to-SQL提示方法成为该领域的主流解决方案。近年来,研究者在LLMs的提示词中加入线索(Hint)来传递具体的Text-to-SQL建议,以引导LLMs生成SQL。然而,现有线索多由研究者根据Text-to-SQL任务的特点人为撰写,其内容过于宽泛,难以根据具体的任务需求做出调整,无法适配所有Text-to-SQL任务。本文提出基于自动线索生成的Text-to-SQL提示方法Hint-SQL,它能够根据当前Text-to-SQL任务自动地生成合适的语义、操作和结构线索,从而引导LLMs生成语义一致、结构正确的SQL。为了生成任务定制化线索,我们构建了线索生成智能体(HAgent)。HAgent基于两阶段微调框架,由开源LLMs微调而来,该框架自动合成微调所需数据,无需人工标注,为监督微调和偏好学习优化提供支持。HintSQL既可以单独使用,也可以用来增强现有方法。大规模实验结果显示,HintSQL独立使用时可以媲美主流方法,也可以显著增强现有方法性能,在BIRD数据集上,HintSQL将当前最好方法的准确率提升到了71.58%,提升幅度达到4.37%。本研究揭示了线索在Text-to-SQL任务中的重要作用,为Text-to-SQL的后续研究提供了参考。 展开更多
关键词 自然语言处理 Text-to-sql 大语言模型 提示工程 线索
在线阅读 下载PDF
基于特征融合的SQL注入多分类检测
7
作者 姜珍珍 杨彬彬 薛峰 《合肥工业大学学报(自然科学版)》 北大核心 2026年第2期167-172,193,共7页
SQL注入攻击是一种常见的网络安全威胁,因此检测SQL注入成为网络安全领域的一项重要研究内容。传统SQL注入检测方法存在准确性低、无法确定SQL注入攻击的具体类型等问题,文章提出一种基于特征融合的SQL注入攻击多分类检测方法(feature f... SQL注入攻击是一种常见的网络安全威胁,因此检测SQL注入成为网络安全领域的一项重要研究内容。传统SQL注入检测方法存在准确性低、无法确定SQL注入攻击的具体类型等问题,文章提出一种基于特征融合的SQL注入攻击多分类检测方法(feature fusion-based multi-class SQL injection detection,FMCSID)。实验结果表明,该方法不仅达到了99.99%的准确率,而且能够确定SQL注入攻击的具体类型,为安全人员提供更加具体的SQL注入攻击的描述信息和意图,以制定更有针对性的应对措施,提高网络安全的防护能力。 展开更多
关键词 sql注入检测 网络安全 多分类 特征融合 深度学习 sql标准化
在线阅读 下载PDF
基于大数据背景的NoSQL数据库技术
8
作者 袁芳 《科技视界》 2025年第27期57-59,共3页
随着时代的不断发展与进步,传统的数据存储模式已不再适应现代社会的大数据管理开发需求,亟须对其进行改进与创新。本文以大数据背景下数据库的开发建设需求作为切入点,介绍了以NoSQL数据库为载体的数据存储策略,同时从数据库整体架构... 随着时代的不断发展与进步,传统的数据存储模式已不再适应现代社会的大数据管理开发需求,亟须对其进行改进与创新。本文以大数据背景下数据库的开发建设需求作为切入点,介绍了以NoSQL数据库为载体的数据存储策略,同时从数据库整体架构、数据迁移模块、数据存储模块、数据查询模块、风险告警模块等角度,对NoSQL数据库系统架构进行了建设,并针对相关数据库性能进行了验证。 展开更多
关键词 大数据 nosql数据库 系统架构 数据存储
在线阅读 下载PDF
基于C#+SQL的MDB格式管线成果转换软件设计与实现
9
作者 张济楷 郭世极 李鑫 《城市勘测》 2026年第1期96-100,共5页
为解决多源管线成果数据统一化的问题,通过分析MDB管线成果的数据结构与属性字段,使用C#和SQL语言开发了管线MDB成果转换软件。本文提出功能解耦与模块化设计的开发思路,以减少软件开发工作量,提升软件的兼容性与灵活性。结合工程实际需... 为解决多源管线成果数据统一化的问题,通过分析MDB管线成果的数据结构与属性字段,使用C#和SQL语言开发了管线MDB成果转换软件。本文提出功能解耦与模块化设计的开发思路,以减少软件开发工作量,提升软件的兼容性与灵活性。结合工程实际需求,设计了数据转换质量检查机制,有效保障了转换数据的准确性和可靠性。以某市管线探测项目为实例,验证了转换方法的可行性及软件的应用价值,为解决类似技术难题提供了有力参考。 展开更多
关键词 管线成果 MDB 数据转换 C# sql
在线阅读 下载PDF
增强模式链接与多生成器协同的SQL生成框架MG-SQL
10
作者 吴定佳 崔喆 《计算机应用》 北大核心 2026年第3期723-731,共9页
针对大语言模型(LLM)在复杂多表数据库场景下生成结构化查询语言(SQL)的局限性,提出基于多生成器协同的Text-to-SQL框架——MG-SQL(Multi-Generator SQL)。首先,针对无关模式信息导致的噪声干扰,通过生成初始SQL,并结合语义相似度检索,... 针对大语言模型(LLM)在复杂多表数据库场景下生成结构化查询语言(SQL)的局限性,提出基于多生成器协同的Text-to-SQL框架——MG-SQL(Multi-Generator SQL)。首先,针对无关模式信息导致的噪声干扰,通过生成初始SQL,并结合语义相似度检索,提出增强模式链接优化方法。其次,为提高候选SQL的质量、增强多样性,基于精简模式构建多策略协同生成框架:1)使用经验生成器检索动态示例;2)使用思维链生成器强化逻辑推理;3)使用查询计划生成器模拟数据库的执行流程;4)使用渐进生成器进行迭代优化。再次,使用投票机制对SQL进行择优。最后,进一步提出反思学习机制,通过对比生成结果与参考SQL形成反思样本,动态构建领域经验库以实现持续学习。在BIRD基准测试中的结果表明,采用轻量级GPT-4o-mini模型时,所提框架的模式链接实现了98.89%的严格召回率(SRR),有效筛除了44.91%无关列;所提框架生成的SQL的执行准确率(EX)达69.69%,有效效率分数(VES)达79.59%,超越基于GPT-4o的主流方法,验证了所提框架在复杂场景下的有效性。 展开更多
关键词 模式链接 大语言模型 Text-to-sql 检索增强 上下文学习
在线阅读 下载PDF
面向船舶设计管理的SQL Agent应用设计
11
作者 周泽鹏 董柏廷 +3 位作者 陈刚 张延昌 袁飞晖 李思远 《无线互联科技》 2026年第6期77-84,共8页
针对船舶设计管理中因数据表单存储形式多样而引发的设计数据分散、过程状态难以跟踪、跨专业协同信息提取困难等瓶颈问题,文章开展了结构化查询语言智能体(Structured Query Language Agent,SQL Agent)系统在船舶设计管理场景下的应用... 针对船舶设计管理中因数据表单存储形式多样而引发的设计数据分散、过程状态难以跟踪、跨专业协同信息提取困难等瓶颈问题,文章开展了结构化查询语言智能体(Structured Query Language Agent,SQL Agent)系统在船舶设计管理场景下的应用方案设计。其中,在SQL Agent的背景知识管理方面,依托向量数据库中存储问答对与表单基本信息等方式,快速检索输入问题的相关背景知识,将其注入SQL Agent系统提示词,辅助后续SQL Agent的工具选择与信息生成。同时,文章依托业务流管理,设计SQL Agent执行过程,明确业务关键节点,提升SQL生成可靠性与准确性。文章分别开发了基于Vanna和Langgraph开发框架的SQL Agent系统,实现了船舶设计场景下的自然语言问数功能并进行了性能对比与分析,为后续进一步工程场景下的应用提供技术参考与支撑。 展开更多
关键词 向量数据库 sql Agent 船舶设计管理 工作流管理
在线阅读 下载PDF
基于SQL的民营医院科室绩效计算与分析
12
作者 石晓宇 张晓斌 《通讯世界》 2026年第1期172-174,共3页
为解决医院科室架构重组、业务流程优化、评价规则迭代导致医院绩效系统难以适配医院业务的问题,以某二甲民营医院为例,针对绩效动态响应式计算展开研究,提出一种基于结构化查询语言(structured query language,SQL)的医院科室绩效计算... 为解决医院科室架构重组、业务流程优化、评价规则迭代导致医院绩效系统难以适配医院业务的问题,以某二甲民营医院为例,针对绩效动态响应式计算展开研究,提出一种基于结构化查询语言(structured query language,SQL)的医院科室绩效计算方法。该方法可深度挖掘SQL的动态扩展能力,围绕医院科室绩效评价指标与计算公式的既定规则,通过SQL语句实现数据提取、指标计算等核心操作,并依托数据库临时表技术完成绩效计算结果的入库存储,保障绩效数据计算过程的落地实施,可为相关人员提供参考。 展开更多
关键词 sql 医院科室绩效 动态计算 过程追溯
暂未订购
基于DeepSeek大模型的自然语言到SQL生成方法研究
13
作者 谢奇材 周朝虎 +2 位作者 屈亚 郑晓莉 刘世贵 《电脑知识与技术》 2026年第2期10-14,共5页
自然语言到SQL(Text-to-SQL)的转换是降低数据库使用门槛的关键技术。针对现有方法在处理复杂中文查询和语义歧义方面的挑战,文章提出一种基于DeepSeek大模型的Text-to-SQL生成方法。该方法利用DeepSeek强大的语义理解能力进行深度解析... 自然语言到SQL(Text-to-SQL)的转换是降低数据库使用门槛的关键技术。针对现有方法在处理复杂中文查询和语义歧义方面的挑战,文章提出一种基于DeepSeek大模型的Text-to-SQL生成方法。该方法利用DeepSeek强大的语义理解能力进行深度解析,并结合专为SQL语法设计的生成与优化策略,以提升转换的准确性。文章详细阐述了该方法的语义解析流程与语法生成机制,并探讨了针对语义歧义性与复杂性的应对策略。通过在公开基准数据集CSpider及自建金融数据集上的实验验证,所提方法的执行准确率分别达到89.7%和83.1%,显著优于多种基线模型。研究结果表明,该方法能够有效处理复杂的多表连接与嵌套查询,为实现高效、精准的自然语言数据库交互提供了可行解决方案。 展开更多
关键词 DeepSeek大模型 自然语言处理 sql转换 语义识别
在线阅读 下载PDF
一种基于NoSQL的地图瓦片数据存储技术 被引量:33
14
作者 陈超 王亮 +3 位作者 闫浩文 仇阿根 李玉祥 朱芳菲 《测绘科学》 CSCD 北大核心 2013年第1期142-143,159,共3页
本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差... 本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差异。研究结果表明,Mongo DB在海量空间数据存储与并发访问方面具有明显的高效性。 展开更多
关键词 nosql 地图瓦片 Mongo DB 四叉树 sql SERVER 2000
原文传递
支持大数据管理的NoSQL系统研究综述 被引量:197
15
作者 申德荣 于戈 +2 位作者 王习特 聂铁铮 寇月 《软件学报》 EI CSCD 北大核心 2013年第8期1786-1803,共18页
针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑... 针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望. 展开更多
关键词 nosql key-value存储 大数据管理
在线阅读 下载PDF
基于NoSQL数据库的农田物联网云存储系统设计与实现 被引量:37
16
作者 许鑫 时雷 +2 位作者 何龙 张浩 马新明 《农业工程学报》 EI CAS CSCD 北大核心 2019年第1期172-179,共8页
为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结... 为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结构化和结构化数据,基于Redis缓存服务,设计了三层物联网数据云存储框架,实现了海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数据一致性,该文采用基于HLock的乐观锁机制,实现了HBase对强事务性的支持,经过与传统MySQL集群事务对比测试,当数据量级在500万时,数据读取效率提升达35.75%。为了提高农田物联网中大量的小图片和小文件处理效率,基于图片打包合并策略,利用SequenceFile技术实现物联图片的快速索引读写技术,与原生HDFS存储效率相比,读写效率提升30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。 展开更多
关键词 农田 数据存储系统 管理 物联网 nosql Hadoop HBASE 云存储
在线阅读 下载PDF
基于NoSQL数据库的空间大数据分布式存储策略 被引量:71
17
作者 李绍俊 杨海军 +1 位作者 黄耀欢 周芹 《武汉大学学报(信息科学版)》 EI CSCD 北大核心 2017年第2期163-169,共7页
基于关系型数据库的空间数据存储与处理是地理信息系统(geographic information system,GIS)领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管... 基于关系型数据库的空间数据存储与处理是地理信息系统(geographic information system,GIS)领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。 展开更多
关键词 空间数据库 大数据 nosql数据库 分布式存储
原文传递
基于NoSQL的海量空间数据云存储与服务方法 被引量:66
18
作者 陈崇成 林剑峰 +2 位作者 吴小竹 巫建伟 连惠群 《地球信息科学学报》 CSCD 北大核心 2013年第2期166-174,共9页
近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存... 近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。 展开更多
关键词 空间数据 云存储 nosql 地理知识云 数据聚合中心
原文传递
基于NoSQL数据库的大数据查询技术的研究与应用 被引量:29
19
作者 朱建生 汪健雄 张军锋 《中国铁道科学》 EI CAS CSCD 北大核心 2014年第1期135-141,共7页
基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用No... 基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用NoSQL数据库中的面向分布式计算的Cassandra数据库。基于Cassandra数据库,提出铁路客票实名制信息综合分析系统的技术架构,并设计反向索引以构建客票实名制乘车信息的查询策略和查询流程。通过性能测试,验证了NoSQL数据库技术在处理大数据查询和分析中的高可用性,可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能、扩展性以及投资成本的瓶颈。 展开更多
关键词 nosql数据库 Cassandra数据库 大数据处理 反向索引 数据查询
在线阅读 下载PDF
上一页 1 2 250 下一页 到第
使用帮助 返回顶部