基于Nutch农业搜索引擎的研究与设计 被引量：15

1

作者 周鹏 吴华瑞 +2 位作者 赵春江 杨宝祝 朱华吉 《计算机工程与设计》 CSCD 北大核心 2009年第3期610-612,共3页

针对目前通用搜索引擎对专门领域及特定主题信息覆盖率较低,在开源的Nutch搜索引擎架构的基础上,通过Hash索引在多语种农业叙词表AGROVOC上进行农业词典的构建,利用已有的空间向量算法进行农业相关度计算,并结合Page-Rank的改进算法对... 针对目前通用搜索引擎对专门领域及特定主题信息覆盖率较低,在开源的Nutch搜索引擎架构的基础上,通过Hash索引在多语种农业叙词表AGROVOC上进行农业词典的构建,利用已有的空间向量算法进行农业相关度计算,并结合Page-Rank的改进算法对结果综合排序,搭建了一个面向互联网上农业相关信息资源的搜索引擎。相对于通用搜索引擎来说减少了搜索结果的信息量,提高了搜索速度,同时提高了专业信息搜索的准确率。 展开更多

关键词 NUTCH 搜索引擎 农业词典 主题过滤 网页排序

在线阅读 下载PDF 职称材料

基于多Agent系统的定题爬虫算法 被引量：4

2

作者 徐照财 程显毅 《计算机工程》 CAS CSCD 北大核心 2008年第16期204-206,共3页

定题爬虫的研究是定题搜索引擎的关键技术。该文提出一种基于多Agent系统的爬虫算法,采用本题语义主题关键词过滤的方法来抓取与主题相关的网页,利用本体库语义网络实现本体领域中同近义词的过滤。凭借HTML网页标记对关键字识别的不同... 定题爬虫的研究是定题搜索引擎的关键技术。该文提出一种基于多Agent系统的爬虫算法,采用本题语义主题关键词过滤的方法来抓取与主题相关的网页,利用本体库语义网络实现本体领域中同近义词的过滤。凭借HTML网页标记对关键字识别的不同权重和超链接锚文本对主题相关网页进行预测,通过黑板的通信机制实现多Agent交互。实验结果表明算法在抓取网页的查准率、查全率方面有一定的改善。 展开更多

关键词 定题爬虫 主题关键字过滤 语义

在线阅读 下载PDF 职称材料

农业主题垂直搜索引擎过滤技术研究 被引量：1

3

作者 兰富军 李春霆 高海忠 《安徽农业科学》 CAS 北大核心 2010年第9期4918-4919,4927,共3页

借助垂直搜索引擎技术,可以在海量的农业知识资源中快速、准确地查询到符合用户需求的信息。当前的农业主题垂直搜索引擎过滤技术存在着忽略WEB内容、易发生主题漂移等缺点,在详细分析当前算法特点的基础上,结合其中的PageRank算法,对... 借助垂直搜索引擎技术,可以在海量的农业知识资源中快速、准确地查询到符合用户需求的信息。当前的农业主题垂直搜索引擎过滤技术存在着忽略WEB内容、易发生主题漂移等缺点,在详细分析当前算法特点的基础上,结合其中的PageRank算法,对其进行改进,形成针对农业信息的垂直搜索引擎过滤算法,对农业信息化的建设和农业数据资源的共享具有重要意义。 展开更多

关键词 垂直搜索引擎 农业主题 过滤技术

在线阅读 下载PDF 职称材料

基于LDA模型的音乐推荐算法 被引量：16

4

作者 李博 陈志刚 +1 位作者 黄瑞 郑祥云 《计算机工程》 CAS CSCD 北大核心 2016年第6期175-179,184,共6页

互联网的普及以及音乐资源的电子化使得人们可以更方便地获得音乐资源。但随着音乐库变得越来越大、资源越来越丰富,人们已经很难准确及时地找到自己喜欢的音乐。因此,对于音乐网站而言,需要一个合适的音乐推荐算法向用户推荐音乐。根... 互联网的普及以及音乐资源的电子化使得人们可以更方便地获得音乐资源。但随着音乐库变得越来越大、资源越来越丰富,人们已经很难准确及时地找到自己喜欢的音乐。因此,对于音乐网站而言,需要一个合适的音乐推荐算法向用户推荐音乐。根据已有的基于音频信息的音乐推荐以及协同过滤方法,分析用户的音乐试听数据以及下载数据,并结合Latent Dirichlet分配(LDA)主题挖掘模型,提出一种音乐推荐算法。实验结果表明,与基于用户的协同过滤算法以及基于项目的协同过滤算法相比,该算法可以更加高效地向用户推荐感兴趣的音乐。 展开更多

关键词 协同过滤 音乐推荐 主题挖掘 LATENT Dirichlet分配模型 吉布斯抽样 基于LDA模型的音乐推荐

在线阅读 下载PDF 职称材料

基于LDA的隐式标签协同过滤推荐算法 被引量：2

5

作者 文勇军 何环晶 唐立军 《计算机与现代化》 2022年第3期53-58,69,共7页

固定标签协同过滤推荐算法,未充分考虑标签因子的多样化,主要依靠人工标记,扩展性不强,主观因素多。本文从用户的喜好特征因素角度出发,在固定标签协同过滤推荐算法的基础上,提出一种隐式标签协同过滤推荐算法。该算法利用LDA主题模型... 固定标签协同过滤推荐算法,未充分考虑标签因子的多样化,主要依靠人工标记,扩展性不强,主观因素多。本文从用户的喜好特征因素角度出发,在固定标签协同过滤推荐算法的基础上,提出一种隐式标签协同过滤推荐算法。该算法利用LDA主题模型生成项目文本的隐式标签,得到项目-标签特征权重,根据算法性能优化的要求选择标签数量,将项目-标签矩阵与用户评分矩阵结合得到用户对标签的偏好矩阵,最后通过协同过滤算法产生推荐。实验结果表明,本文提出的基于LDA的隐式标签协同过滤推荐算法缓解了数据稀疏性问题,项目推荐的召回率、准确度和F1值有较大提升。 展开更多

关键词 固定标签 协同过滤 LDA主题模型 隐式标签 算法改进

在线阅读 下载PDF 职称材料

第三方引导下的极区超视距目标指示方法 被引量：1

6

作者 孙永侃 张萍萍 《现代防御技术》 2018年第3期66-72,共7页

在多传感器对目标进行引导时,传统目标方位角以地理北为方位参考,由于极区经线收敛导致地理北迅速收敛于北极点,进而导致目标方位角的误差增大,无法满足极区舰艇作战指挥系统对目指信息的精度需求,为了克服这一问题,提出建立横向地理北... 在多传感器对目标进行引导时,传统目标方位角以地理北为方位参考,由于极区经线收敛导致地理北迅速收敛于北极点,进而导致目标方位角的误差增大,无法满足极区舰艇作战指挥系统对目指信息的精度需求,为了克服这一问题,提出建立横向地理北作为方位参考,并在此基础上构建大地主题解算模型以及无迹卡尔曼滤波模型,仿真分析的结果表明,提出的方法能够提高第三方引导下的极区超视距目指信息精度,能够满足极区舰艇作战指挥系统对目指信息的精度需求。 展开更多

关键词 第三方引导 极区 超视距目标指示 横向坐标系 大地主题解算 无迹卡尔曼滤波

在线阅读 下载PDF 职称材料

基于背景的Web广泛主题发现方法

7

作者 付涛 《电脑学习》 2010年第2期80-81,共2页

提出了一种主题背景的概念,认为Web上的所有内容都有一个背景分布,通过此背景分布可以发现Web广泛主题;主要介绍了几种基于背景的广泛主题发现方法,同时也指出这些方法的不足和发展方向。

关键词 背景 广泛主题 噪声 过滤

在线阅读 下载PDF 职称材料

一种基于系统主题挖掘的协同过滤算法 被引量：2

8

作者 李雪 高心丹 《小型微型计算机系统》 CSCD 北大核心 2018年第4期664-667,共4页

针对传统推荐算法在近邻寻找时忽略了系统自身群组特性的问题,依据项目内容与分类标签间的高关联性,对项目类别标签进行聚类,提出一种系统主题生成算法.基于同一时间段内相同主题的项目具有较高相似性的思想,在计算类内项目相似度时考... 针对传统推荐算法在近邻寻找时忽略了系统自身群组特性的问题,依据项目内容与分类标签间的高关联性,对项目类别标签进行聚类,提出一种系统主题生成算法.基于同一时间段内相同主题的项目具有较高相似性的思想,在计算类内项目相似度时考虑了项目的评分和时间相似性.对于跨主题分布的项目,在评分预测阶段引入了主题偏重系数对类内评分进行加权计算.根据上述理论思想对传统的协同过滤推荐算法进行改进,提出一种基于系统主题挖掘的协同过滤算法.实验结果表明,该算法对传统算法中存在的问题进行了改善且推荐精度有所提高. 展开更多

关键词 推荐系统 协同过滤 聚类 主题挖掘 相似度

在线阅读 下载PDF 职称材料

基于农业领域的网络爬虫 被引量：2

9

作者 吴菊英 贾炅昊 冯秀芳 《电脑开发与应用》 2012年第8期30-32,共3页

以农业环境为背景,在搜索引擎基础而又非常重要的部分——网络爬虫的基础上,提出了改进的爬虫设计,其中采用了主题相关性判断和网页选择器筛选的方法,并且通过建立对应的农产品词库,结果表明在农业领域的搜索相关性上有大幅度的提高。

关键词 网络爬虫 URL过滤 农业搜索 主题相关性 聚焦模型

在线阅读 下载PDF 职称材料

个性化推荐算法的分析与改进 被引量：2

10

作者 赵棣 《信息与电脑》 2023年第5期81-83,共3页

大数据背景下,一般使用推荐算法获取目标用户。基于此,通过对各类推荐算法进行分析,比较各类算法的优缺点,并针对各类算法的特点和不足,提出一种混合推荐算法。首先,为解决算法初期的冷启动现象,将主题模型与协同过滤算法相结合,生成用... 大数据背景下,一般使用推荐算法获取目标用户。基于此,通过对各类推荐算法进行分析,比较各类算法的优缺点,并针对各类算法的特点和不足,提出一种混合推荐算法。首先,为解决算法初期的冷启动现象,将主题模型与协同过滤算法相结合,生成用户偏好概率预测矩阵;其次,为改善用户过少造成的稀疏性问题,采用聚类算法填充评分矩阵;最后,为进一步提高推荐精确度,改进各项权重参数,生成融合主题模型和协同过滤推荐算法的混合推荐方法。 展开更多

关键词 主题模型 协同过滤 混合推荐 聚类算法

在线阅读 下载PDF 职称材料

面向智能写作的混合推荐模型研究

11

作者 龙婧 徐文峰 罗启星 《电力信息与通信技术》 2019年第4期56-61,共6页

为了减轻文字工作者的工作压力,降低企业在文档编制领域的成本开销,文章设计了一种应用于文本写作中的混合推荐模型。在用户编写文档时,利用混合推荐模型可实现根据用户身份信息和当前输入内容从历史文档数据中找出匹配度最高的语句为... 为了减轻文字工作者的工作压力,降低企业在文档编制领域的成本开销,文章设计了一种应用于文本写作中的混合推荐模型。在用户编写文档时,利用混合推荐模型可实现根据用户身份信息和当前输入内容从历史文档数据中找出匹配度最高的语句为用户进行推荐。通过实验对比分析,使用混合推荐模型推荐和单独基于文本内容的推荐与用户画像推荐相比,推荐精度有一定提高,且在文档写作效率上有明显提升。该推荐模型在文本写作中的应用,对提高电网公司文档办公效率具有重要的实用价值。 展开更多

关键词 自然语言处理 CRF分词算法 主题模型 协同过滤 文本推荐

在线阅读 下载PDF 职称材料

一种负样本改进的LDA主题模型推荐算法 被引量：3

12

作者 张航 何灵敏 《中国计量大学学报》 2018年第1期55-58,63,共5页

LDA主题模型是文本挖掘领域的重要算法,同时在推荐系统当中也有不错的表现.通过LDA主题模型挖掘用户感兴趣的主题,是目前最常用的用户兴趣主题挖掘方法之一.为了提高LDA主题模型应用在推荐系统时的推荐质量,我们提出了一种基于负样本进... LDA主题模型是文本挖掘领域的重要算法,同时在推荐系统当中也有不错的表现.通过LDA主题模型挖掘用户感兴趣的主题,是目前最常用的用户兴趣主题挖掘方法之一.为了提高LDA主题模型应用在推荐系统时的推荐质量,我们提出了一种基于负样本进行学习的方法 negLDA.通过创造出负样本来学习用户对物品的负面预测评分,同时结合正样本学习得到的正面预测评分,从正反两个方面进行综合评测,从而更加精确地衡量出用户对物品的预测评分.通过在MoviesLens-100k、MovieLens-1M、FilmTrust这三个数据集上的实验,表明所提出的算法在精确率、召回率、AUC三个指标上相比传统算法均有一定改进. 展开更多

关键词 LDA主题模型 推荐系统 负样本 矩阵分解 协同过滤

在线阅读 下载PDF 职称材料

杭州市首座半地埋式污水处理厂工程设计

13

作者 吴锦谢 陈维航 +3 位作者 周海珊 王闻婷 单依雯 徐挺 《中国给水排水》 CAS CSCD 北大核心 2024年第18期53-56,57,58,共6页

杭州市七格污水处理厂四期工程规模为30×10^(4) m^(3)/d,针对城市土地资源愈发稀缺、居民对环境要求日益增高等问题,采用双层加盖的半地埋布置形式,顶部为生态主题景观公园。污水处理采用具有脱氮除磷功能的“A+AAO生物处理+反硝... 杭州市七格污水处理厂四期工程规模为30×10^(4) m^(3)/d,针对城市土地资源愈发稀缺、居民对环境要求日益增高等问题,采用双层加盖的半地埋布置形式,顶部为生态主题景观公园。污水处理采用具有脱氮除磷功能的“A+AAO生物处理+反硝化深床滤池+紫外线消毒”工艺,出水水质稳定达到并优于一级A排放标准。该工程具有环境友好、土地集约、资源利用、工艺运行灵活等优点,是杭州市首座半地埋式污水处理厂,相比七格前三期地上式污水处理厂,其单位处理水量占地面积减少31%。 展开更多

关键词 污水处理厂 半地埋式 生态主题景观公园 脱氮除磷 反硝化深床滤池

原文传递

针对爬虫的域名链接过滤算法 被引量：1

14

作者 文阳 陈文宇 +1 位作者 袁野 朱建 《图书情报工作》 CSSCI 北大核心 2014年第20期125-130,共6页

认为传统的基于主题的链接过滤算法虽然在某一领域的主题爬虫中使用广泛,但该方法只关心抓取的网页与主题之间的相关性,忽略了网站自身链接的结构特点。提出基于域名的链接过滤算法,该方法对基于网页链接中域名的结构特点进行比较,同时... 认为传统的基于主题的链接过滤算法虽然在某一领域的主题爬虫中使用广泛,但该方法只关心抓取的网页与主题之间的相关性,忽略了网站自身链接的结构特点。提出基于域名的链接过滤算法,该方法对基于网页链接中域名的结构特点进行比较,同时以基于主题的链接过滤算法作为辅助,判断出无用的垃圾链接。与单一基于主题的链接过滤算法相比较,基于域名的链接过滤算法的判断方式更为全面,链接过滤效率更高,从而能有效地提高网络爬虫的抓取效率和情报检索的效率。最后,通过仿真实验证明该算法的有效性。 展开更多

关键词 网络爬虫 链接过滤 域名过滤 主题过滤

原文传递

基于大数据技术的农产品智能推荐方法研究 被引量：1

15

作者 傅思维 陈桂芬 赵姗 《东北农业科学》 北大核心 2020年第6期140-144,共5页

随着智慧农业与大数据智能的兴起,农产品电商平台智能推荐方法正成为高效满足个性化需求的重要手段。针对传统推荐方法存在的耗时长、效率低问题,本研究提出了基于大数据处理技术的农产品智能推荐方法。该方法首先将文档主题算法与矩阵... 随着智慧农业与大数据智能的兴起,农产品电商平台智能推荐方法正成为高效满足个性化需求的重要手段。针对传统推荐方法存在的耗时长、效率低问题,本研究提出了基于大数据处理技术的农产品智能推荐方法。该方法首先将文档主题算法与矩阵分解算法混合,形成文档主题与矩阵分解混合算法;然后,将基于物品的协同过滤算法和文档主题与矩阵分解混合算法进行加权融合;最后,搭建Spark并行化计算平台,抓取京东商城和中国农产品网销售评分、评论等数据,进行特征提取、加权融合、智能推荐、误差测评。实验结果表明:文档主题与矩阵分解混合算法可有效提高推荐准确率;主题加权融合协同过滤算法可提高多样性;农产品智能推荐方法在推荐质量及执行效率方面具有明显提升。 展开更多

关键词 混合算法 主题加权融合协同过滤算法 智能推荐 农产品 大数据处理技术

原文传递