期刊文献+
共找到129篇文章
< 1 2 7 >
每页显示 20 50 100
An Analysis of the Construction Methods of Multimodal Course Knowledge Graphs
1
作者 Fulin Li 《Journal of Electronic Research and Application》 2025年第3期171-177,共7页
In the context of digitalization,course resources exhibit multimodal characteristics,covering various forms such as text,images,and videos.Course knowledge and learning resources are becoming increasingly diverse,prov... In the context of digitalization,course resources exhibit multimodal characteristics,covering various forms such as text,images,and videos.Course knowledge and learning resources are becoming increasingly diverse,providing favorable conditions for students’in-depth and efficient learning.Against this backdrop,how to scientifically apply emerging technologies to automatically collect,process,and integrate digital learning resources such as voices,videos,and courseware texts,and better innovate the organization and presentation forms of course knowledge has become an important development direction for“artificial intelligence+education.”This article elaborates on the elements and characteristics of knowledge graphs,analyzes the construction steps of knowledge graphs,and explores the construction methods of multimodal course knowledge graphs from aspects such as dataset collection,course knowledge ontology identification,knowledge discovery,and association,providing references for the intelligent application of online open courses. 展开更多
关键词 multimodalITY Course knowledge graph Construction method
在线阅读 下载PDF
面向心理建设的阅读滋养多模态知识图谱构建
2
作者 王秀红 吴丹 +1 位作者 刘浩东 徐振宇 《图书馆杂志》 北大核心 2026年第2期92-102,共11页
构建阅读滋养领域多模态知识图谱,将领域知识表现为实体、属性和关系的网络,实现阅读滋养书方的跨模态整合与可视化,用以进行访问与深度查询,为面向心理建设的阅读推广提供知识保障。本文引入本体,构建面向心理建设的阅读滋养领域书方... 构建阅读滋养领域多模态知识图谱,将领域知识表现为实体、属性和关系的网络,实现阅读滋养书方的跨模态整合与可视化,用以进行访问与深度查询,为面向心理建设的阅读推广提供知识保障。本文引入本体,构建面向心理建设的阅读滋养领域书方语义描述模型。首先数据获取和预处理,包括:实证研究、大众和专家推荐的有益于心理建设的书籍、音乐、影视;其次通过知识抽取与挖掘实现相关文本、视频、音频资源的知识重组;最后基于构建的知识图谱,探讨阅读滋养领域大模型的实现路径。面向多模态书方的阅读滋养领域知识语义关联方案具有可行性与适用性,可促进心理建设领域跨场景、跨资源、跨时空的多维知识组织与融合应用。本文知识图谱的构建为阅读滋养领域AI对话知识库构建提供知识保障,为领域大模型提供高质量的外脑知识,可更好地服务于“深化全民阅读”国家战略与社会心理建设需求。 展开更多
关键词 心理建设 阅读滋养 阅读疗愈 阅读推广 多模态 知识图谱
原文传递
自适应融合的多模态实体对齐方法
3
作者 王艺焱 王海荣 +1 位作者 王怡梦 王文龙 《计算机工程与科学》 北大核心 2026年第2期372-380,共9页
针对多模态实体对齐存在的特征融合时信息易丢失问题,以及对齐时仅关注联合实体向量导致实体无法被正确对齐的问题,提出了自适应融合的多模态实体对齐方法ADMMEA。该方法利用FastText、ResNet-152和GAT模型提取多模态实体特征,同时获取... 针对多模态实体对齐存在的特征融合时信息易丢失问题,以及对齐时仅关注联合实体向量导致实体无法被正确对齐的问题,提出了自适应融合的多模态实体对齐方法ADMMEA。该方法利用FastText、ResNet-152和GAT模型提取多模态实体特征,同时获取实体名称、图像和结构数据的特征表示;采用布雷-柯蒂斯(Bray-Curtis)相异矩阵与莱文斯坦(Levenshtein)距离,计算源实体与目标实体间的相似度,生成各模态的距离矩阵;通过自适应融合策略融合图文距离矩阵,将其与结构信息矩阵拼接,得到最终的融合矩阵;利用排序思想匹配对融合矩阵按照相似度分数进行降序排列实现多模态实体对齐。在DBP15K数据集的ZH-EN,JA-EN和FR-EN子数据集上进行方法实验,并将实验结果与JAPE,RDGCN,MOGNN和MIMEA等13种方法进行对比,结果表明ADMMEA在ZH-EN,JA-EN和FR-EN这3个数据集上的Hits@1指标分别达到了0.985,0.995和0.994,证明了ADMMEA方法的有效性。 展开更多
关键词 多模态知识图谱 多模态实体对齐 嵌入模型 自适应融合 匹配问题
在线阅读 下载PDF
汉派中医药多模态大模型构建及其在传承中的创新应用
4
作者 唐晓旭 孙淼 +1 位作者 刘志凯 戴燚 《中国数字医学》 2026年第2期24-31,共8页
目的:针对汉派中医药传承面临的古籍文献保存困难、知识传播渠道受限、医案与临床数据碎片化等现实困境,构建汉派中医药多模态大模型及数智化传承平台,以实现汉派中医药知识的智能化应用与互动式传承,提升其知识留存的完整性与传播的广... 目的:针对汉派中医药传承面临的古籍文献保存困难、知识传播渠道受限、医案与临床数据碎片化等现实困境,构建汉派中医药多模态大模型及数智化传承平台,以实现汉派中医药知识的智能化应用与互动式传承,提升其知识留存的完整性与传播的广泛性。方法:运用“四诊合参”数智融合AI模块、骨科专科检查的影像学数据(如X线、CT影像)、关节活动度等仪器采集参数,以及正骨手法视频、诊疗沟通音频等,搜集整理汉派中医知识,构建汉派中医知识图谱,形成汉派中医知识库,并通过开源大模型微调和知识增强技术构建特色大模型,形成“模型+数据+应用”的数智化传承平台。结果:通过“四诊合参”数智融合AI模块与汉派知识图谱联动,病历书写、诊断耗时分别缩短52%、55%,诊断准确率提升18.33%,漏诊率降低9.33%,特色方剂匹配度提升12.66%,场景使用率提升13.33%;数智化传承平台完成10部核心典籍解析,注册用户1200人、月活率51.4%,知识服务智能体咨询1.2万次、精准解答率达93%。结论:汉派中医药多模态大模型及数智化传承平台的构建,有效破解了汉派中医药“存不住、传不开、用不好”的困境,为年轻中医师学习汉派中医药提供了直观、高效的数字化工具,有力促进了汉派中医药的传承与创新应用。 展开更多
关键词 汉派中医药 多模态大模型 知识图谱 数智化传承 互动式培养
在线阅读 下载PDF
考虑故障预警的建筑机电设备智能运维仿真
5
作者 黄秋腾 刘先南 龙礼文 《计算机仿真》 2026年第1期51-55,共5页
智能运维依赖于对设备运行数据的实时监测和分析,然而这些数据来自不同的系统和设备组件,呈现出多源异构的特点,如何将这些分散的数据有效整合,形成一个统一的知识体系,为运维工作提供全面且系统的数据支持是当前研究的突破点,为此,提... 智能运维依赖于对设备运行数据的实时监测和分析,然而这些数据来自不同的系统和设备组件,呈现出多源异构的特点,如何将这些分散的数据有效整合,形成一个统一的知识体系,为运维工作提供全面且系统的数据支持是当前研究的突破点,为此,提出一种面向建筑机电设备的BIM智能运维方法。借助BIM技术整合设备信息,获取设备多模态数据,通过卷积神经网络(CNN)和基于约束图的图卷积网络(cgGCN)对多模态数据展开处理,完成建筑机电设备运维多模态知识图谱建立,避免数据分解性影响运维效果。根据知识图谱中的建筑机电设备故障历史数据,捕获机电设备的振动信号和特征,通过模糊运算判定机电设备运行故障,采用大数据分析技术分析预警建筑机电设备运行状态,完成机电设备运行故障预警,依据预警结果有效实现建筑机电设备智能运维。仿真结果表明,所提方法可以获取高精度的建筑机电设备故障预警结果,有效实现建筑机电设备的智能化运维和管理。 展开更多
关键词 建筑机电设备 智能运维 卷积神经网络 多模态知识图谱
在线阅读 下载PDF
多模态图模共融驱动的创新设计类课程数智化教学改革
6
作者 陈斌 《高等工程教育研究》 北大核心 2026年第1期53-58,共6页
本文瞄准“新工科”创新型卓越设计人才的培养目标,针对创新设计类课程教学中存在的学科知识交叉困难、创新思维激发困难、学习实践辅导困难三大教学瓶颈,构建多模态图模共融机制,规划“交叉-激发-辅导”三位一体数智化教学改革路径,基... 本文瞄准“新工科”创新型卓越设计人才的培养目标,针对创新设计类课程教学中存在的学科知识交叉困难、创新思维激发困难、学习实践辅导困难三大教学瓶颈,构建多模态图模共融机制,规划“交叉-激发-辅导”三位一体数智化教学改革路径,基于创新设计领域的科研成果和实践案例,以科促教,推动创新设计类课程的数智化教学改革,完成多学科交叉多模态知识图谱自动化构建、创新思维启发案例的定向生成机制构建,以及基于学科知识的可调控数智人助教构建。研究成果应用于“工业设计制图”课程的教学,取得了良好的效果,为“新工科”创新型卓越设计人才的培养提供了一条数字化转型和智能化发展的有效路径。 展开更多
关键词 多模态知识图谱 多模态大语言模型 数智人助教 图模共融 创新设计类课程
原文传递
基于大语言模型的非结构化信息智能抽取与集成
7
作者 陈进钱 《计算机应用文摘》 2026年第2期60-62,共3页
非结构化信息(如文本、图像、音频)占企业数据总量的80%以上,但其价值挖掘长期受限于传统信息处理技术的低效性。文章提出基于大语言模型(LLM)的非结构化信息智能抽取与集成框架,通过融合多模态预训练、领域自适应微调与知识图谱构建技... 非结构化信息(如文本、图像、音频)占企业数据总量的80%以上,但其价值挖掘长期受限于传统信息处理技术的低效性。文章提出基于大语言模型(LLM)的非结构化信息智能抽取与集成框架,通过融合多模态预训练、领域自适应微调与知识图谱构建技术,实现跨模态信息的语义关联与结构化存储。 展开更多
关键词 大语言模型 非结构化信息 多模态融合 知识图谱 领域自适应
在线阅读 下载PDF
多模态AI在自然资源监测中的应用探讨
8
作者 孙平 《科技创新与应用》 2026年第3期174-177,182,共5页
该文旨在探讨多模态AI在自然资源监测中的应用,通过从其技术原理、优势出发,构建“数据-模型-决策”三层动态监测体系架构,并分析在遥感监测、地面监测、无人机监测等典型自然资源监测场景中的应用。同时,提出知识图谱增强的多模态融合... 该文旨在探讨多模态AI在自然资源监测中的应用,通过从其技术原理、优势出发,构建“数据-模型-决策”三层动态监测体系架构,并分析在遥感监测、地面监测、无人机监测等典型自然资源监测场景中的应用。同时,提出知识图谱增强的多模态融合方法以及时空融合与异常检测机制,以提升监测的时效性与精准度。此外,还对多模态AI驱动的自然资源动态监测体系的发展趋势、面临的挑战及应对策略进行开放性讨论,旨在为自然资源监测的智能化转型提供新的思路和方向。 展开更多
关键词 多模态AI 自然资源监测 知识图谱 动态监测体系 发展趋势
在线阅读 下载PDF
知识图谱技术在跨领域数据语义集成中的应用
9
作者 宁舒 《计算机应用文摘》 2026年第3期212-214,共3页
在数字化转型背景下,跨领域数据语义集成面临数据异构性、语义歧义性等挑战。知识图谱作为结构化语义网络,通过“实体-关系”建模、逻辑推理与多模态融合技术,为跨领域数据集成提供统一语义框架。文章提出了基于知识图谱的跨领域数据集... 在数字化转型背景下,跨领域数据语义集成面临数据异构性、语义歧义性等挑战。知识图谱作为结构化语义网络,通过“实体-关系”建模、逻辑推理与多模态融合技术,为跨领域数据集成提供统一语义框架。文章提出了基于知识图谱的跨领域数据集成方法,通过动态实体对齐、多模态知识融合与可解释推理机制,实现金融、医疗、制造等领域数据的高效集成。实验结果表明,该方法在跨领域实体匹配准确率上达到96.7%,语义查询响应时间缩短至毫秒级,显著提升数据可用性与业务协同效率。 展开更多
关键词 知识图谱 跨领域数据集成 语义网络 动态实体对齐 多模态融合
在线阅读 下载PDF
从地理信息系统到地理智能体 被引量:13
10
作者 罗斌 刘文豪 +3 位作者 吴进 韩嘉福 吴文周 李洪省 《地球信息科学学报》 北大核心 2025年第1期83-99,共17页
【目的】地理系统是涵盖地球表层自然与人文现象及其相互关系的综合系统,而现有地理信息系统(GIS)虽能数字化处理这些地理要素,但其局限性在于缺乏物理与信息空间的双向交互,并且其模型通常依赖于预设规则和历史数据,难以应对快速变化... 【目的】地理系统是涵盖地球表层自然与人文现象及其相互关系的综合系统,而现有地理信息系统(GIS)虽能数字化处理这些地理要素,但其局限性在于缺乏物理与信息空间的双向交互,并且其模型通常依赖于预设规则和历史数据,难以应对快速变化和三维结构复杂的地理情境。为此,本文提出了“地理智能体”,作为地理信息系统的进阶形式,融合了具身智能、自监督学习和多模态语言模型,旨在提升环境感知、空间理解和自主决策能力。【方法】本文设计的地理智能体架构包含多模态感知、智能中枢和行动操控模块,分别通过传感器网络获取全方位环境信息、利用知识图谱和生成模型进行复杂情境推理,并最终实现对物理环境的实时调控和多层次规划。此外,地理智能体将通过地球模拟器和试验场平台测试,以适应虚拟和真实环境的差异,从而在复杂、动态地理情境中具备更强的自主应对能力。【结果】本文以虚拟数字人“地球通”为例,初步展示地理智能体在空间智能化应用中的具体实现。【结论】“地球通”作为地理智能体的原型机,集成了时空知识图谱(GeoKG)和认知地图生成大模型(GeoGPT)等模块,能够辅助用户在应急管理、城市规划和生态监测等领域中快速获取智能化的空间决策支持,充分体现了地理信息系统从信息处理工具向自主空间智能体的发展演化。 展开更多
关键词 智能地理系统 地理智能体 具身智能 自监督学习 多模态感知 知识图谱 大模型 空间智能
原文传递
基于图像置信度动态引导的多模态实体对齐 被引量:1
11
作者 张晓明 陈通庆 王会勇 《计算机工程》 北大核心 2025年第12期140-150,共11页
多模态实体对齐可以找到不同知识图谱中指向真实世界同一对象的实体进一步融合知识图谱。然而,图像在多模态知识图谱中作为关键的信息载体,其内在的噪声常常遭到忽略,这不仅降低了实体对齐的准确性,也影响了不同知识图谱融合的质量。因... 多模态实体对齐可以找到不同知识图谱中指向真实世界同一对象的实体进一步融合知识图谱。然而,图像在多模态知识图谱中作为关键的信息载体,其内在的噪声常常遭到忽略,这不仅降低了实体对齐的准确性,也影响了不同知识图谱融合的质量。因此,提出一种基于图像置信度动态引导的实体对齐模型。该模型首先计算实体所对应的每个图像符合预设类型的置信度;然后根据置信度动态挑选出类型一致且置信度最高的图像特征,并利用这些特征进行相似度计算,从而得到图像置信度引导的实体对齐相似度矩阵;最后使用晚期融合策略将其与文本引导的实体对齐相似度矩阵相结合,使之能够有效地处理多模态实体对齐任务。在两个常用的多模态数据集上的实验结果表明,该模型在性能上超越了现有的多种基线模型,能够较好地实现多模态实体对齐。 展开更多
关键词 知识图谱 多模态实体对齐 知识融合 多模态数据 知识表示学习
在线阅读 下载PDF
一种基于路径选择的多模态领域知识问答方法
12
作者 王向 李艳超 张晓明 《计算机应用与软件》 北大核心 2025年第4期189-200,244,共13页
基于知识图谱的问答领域中存在着自然语言与结构化知识的差异性挑战,因此,提出一种利用谓词选择路径的方法PMKBQA。构建多模态领域知识图谱和问题集;从问题中识别的主题实体出发,计算其边与问题谓词的相似度,以逐跳的方式生成答案路径,... 基于知识图谱的问答领域中存在着自然语言与结构化知识的差异性挑战,因此,提出一种利用谓词选择路径的方法PMKBQA。构建多模态领域知识图谱和问题集;从问题中识别的主题实体出发,计算其边与问题谓词的相似度,以逐跳的方式生成答案路径,直到找到问题答案,并依据答案路径获取问题答案的相关图像;在领域问题集上做用户满意度评估实验,结果表明该方法可以给用户提供满意的图像,同时在QALD数据集上进行问答效果的对比实验,结果表明该方法比基线方法在F1指标上有所提升。 展开更多
关键词 多模态知识图谱 问答 多模态问题集 路径选择
在线阅读 下载PDF
基于知识图谱和语义与结构融合的羊病诊断方法
13
作者 李书琴 高云帆 《农业机械学报》 北大核心 2025年第7期575-584,共10页
针对疾病诊断模型仅依靠语义特征而缺少结构特征,导致弱化诊断效果的问题,本文提出了基于知识图谱和语义与结构融合的羊病诊断方法。该方法采用双向门控循环单元(Bidirectional gated recurrent unit,BiGRU)获取症状文本的语义特征,采... 针对疾病诊断模型仅依靠语义特征而缺少结构特征,导致弱化诊断效果的问题,本文提出了基于知识图谱和语义与结构融合的羊病诊断方法。该方法采用双向门控循环单元(Bidirectional gated recurrent unit,BiGRU)获取症状文本的语义特征,采用图卷积网络(Graph convolutional network,GCN)获取症状知识图谱中潜在的结构特征。为更好地融合语义特征和结构特征,引入改进的注意力特征融合(Attentional feature fusion,AFF)模块。在羊病症状数据集Sheep上进行实验,结果表明本文模型的准确率、精确率、召回率、F1值、平均倒数排名分别达到96.86%、97.73%、97.32%、97.25%、97.49%,与TextCNN、TextRCNN、TextRNN、DPCNN、LASA、HSAN-capsule、DCDKG、CNNBiLSTM-Attention等模型对比,准确率提升0.19~1.76个百分点,精确率提升0.18~0.84个百分点,召回率提升0.14~1.21个百分点,F1值提升0.21~1.50个百分点,平均倒数排名提升0.15~0.23个百分点。同时在公开数据集Dxy和Muzhi上进行实验,模型表现出较好的鲁棒性。为增强疾病诊断的可解释性,本文提出了改进的基于梯度的显著性方法以解释诊断结果。该研究提出的融合语义和结构特征的方法有效提高了疾病诊断准确率,为羊病诊断提供技术支撑。 展开更多
关键词 羊病诊断 知识图谱 图卷积网络 可解释性 自然语言处理 多模态融合
在线阅读 下载PDF
基于知识图谱的VR英语教学多模态行为分析系统设计
14
作者 胡建平 王琰 《长江信息通信》 2025年第10期108-110,共3页
随着虚拟现实技术(VR)在教学领域的广泛应用,多模态学习行为的数据分析也变得越来越重要。文章基于知识图谱技术,设计了VR英语教学行为分析的系统架构,通过采集与分析多模态数据,深入分析学生在虚拟现实教学环境中的学习行为,为教学优... 随着虚拟现实技术(VR)在教学领域的广泛应用,多模态学习行为的数据分析也变得越来越重要。文章基于知识图谱技术,设计了VR英语教学行为分析的系统架构,通过采集与分析多模态数据,深入分析学生在虚拟现实教学环境中的学习行为,为教学优化提供有力支持。 展开更多
关键词 知识图谱 虚拟现实 多模态 行为分析
在线阅读 下载PDF
融合任务知识的多模态知识图谱补全 被引量:4
15
作者 陈强 张栋 +1 位作者 李寿山 周国栋 《软件学报》 北大核心 2025年第4期1590-1603,共14页
知识图谱补全任务旨在根据已有的事实三元组(头实体、关系、尾实体)来挖掘知识图谱中缺失的事实三元组.现有的研究工作主要致力于利用知识图谱中的结构信息来进行知识图谱补全任务.然而,这些工作忽略了知识图谱中蕴含的其他模态的信息... 知识图谱补全任务旨在根据已有的事实三元组(头实体、关系、尾实体)来挖掘知识图谱中缺失的事实三元组.现有的研究工作主要致力于利用知识图谱中的结构信息来进行知识图谱补全任务.然而,这些工作忽略了知识图谱中蕴含的其他模态的信息也可能对知识图谱补全有帮助.并且,由于基于特定任务的知识通常没有被注入通用的预训练模型,因而如何在抽取模态信息的过程中融合任务的相关知识变得至关重要.此外,因为不同模态特征对于知识图谱补全的贡献不一样,所以如何有效地保留有用的多模态信息也是一大挑战.为了解决上述问题,提出一种融合任务知识的多模态知识图谱补全方法.利用在当前任务上微调过的多模态编码器,来获取不同模态下的实体向量表示.并且,通过一个基于循环神经网络的模态融合过滤模块,去除与任务无关的多模态特征.最后,利用同构图网络表征并更新所有特征,从而有效地完成多模态知识图谱补全任务.实验结果表明,所提出的方法能有效地抽取不同模态的信息,并且能够通过进一步的多模态过滤融合来增强实体的表征能力,进而提高多模态知识图谱补全任务的性能. 展开更多
关键词 知识图谱补全 多模态 知识融合 多模态融合
在线阅读 下载PDF
医学领域多模态知识图谱融合技术发展现状研究 被引量:7
16
作者 时振普 吕潇 +2 位作者 董彦如 刘静 王晓燕 《计算机科学与探索》 北大核心 2025年第7期1729-1746,共18页
多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好... 多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好地厘清多模态知识图谱在医学领域的研究现状,阐述多模态知识图谱基本知识及医学领域多模态知识图谱构建难点与相关数据集;从传统方法及深度学习方法两个角度分析多模态知识图谱融合涉及的多模态实体对齐与多模态实体链接等关键技术,重点分析文本、图像、音频三个模态的特征提取及融合方法,总结各多模态融合方法优缺点并阐述多模态大语言模型在多模态融合中的应用;详细梳理多模态知识图谱在医学视觉问答、药物研发、影像辅助诊断等领域的研究进展。在此基础上,分析归纳医学领域多模态知识图谱在多模态融合与数据集方面的局限性及面临的挑战,并对未来研究方向进行展望。 展开更多
关键词 多模态知识图谱 知识图谱融合 多模态大语言模型 智能医疗
在线阅读 下载PDF
基于知识图谱的多模态教学资源跨域推荐方法研究 被引量:6
17
作者 刘定一 刘会霞 +1 位作者 乔保军 刘丽娟 《河南大学学报(自然科学版)》 北大核心 2025年第3期262-270,共9页
多模态教学资源涉及文字、图像、视频等多种媒体形式,且其分布不均,跨域推荐难度大,为此提出一种基于知识图谱的推荐方法.收集文字、图像、视频以及交互类等多种类型的多模态教学资源,从收集到的多模态教学资源中抽取实体、关系、属性... 多模态教学资源涉及文字、图像、视频等多种媒体形式,且其分布不均,跨域推荐难度大,为此提出一种基于知识图谱的推荐方法.收集文字、图像、视频以及交互类等多种类型的多模态教学资源,从收集到的多模态教学资源中抽取实体、关系、属性建立知识图谱,计算不同资源之间的知识图谱相似度以及资源推荐分值,对于资源推荐分值降序排列后形成Top-N推荐列表.测试结果表明,所研究推荐方法的多模态教学资源跨域推荐覆盖率与准确率更高,说明方法推荐的资源更加全面且准确,能够更好地发掘和利用教学资源库中的资源. 展开更多
关键词 知识图谱 多模态 教学资源 跨域推荐方法
原文传递
人工智能大模型在电力设备运维场景中的应用探讨 被引量:25
18
作者 陈晓红 傅文润 +4 位作者 刘朝明 刘泽洪 李俊朋 胡志亮 胡东滨 《中国工程科学》 北大核心 2025年第1期180-192,共13页
电力设备运维是新型电力系统建设的重要环节,以人工智能(AI)大模型技术为代表的AI技术变革为传统电力设备运维的数智化提供了新机遇。本文探讨了多模态AI大模型对电力设备健康状态评估、电力设备运行状态预测、电力设备故障诊断、电力... 电力设备运维是新型电力系统建设的重要环节,以人工智能(AI)大模型技术为代表的AI技术变革为传统电力设备运维的数智化提供了新机遇。本文探讨了多模态AI大模型对电力设备健康状态评估、电力设备运行状态预测、电力设备故障诊断、电力设备寿命预测、电力设备故障检修策略推荐等电力运维具体场景的赋能作用,辨识了数据问题制约电力AI大模型的应用成效、“算法黑箱”影响智能运维辅助决策的透明度与可靠性、环境变化导致电力AI大模型性能衰退等多模态AI大模型赋能电力设备运维的技术难点。着眼攻克相关技术难点,结合知识图谱检索增强生成、多模态对齐、微调和持续学习等大模型应用优化技术,构建了基于多模态AI大模型的电力设备运维系统架构,梳理了多模态AI大模型在电力设备运维场景应用时涉及的需求分析、模型训练、应用部署、运营管理等主要阶段的实现过程,进而提出了持续监控并优化数据质量、采用持续学习算法、建立模型性能反馈循环机制等大模型性能持续优化策略。进一步探讨了多模态AI大模型赋能电力设备运维的应用趋势和发展保障举措,以深化对电力设备智能运维领域的前沿技术认知,推动构建智能化、智慧化的新型电力系统。 展开更多
关键词 新型电力系统 电力设备运维 多模态AI大模型 检索增强生成 知识图谱
在线阅读 下载PDF
融合外部知识与证据的场景图注意力网络多模态谣言检测 被引量:1
19
作者 黄学坚 马廷淮 +3 位作者 荣欢 王根生 廖国琼 刘德喜 《计算机学报》 北大核心 2025年第9期2159-2180,共22页
社交媒体上谣言的泛滥对社会造成了严重的负面影响。随着多模态内容在社交媒体中的迅速增长,多模态谣言检测受到了越来越多的关注。目前,大多数方法主要聚焦于学习各个模态的特征,并通过特征融合实现不同模态信息的互补。然而,这些方法... 社交媒体上谣言的泛滥对社会造成了严重的负面影响。随着多模态内容在社交媒体中的迅速增长,多模态谣言检测受到了越来越多的关注。目前,大多数方法主要聚焦于学习各个模态的特征,并通过特征融合实现不同模态信息的互补。然而,这些方法存在两个关键问题:(1)不同特征空间之间的跨模态关联难以有效捕捉图文细粒度语义的一致性;(2)单纯依赖图文内容难以识别一些造谣者精心设计的深层语义不匹配的谣言。为此,本文提出了融合证据与知识的场景图注意力网络的多模态谣言检测方法。首先,基于预训练的语言和视觉模型,分别提取文本语义和图像视觉特征,并通过误差级别分析提取图像篡改特征;其次,构建了一种基于反事实推理的无偏场景图生成方法和微调的Flan-T5模型,分别将图像和文本转化为视觉场景图和文本场景图,并利用知识蒸馏从知识库中提取场景图实体的相关知识,以增强模型对场景图的深层语义理解;接着,设计了一种融合场景关系特征的场景图注意力网络,以挖掘图文间的细粒度语义匹配特征;最后,从互联网中筛选与待检验帖子相关的文本和图片证据,并通过交叉注意力机制实现证据与待检验帖子的交互对齐,提升模型对深层语义不匹配谣言的识别能力。实验表明,在Weibo和Twitter两个真实社交网络数据集上,本文提出的方法在宏准确率上比最佳基线方法分别提高了1.6%和2.2%,而在谣言类别的F1值上,分别提高了2.6%和3.0%。实验数据和代码已在GitHub上开源共享(https://github.com/xuejianhuang/SGKE)。 展开更多
关键词 多模态谣言检测 场景图注意力网络 图文语义匹配 多模态证据对齐 知识增强
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部