Joint analysis of multimodalities in spatial mass spectrometry imaging(SMSI)data,including histology,spatial location,and molecule data,allows us to gain novel insights into tissue structures.However,the significant d...Joint analysis of multimodalities in spatial mass spectrometry imaging(SMSI)data,including histology,spatial location,and molecule data,allows us to gain novel insights into tissue structures.However,the significant differences in characteristics such as scale and heterogeneity among the multimodal data,coupled with the high noise levels and uneven quality of MSI data,severely hinder their comprehensive analysis.Here,we introduce a cross-graph cycle attention model,MSCG,to learn efficient joint embeddings for multimodalities of SMSI data by integrating graph attention autoencoders and attention-transfer.Specifically,MSCG enables leveraging one modality(e.g.,histology)to fine-tune the graph neural network trained for another modality(e.g.,MSI).Our study on real datasets from different platforms highlights the superior capacities of MSCG in dissecting cellular heterogeneity,as well as in denoising and aggregating MSI data.Notably,MSCG demonstrates versatile applicability across MSI data from various platforms,showcasing its potential for broad utility in this field.展开更多
随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息...随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。展开更多
大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和...大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和知识图谱(knowledge graph,KG)协同的跨域异质数据查询框架,在LLM+KG的范式下给出跨域异质数据查询的一个治理方案.为确保LLM能够适应多场景中的跨域异质数据,首先采用适配器对跨域异质数据进行融合,并构建相应的知识图谱.为提高查询效率,引入线性知识图,并提出同源知识图抽取算法HKGE来实现知识图谱的重构,可显著提高查询性能,确保跨域异质数据治理的高效性.进而,为保证多域数据查询的高可信度,提出可信候选子图匹配算法Trust HKGM,用于检验跨域同源数据的置信度计算和可信候选子图匹配,剔除低质量节点.最后,提出基于线性知识图提示的多域数据查询算法MKLGP,实现LLM+KG范式下的高效可信跨域查询.该方法在多个真实数据集上进行了广泛实验,验证了所提方法的有效性和高效性.展开更多
套管是变压器的关键设备。目前,运行人员已积累大量文字、图片等套管运行数据,如何对其有效利用实现套管故障的预测和原因推演是提升套管运维效率的关键。该文提出一种基于跨模态数据的变压器套管故障知识图谱构建方法。首先,采用自顶...套管是变压器的关键设备。目前,运行人员已积累大量文字、图片等套管运行数据,如何对其有效利用实现套管故障的预测和原因推演是提升套管运维效率的关键。该文提出一种基于跨模态数据的变压器套管故障知识图谱构建方法。首先,采用自顶向下的方法进行知识建模,构建套管故障知识图谱本体层;其次,采用ALBERT(a lite bidirectional encoder representations from transformers)-BiLSTM(bidirectional long short term memory)-CRF(conditional random field)模型和ALBERT-FC(fully connected)模型对变压器套管故障文本进行实体和关系抽取,F1值分别达到96.60%和98.99%;然后,通过ResNet(residual network)-50模型对套管故障图像进行特征提取,结合BADGE(batch active learning by diverse gradient embeddings)主动学习采样策略,实现基于少量训练样本的变压器套管故障图像的分类,分类结果的F1值达到92.11%;最后,将文本转换为词向量,并通过语义相似度计算,将文本知识和图像知识关联融合,构建包含文本、图像信息的变压器套管故障知识图谱,并在现场案例中进行应用,推理出变压器套管故障的产生原因和演变过程。展开更多
基金supported by the National Natural Science Foundation of China under Grant No.32300523the Shanghai Sailing Program under Grant No.22YF1401700+1 种基金the Fundamental Research Funds for the Central Universities of China under Grant No.2232022Dthe Shanghai Science and Technology Program under Grant No.20DZ2251400.
文摘Joint analysis of multimodalities in spatial mass spectrometry imaging(SMSI)data,including histology,spatial location,and molecule data,allows us to gain novel insights into tissue structures.However,the significant differences in characteristics such as scale and heterogeneity among the multimodal data,coupled with the high noise levels and uneven quality of MSI data,severely hinder their comprehensive analysis.Here,we introduce a cross-graph cycle attention model,MSCG,to learn efficient joint embeddings for multimodalities of SMSI data by integrating graph attention autoencoders and attention-transfer.Specifically,MSCG enables leveraging one modality(e.g.,histology)to fine-tune the graph neural network trained for another modality(e.g.,MSI).Our study on real datasets from different platforms highlights the superior capacities of MSCG in dissecting cellular heterogeneity,as well as in denoising and aggregating MSI data.Notably,MSCG demonstrates versatile applicability across MSI data from various platforms,showcasing its potential for broad utility in this field.
文摘随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。
文摘大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和知识图谱(knowledge graph,KG)协同的跨域异质数据查询框架,在LLM+KG的范式下给出跨域异质数据查询的一个治理方案.为确保LLM能够适应多场景中的跨域异质数据,首先采用适配器对跨域异质数据进行融合,并构建相应的知识图谱.为提高查询效率,引入线性知识图,并提出同源知识图抽取算法HKGE来实现知识图谱的重构,可显著提高查询性能,确保跨域异质数据治理的高效性.进而,为保证多域数据查询的高可信度,提出可信候选子图匹配算法Trust HKGM,用于检验跨域同源数据的置信度计算和可信候选子图匹配,剔除低质量节点.最后,提出基于线性知识图提示的多域数据查询算法MKLGP,实现LLM+KG范式下的高效可信跨域查询.该方法在多个真实数据集上进行了广泛实验,验证了所提方法的有效性和高效性.
文摘套管是变压器的关键设备。目前,运行人员已积累大量文字、图片等套管运行数据,如何对其有效利用实现套管故障的预测和原因推演是提升套管运维效率的关键。该文提出一种基于跨模态数据的变压器套管故障知识图谱构建方法。首先,采用自顶向下的方法进行知识建模,构建套管故障知识图谱本体层;其次,采用ALBERT(a lite bidirectional encoder representations from transformers)-BiLSTM(bidirectional long short term memory)-CRF(conditional random field)模型和ALBERT-FC(fully connected)模型对变压器套管故障文本进行实体和关系抽取,F1值分别达到96.60%和98.99%;然后,通过ResNet(residual network)-50模型对套管故障图像进行特征提取,结合BADGE(batch active learning by diverse gradient embeddings)主动学习采样策略,实现基于少量训练样本的变压器套管故障图像的分类,分类结果的F1值达到92.11%;最后,将文本转换为词向量,并通过语义相似度计算,将文本知识和图像知识关联融合,构建包含文本、图像信息的变压器套管故障知识图谱,并在现场案例中进行应用,推理出变压器套管故障的产生原因和演变过程。
