Joint analysis of multimodalities in spatial mass spectrometry imaging(SMSI)data,including histology,spatial location,and molecule data,allows us to gain novel insights into tissue structures.However,the significant d...Joint analysis of multimodalities in spatial mass spectrometry imaging(SMSI)data,including histology,spatial location,and molecule data,allows us to gain novel insights into tissue structures.However,the significant differences in characteristics such as scale and heterogeneity among the multimodal data,coupled with the high noise levels and uneven quality of MSI data,severely hinder their comprehensive analysis.Here,we introduce a cross-graph cycle attention model,MSCG,to learn efficient joint embeddings for multimodalities of SMSI data by integrating graph attention autoencoders and attention-transfer.Specifically,MSCG enables leveraging one modality(e.g.,histology)to fine-tune the graph neural network trained for another modality(e.g.,MSI).Our study on real datasets from different platforms highlights the superior capacities of MSCG in dissecting cellular heterogeneity,as well as in denoising and aggregating MSI data.Notably,MSCG demonstrates versatile applicability across MSI data from various platforms,showcasing its potential for broad utility in this field.展开更多
随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息...随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。展开更多
大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和...大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和知识图谱(knowledge graph,KG)协同的跨域异质数据查询框架,在LLM+KG的范式下给出跨域异质数据查询的一个治理方案.为确保LLM能够适应多场景中的跨域异质数据,首先采用适配器对跨域异质数据进行融合,并构建相应的知识图谱.为提高查询效率,引入线性知识图,并提出同源知识图抽取算法HKGE来实现知识图谱的重构,可显著提高查询性能,确保跨域异质数据治理的高效性.进而,为保证多域数据查询的高可信度,提出可信候选子图匹配算法Trust HKGM,用于检验跨域同源数据的置信度计算和可信候选子图匹配,剔除低质量节点.最后,提出基于线性知识图提示的多域数据查询算法MKLGP,实现LLM+KG范式下的高效可信跨域查询.该方法在多个真实数据集上进行了广泛实验,验证了所提方法的有效性和高效性.展开更多
跨领域推荐常用于解决推荐系统中的冷启动与数据稀疏问题,然而现有的方法往往假设用户在不同领域中的喜好是相似的,基于这一假设进行推荐忽略了用户偏好的异质性,无法达到最优推荐性能。此外,现有的方法主要关注领域对之间的推荐任务,...跨领域推荐常用于解决推荐系统中的冷启动与数据稀疏问题,然而现有的方法往往假设用户在不同领域中的喜好是相似的,基于这一假设进行推荐忽略了用户偏好的异质性,无法达到最优推荐性能。此外,现有的方法主要关注领域对之间的推荐任务,无法自然地扩展为多领域的推荐。本文提出一种基于属性异质图的多目标对抗跨领域推荐(Multitarget Adversarial Cross-domain Recommendation based on Attributed Heterogeneous Graph,MAAH)方法,利用属性异质图结构表征用户与项目,捕获领域间用户行为的同质性与异质性;结合对抗学习进一步融合与区分用户偏好,使每个领域的推荐效果同时提升,实现多目标的跨领域推荐。在公开的数据集上进行实验,结果表明该方法缓解了数据稀疏,可以进一步解决冷启动问题。展开更多
针对高光谱图像分类任务中小样本引起分类精度不高的问题,提出了一种基于动态图-谱特征提取的高光谱分类方法,提高全局建模和局部信息提取能力,实现跨域空间特征和光谱相似性特征的互补融合。首先,提出动态轴滑动建图策略,建立高效、有...针对高光谱图像分类任务中小样本引起分类精度不高的问题,提出了一种基于动态图-谱特征提取的高光谱分类方法,提高全局建模和局部信息提取能力,实现跨域空间特征和光谱相似性特征的互补融合。首先,提出动态轴滑动建图策略,建立高效、有代表性的图结构。其次,基于动态图结构设计动态图特征提取网络,采用特征卷积层、动态空间卷积模块和动态图卷积模块以捕捉局部特征并整合不同尺度的跨域空间特征。然后,区域-全局光谱特征网络通过多层光谱特征卷积模块,融合局部信息并跨层融合编码器,深入挖掘局部和全局光谱特征的序列属性。最后,交叉注意力建立动态关联以融合空间和光谱信息,完成分类。实验结果表明,该方法在Indian Pines、University of Pavia和Salinas三个高光谱数据集上取得了优于现有方法的分类性能,为处理高光谱图像复杂空间和光谱信息提供了一种有效的深度学习框架。展开更多
基金supported by the National Natural Science Foundation of China under Grant No.32300523the Shanghai Sailing Program under Grant No.22YF1401700+1 种基金the Fundamental Research Funds for the Central Universities of China under Grant No.2232022Dthe Shanghai Science and Technology Program under Grant No.20DZ2251400.
文摘Joint analysis of multimodalities in spatial mass spectrometry imaging(SMSI)data,including histology,spatial location,and molecule data,allows us to gain novel insights into tissue structures.However,the significant differences in characteristics such as scale and heterogeneity among the multimodal data,coupled with the high noise levels and uneven quality of MSI data,severely hinder their comprehensive analysis.Here,we introduce a cross-graph cycle attention model,MSCG,to learn efficient joint embeddings for multimodalities of SMSI data by integrating graph attention autoencoders and attention-transfer.Specifically,MSCG enables leveraging one modality(e.g.,histology)to fine-tune the graph neural network trained for another modality(e.g.,MSI).Our study on real datasets from different platforms highlights the superior capacities of MSCG in dissecting cellular heterogeneity,as well as in denoising and aggregating MSI data.Notably,MSCG demonstrates versatile applicability across MSI data from various platforms,showcasing its potential for broad utility in this field.
文摘随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。
文摘大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和知识图谱(knowledge graph,KG)协同的跨域异质数据查询框架,在LLM+KG的范式下给出跨域异质数据查询的一个治理方案.为确保LLM能够适应多场景中的跨域异质数据,首先采用适配器对跨域异质数据进行融合,并构建相应的知识图谱.为提高查询效率,引入线性知识图,并提出同源知识图抽取算法HKGE来实现知识图谱的重构,可显著提高查询性能,确保跨域异质数据治理的高效性.进而,为保证多域数据查询的高可信度,提出可信候选子图匹配算法Trust HKGM,用于检验跨域同源数据的置信度计算和可信候选子图匹配,剔除低质量节点.最后,提出基于线性知识图提示的多域数据查询算法MKLGP,实现LLM+KG范式下的高效可信跨域查询.该方法在多个真实数据集上进行了广泛实验,验证了所提方法的有效性和高效性.
文摘跨领域推荐常用于解决推荐系统中的冷启动与数据稀疏问题,然而现有的方法往往假设用户在不同领域中的喜好是相似的,基于这一假设进行推荐忽略了用户偏好的异质性,无法达到最优推荐性能。此外,现有的方法主要关注领域对之间的推荐任务,无法自然地扩展为多领域的推荐。本文提出一种基于属性异质图的多目标对抗跨领域推荐(Multitarget Adversarial Cross-domain Recommendation based on Attributed Heterogeneous Graph,MAAH)方法,利用属性异质图结构表征用户与项目,捕获领域间用户行为的同质性与异质性;结合对抗学习进一步融合与区分用户偏好,使每个领域的推荐效果同时提升,实现多目标的跨领域推荐。在公开的数据集上进行实验,结果表明该方法缓解了数据稀疏,可以进一步解决冷启动问题。
文摘针对高光谱图像分类任务中小样本引起分类精度不高的问题,提出了一种基于动态图-谱特征提取的高光谱分类方法,提高全局建模和局部信息提取能力,实现跨域空间特征和光谱相似性特征的互补融合。首先,提出动态轴滑动建图策略,建立高效、有代表性的图结构。其次,基于动态图结构设计动态图特征提取网络,采用特征卷积层、动态空间卷积模块和动态图卷积模块以捕捉局部特征并整合不同尺度的跨域空间特征。然后,区域-全局光谱特征网络通过多层光谱特征卷积模块,融合局部信息并跨层融合编码器,深入挖掘局部和全局光谱特征的序列属性。最后,交叉注意力建立动态关联以融合空间和光谱信息,完成分类。实验结果表明,该方法在Indian Pines、University of Pavia和Salinas三个高光谱数据集上取得了优于现有方法的分类性能,为处理高光谱图像复杂空间和光谱信息提供了一种有效的深度学习框架。
