-
题名遥感大模型:综述与未来设想
被引量：1
- 1
-
-
作者
张帅豪
潘志刚
-
机构
中国科学院空天信息创新研究院
中国科学院大学
-
出处
《遥感技术与应用》
北大核心
2025年第1期1-13,共13页
-
基金
国家重点研发计划项目(2017YFB0503001)。
-
文摘
深度学习极大地推动了遥感图像处理技术的发展,在精度和速度方面展现了显著优势。然而,深度学习模型在实际应用中通常需要大量人工标注的训练样本,且其泛化性能相对较弱。近年来,视觉基础模型和大语言模型的发展为遥感图像处理的大模型研究引入了新的范式。遥感大模型也称为遥感基础模型,基础模型因其在下游任务中的卓越迁移性能而备受瞩目,这些模型首先在大型数据集上进行与具体任务无关的预训练,然后通过微调适应各种下游应用。基础模型在语言和视觉及其他领域已经得到了广泛应用,其在遥感领域的潜力也正逐渐引起学术界的重视。然而,目前针对这些模型在遥感任务中的全面调查和性能比较仍然缺乏。由于自然图像与遥感图像之间存在固有差异,这些差异限制了基础模型的直接应用。在此背景下,本文从多个角度对常见的基础模型以及专门针对遥感领域的大模型进行了全面回顾,概述了最新进展,突出了面临的挑战,并探讨了未来发展的潜在方向。
-
关键词
遥感基础模型
微调
下游任务
预训练
-
Keywords
Remote Sensing Foundation Model
Fine-Tuning
downstream tasks
Pretraining
-
分类号
TP75
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名古汉语NLP研究现状综述(2009—2024)
- 2
-
-
作者
劳斌
彭瑶
吕薇
植思喆
-
机构
广东外语外贸大学信息科学与技术学院
中山大学外国语学院
-
出处
《现代信息科技》
2024年第13期146-150,155,共6页
-
基金
广东省哲学社会科学规划项目(GD22CTS02)
广东省基础与应用基础研究基金项目(2023A1515012817)。
-
文摘
文章综述了古汉语自然语言处理(NLP)领域的研究现状,特别是下游任务方面的进展。通过分析2009年至2024年的23篇相关论文,文章指出古汉语NLP面临的挑战,并探讨了包括断句与标点、分词、词性标注、命名实体识别等任务的研究方法和成果。研究发现,尽管古汉语与现代汉语在NLP任务上存在差异,但深度学习等技术的发展为古汉语文本处理提供了新途径。文章还讨论了多任务一体化研究的潜力,并对未来发展趋势进行了展望,强调了构建结构化数据集的重要性和对领域发展的促进作用。
-
关键词
古汉语
自然语言处理
下游任务
研究现状综述
-
Keywords
ancient Chinese
natural language processing
downstream task
overview of research status
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于BERT的民间文学文本预训练模型
被引量：4
- 3
-
-
作者
陶慧丹
段亮
王笳辉
岳昆
-
机构
云南大学信息学院
云南大学云南省智能系统与计算重点实验室
-
出处
《计算机技术与发展》
2022年第11期164-170,共7页
-
基金
云南省重大科技专项(202002AD080002)
云南省教育厅科学研究基金(2002Y010)
云南大学研究生科研创新项目(2021Y023)。
-
文摘
民间文学文本中含有大量生动形象的修辞手法;人名、地名极其复杂,难以判断词与词之间的边界;与现代汉语表达差别较大,预训练语言模型难以有效地学习其隐含知识,为机器自然语言理解带来困难。该文提出一种基于BERT的民间文学文本预训练模型MythBERT,使用民间文学语料库预训练,将BERT的字隐蔽策略改进为对中文词语隐蔽策略。对民间文学文本中解释字、词的注释词语重点隐蔽,减小BERT隐蔽的随机性并有利于学习词语语义信息。同时利用注释增强语言模型表示,解决一词多义、古今异义等问题。将MythBERT与BERT、BERT-WWM和RoBERTa等主流中文预训练模型在情感分析、语义相似度、命名实体识别和问答四个自然语言处理任务上进行比较。实验结果表明,注释增强的民间文学预训练模型MythBERT在民间文学文本任务上性能显著提升,与基线方法相比取得了最优的效果。
-
关键词
预训练语言模型
民间文学文本
BERT
自然语言处理
下游任务
-
Keywords
pre-training language model
Folk literature texts
BERT
nature language processing
downstream task
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名多模态对比学习中的靶向投毒攻击
被引量：2
- 4
-
-
作者
刘高扬
吴伟玲
张锦升
王琛
-
机构
华中科技大学电子信息与通信学院
智能互联网技术湖北省重点实验室
武汉龙安集团有限责任公司
-
出处
《信息网络安全》
CSCD
北大核心
2023年第11期69-83,共15页
-
基金
国家自然科学基金[62272183]
湖北省重点研发计划[2021BAA026]。
-
文摘
近年来,使用对比学习技术在大规模无标注数据上所构建的预训练模型得到了广泛的应用(如车道检测、人脸识别等)。然而,其面临的安全和隐私问题也引起学者的广泛关注。文章聚焦于针对多模态对比学习模型的投毒攻击,该攻击将精心构造的数据注入训练集,以改变模型在特定数据上的预测行为。针对现有投毒攻击主要针对文本或图像单模态模型,没有利用文本或者图像间的多模态信息的问题,文章提出一种同时对文本与图像编码器投毒的靶向投毒攻击。首先,基于Beta分布自动生成水印图像透明度;然后,根据透明度生成添加水印后的样本,并根据水印样本与目标样本之间的欧式距离得到该透明度下应当投毒的样本数;最后,通过特定的优化算法生成投毒数据集。与现有的投毒攻击相比,文章所提方法具有更低的投毒率,并能够保持目标模型的性能。
-
关键词
对比学习
靶向投毒攻击
下游任务投毒
多模态信息
-
Keywords
contrastive learning
targeted poisoning attacks
downstream task poisoning
multimodal information
-
分类号
TP309
[自动化与计算机技术—计算机系统结构]
-
