-
题名基于LSTM和位置增强的软提示向量优化
被引量：1
- 1
-
-
作者
刘振东
程春玲
刘倩
-
机构
南京邮电大学计算机学院
-
出处
《计算机技术与发展》
2024年第10期118-125,共8页
-
基金
国家自然科学基金项目(61972201)。
-
文摘
软提示学习是应用预训练语言模型的新兴方法,然而软提示学习所生成的向量可能缺乏序列结构,影响模型在特定位置定义信息的能力导致模型的性能受损。为此,该文深入探究软提示向量序列结构及其对模型性能的影响,发现软提示向量在不同语言模型类型、模型规模、下游任务类型及提示长度均展现出顺序敏感的问题。针对该问题,提出一种基于LSTM和位置增强的软提示排序网络,首先采用改进的LSTM网络实现软提示排序调优,其中对每个门控处添设提示选择门,以捕获序列信息生成优序的软提示向量。其次针对排序过程提出一种位置增强模块,结合绝对与相对位置信息优化排序。在GLUE数据集上的测试表明,该方法相较于基线带来了平均3.1%的性能提升。
-
关键词
软提示向量
序列结构
顺序敏感性
位置编码
长短期记忆
-
Keywords
soft prompt vector
sequential structure
order sensitivity
position encoding
long short-term memory
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
