-
题名一种基于预训练语言模型的多特征融合文章对匹配模型
- 1
-
-
作者
陆顺意
何庆
-
机构
贵州大学大数据与信息工程学院
-
出处
《计算机工程与科学》
北大核心
2026年第2期363-371,共9页
-
基金
国家自然科学基金(62166006)
贵州省省级科技计划(黔科合支撑[2023]一般093)
贵州省自然科学基金(黔科合支撑[2023]一般251)。
-
文摘
针对传统文本语义匹配方法存在难以深入挖掘文本间深度语义特征及交互关系的问题,提出了一种基于预训练语言模型的多特征融合文章对匹配模型MF-APM。首先,通过数据增强策略对文章内容进行删减,以筛选出关键句子。其次,将增强后的新闻文档输入到具有孪生网络结构的Longformer模型来提取文章内容的深层特征,结合注意力特征融合方法得到文档匹配信息。其次,使用BERT对新闻标题进行交互式编码,将得到的编码向量输入到多头注意力机制中,以提取标题的深层次交互特征,进而获得标题交互信息。最后,通过将标题交互信息和文档交互信息的语义特征通过最大池化特征融合的方式实现文本对关系的预测。此外,在模型训练过程中,还引入了PolyLoss来代替传统的二进制交叉熵损失函数,有效降低了超参数调整的复杂性。将提出的MF-APM与其他匹配模型在CNSE和CNSS这2个数据集上进行比较,实验结果相较于基线模型,MF-APM模型在CNSE和CNSS数据集上的准确率分别至少提升了0.41和1.59个百分点,F 1值分别至少提升了4.64和1.66个百分点,有效提升了文章对匹配任务的准确性。
-
关键词
预训练语言模型
长文本匹配
多头注意力机制
注意力特征融合
polyloss函数
-
Keywords
pre-trained language model
long text matching
multi-head attention mechanism
attention feature fusion
polyloss function
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
