期刊文献+
共找到123篇文章
< 1 2 7 >
每页显示 20 50 100
The Impact of Pre-Task Planning Intervention on Learners’Oral Communication:A Study Based on the Controlled Experiment Method
1
作者 Balihaxi Muheyati Maoqiong Liu 《Journal of Contemporary Educational Research》 2025年第9期202-210,共9页
The“Belt and Road”initiative has led to a diversified and increasing demand for international talents,signifying that current foreign language teaching needs to promote the integration and interaction of online and ... The“Belt and Road”initiative has led to a diversified and increasing demand for international talents,signifying that current foreign language teaching needs to promote the integration and interaction of online and offline methods,deeply reform classrooms,and innovate learner-centered teaching models.A survey of the language abilities of university students at 9 border-region institutions revealed that oral expression skills were the weakest among the five measured dimensions:listening,speaking,reading,writing,and translation.Given this situation,this study employed a controlled experiment to explore and analyze the impact of pre-task planning intervention on students’learning attitudes,learning strategies,and oral communication abilities,aiming to provide insights for improving overall oral communication teaching. 展开更多
关键词 pre-task planning Learning strategies Oral communication
在线阅读 下载PDF
Effects of the Pre-Task Planning Mode on the Listening Comprehension of Chinese EFL Learners
2
作者 DING Xiao-lei Songphorn Taj aroensuk 《Sino-US English Teaching》 2012年第6期1197-1203,共7页
This study aims at investigating the effects of the pre-task planning mode on listening comprehension of Chinese EFL (English as a foreign language) learners as well as students' opinions towards the pre-task plann... This study aims at investigating the effects of the pre-task planning mode on listening comprehension of Chinese EFL (English as a foreign language) learners as well as students' opinions towards the pre-task planning mode Three step~., namely, concept mapping, strategic planning, as well as rehearsal, are employed in the pre-task planning mode in the present study. There are altogether 40 second-year English majors participated in the present study, and they are randomly assigned into the experimental group and the control group. The instruments employed in the present study to achieve the research purposes include the listening comprehension test, the teacher's log, the students' opinion questionnaires, the students' open-ended questionnaires, and the semi-structured interviews. Research findings revealed that there were significant main effects on the listening comprehen,;ion of Chinese EFL learners after the training by the pre-task planning mode. Moreover, the students held positive attitudes towards the pre-task planning mode 展开更多
关键词 pre-task planning mode concept mapping strategic planning REHEARSAL listening comprehension
在线阅读 下载PDF
THE EFFECT OF PRE-TASK PLANNING TIME ON SELF-REPAIRS FOR INTERMEDIATE AND ADVANCED ENGLISH LEARNERS 被引量:1
3
作者 顾韵 《Chinese Journal of Applied Linguistics》 2007年第6期25-33,127,共10页
This paper studies the effect of different lengths of pre-task planning time on the frequency and accuracy of self-repairs for Chinese intermediate and advanced English learners.The findings reveal that the increased ... This paper studies the effect of different lengths of pre-task planning time on the frequency and accuracy of self-repairs for Chinese intermediate and advanced English learners.The findings reveal that the increased pre-task planning time strongly improves fluency and accuracy of self-repairs for both lexical and syntactic errors in the advanced group,but enhanced fluency and accuracy are not witnessed in the intermediate group as planning time increases.The differences are mainly due to the fact that some intermediate learners are not well equipped with the appropriate way of preparation for oral presentation tasks since some write down their ideas in Chinese.Thus errors will increasingly emerge in the transfer.Besides,they usually give priority to accuracy while neglecting fluency. 展开更多
关键词 SELF-REPAIR pre-task planning time language proficiency
原文传递
基于多任务联合学习的长白山民间文学实体抽取方法研究
4
作者 张卫东 陈希鹏 +1 位作者 李心怡 李奉芮 《现代情报》 北大核心 2025年第5期15-23,98,共10页
[目的/意义]通过对民间文学文本数据进行命名实体识别,有助于民间文学资料的深度描述和展示,为构建完整的长白山非遗知识体系夯实根基。[方法/过程]本研究提出了基于多任务联合学习(BERT-BiGRU-MHA-CRF)的长白山非遗民间文学实体抽取模... [目的/意义]通过对民间文学文本数据进行命名实体识别,有助于民间文学资料的深度描述和展示,为构建完整的长白山非遗知识体系夯实根基。[方法/过程]本研究提出了基于多任务联合学习(BERT-BiGRU-MHA-CRF)的长白山非遗民间文学实体抽取模型,引入双向门控循环单元BiGRU更好地处理实体在句子中的长序列依赖性,解决梯度消失问题;再联合多头自注意力机制MHA加强对关键实体的注意力权重分配,从而获得更好的实体识别结果。[结果/结论]通过对比BERT-CRF、BERT-BiLSTM-CRF主流多任务联合学习基准模型,本模型对民间文学命名实体识别的准确率均为最优,其精确率达86.76%。本研究初步实现了对民间文学文本的精准实体识别,有利于对民间文学资料进行深入分析和知识挖掘,有助于保护和传承长白山文化记忆。 展开更多
关键词 数字人文 多任务联合学习 预训练模型 长白山文化 民间文学 实体识别
在线阅读 下载PDF
基于字节编码与预训练任务的加密流量分类模型 被引量:1
5
作者 姚利峰 蔡满春 +2 位作者 朱懿 陈咏豪 张溢文 《计算机工程》 北大核心 2025年第2期188-201,共14页
当预训练模型BERT应用于加密流量分类领域时,缺乏针对加密流量特性设计的编码方法和相应预训练任务。为此,提出一种融合字节级编码与改进预训练任务的加密流量分类预训练模型。首先,设计了一种新型词汇表构建方法,增强模型对流量传输结... 当预训练模型BERT应用于加密流量分类领域时,缺乏针对加密流量特性设计的编码方法和相应预训练任务。为此,提出一种融合字节级编码与改进预训练任务的加密流量分类预训练模型。首先,设计了一种新型词汇表构建方法,增强模型对流量传输结构的表征能力;其次,提出动态掩码BURST预测和同源BURST连贯性预测2个新的自监督预训练任务,动态掩码BURST预测任务增强模型对加密流量语义多样性的获取能力,同源BURST连贯性预测任务提高模型对加密流量连贯性顺序的建模能力。实验结果表明,所提模型在CSTNET-TLS 1.3数据集上的准确率、精确率、召回率和F1值分别为98.52%、98.40%、98.35%、98.43%,与现有性能最好的预训练基准模型相比,分别提高了1.15、0.98、0.93、1.02百分点。此外,在5个下游加密流量分类任务的7个主流数据集上,所提模型能够有效分类加密流量。 展开更多
关键词 加密流量分类 预训练模型 字节级编码 自监督预训练任务 微调方法
在线阅读 下载PDF
基于辅助行为去噪的多行为推荐 被引量:1
6
作者 陈文浩 陈媛 朱小飞 《计算机应用研究》 北大核心 2025年第8期2383-2389,共7页
多行为推荐(MBR)系统通过辅助行为分析用户偏好,以缓解数据稀疏性并提高推荐准确性。然而,先前工作使用随机初始化的用户和物品嵌入,无法提供良好的信息价值,也未考虑到在行为嵌入聚合中存在的噪音,以及辅助行为交互序列中的噪声。为了... 多行为推荐(MBR)系统通过辅助行为分析用户偏好,以缓解数据稀疏性并提高推荐准确性。然而,先前工作使用随机初始化的用户和物品嵌入,无法提供良好的信息价值,也未考虑到在行为嵌入聚合中存在的噪音,以及辅助行为交互序列中的噪声。为了解决这些问题,提出了一种基于辅助行为去噪的多行为推荐模型(ABD-MBR)。首先,使用预训练的方式来获取用户和物品初始嵌入。然后,设计投影聚合模块将辅助行为投影到目标行为空间上进行聚合来减少嵌入聚合时噪声的影响,并设计bot-k和top-k采样模块对辅助行为的交互序列进行优化来减少交互序列噪声的影响。最后,采用多任务学习对模型进行优化。在三个公开数据集上的实验表明,与MB-HGCN相比,该模型在HR@10上平均提高了10.2%,在NDCG@10上平均提高了13.4%,验证了模型的有效性。 展开更多
关键词 多行为推荐 辅助行为 预训练 嵌入投影 多任务学习
在线阅读 下载PDF
视觉基础模型研究现状与发展趋势 被引量:3
7
作者 张燚钧 张润清 +3 位作者 周华健 齐骥 余肇飞 黄铁军 《中国图象图形学报》 北大核心 2025年第1期1-24,共24页
在计算机视觉领域,尽管传统的深度学习视觉模型在特定任务上表现出色,但它们对大量标注数据的高度依赖及在新场景下性能泛化的局限性,大大增加了使用成本并限制了模型的应用范围。近年来,以Transformer为核心的新型模型结构,特别是在自... 在计算机视觉领域,尽管传统的深度学习视觉模型在特定任务上表现出色,但它们对大量标注数据的高度依赖及在新场景下性能泛化的局限性,大大增加了使用成本并限制了模型的应用范围。近年来,以Transformer为核心的新型模型结构,特别是在自监督学习领域的应用,为解决这些挑战提供了新的解决方案。这些模型通常通过大规模数据预训练,在处理复杂视觉场景中展现出强大的泛化能力,其被广泛称为视觉基础模型。本文深入探讨了视觉基础模型的研究现状与未来发展趋势,并重点关注该领域的关键技术进展及其对未来计算机视觉的潜在影响。首先回顾和梳理了视觉基础模型的背景与发展历程,然后介绍了在这一发展历程中出现的关键模型基础结构,介绍并分析了构建视觉基础模型所采用的各类预训练任务的设计思路,并根据其特性对现有的视觉基础模型进行分类。同时,对不同类型视觉基础模型中的代表性工作进行了介绍,并整理了目前可用于视觉基础模型预训练的数据集。最后,对视觉基础模型的研究现状进行总结和思考,提出了目前存在的一些挑战,并展望未来可能的研究方向。 展开更多
关键词 基础模型 计算机视觉(CV) 预训练模型 自监督学习 多任务学习
原文传递
面向煤矿安全隐患文本的预训练语言模型构建
8
作者 李泽荃 刘飞翔 +2 位作者 赵嘉良 祁慧 李靖 《矿业安全与环保》 北大核心 2025年第3期185-192,共8页
煤矿各类安全管理信息化平台积累的大量非结构化文本数据目前并没有得到充分利用。为充分挖掘煤矿安全隐患文本知识,提出一种基于领域术语掩码语言建模(DP-MLM)和句子顺序预测建模(SOP)学习机制的煤矿安全领域预训练语言模型(CoalBERT)... 煤矿各类安全管理信息化平台积累的大量非结构化文本数据目前并没有得到充分利用。为充分挖掘煤矿安全隐患文本知识,提出一种基于领域术语掩码语言建模(DP-MLM)和句子顺序预测建模(SOP)学习机制的煤矿安全领域预训练语言模型(CoalBERT)。利用收集到的110万余条煤矿隐患排查记录数据和自构建的1 328个领域术语词典进行模型训练,并在煤矿安全隐患文本分类和命名实体识别2个任务上分别进行对比实验。研究结果表明:在文本分类实验中,CoalBERT模型总体结果的精准率、召回率和综合评价指标F_(1)值较双向编码器表征法预训练模型(BERT)分别提高0.34%、0.21%、0.27%;在命名实体识别实验中,CoalBERT模型的精准率和F_(1)值较BERT模型分别提高3.84%、2.13%。CoalBERT模型能够有效提升煤矿安全隐患文本语义理解能力,可为煤矿安全领域文本挖掘相关任务场景提供基础参考。 展开更多
关键词 BERT模型 煤矿安全隐患文本 文本分类 命名实体识别 预训练模型 任务微调
在线阅读 下载PDF
多任务Transformer下的小样本叠前AVO反演方法研究
9
作者 杨柳青 王守东 李婧铭 《地球物理学进展》 北大核心 2025年第2期743-757,共15页
叠前AVO反演是油藏表征的关键方法之一,从中可以得到地下介质中丰富的弹性参数,进而有助于开展油气储层的识别.叠前角道集记录到弹性参数的反问题求解在适定性和分辨率等方面存在挑战.为了解决这些问题,本文提出了一种基于Transformer... 叠前AVO反演是油藏表征的关键方法之一,从中可以得到地下介质中丰富的弹性参数,进而有助于开展油气储层的识别.叠前角道集记录到弹性参数的反问题求解在适定性和分辨率等方面存在挑战.为了解决这些问题,本文提出了一种基于Transformer框架的叠前AVO反演网络来求解纵横波速度和密度.直接使用叠前地震数据作为单向输入的网络存在反演结果不稳定与横向连续性差的问题,因此在训练中引入先验知识约束来提高反演结果的稳定性和精确度.为了减少实际资料反演时对井资料的依赖,本文使用迁移学习策略,将训练有素的模型迁移至实际资料反演中.数据预处理阶段采用数据增广方法扩充训练样本,使得提出的网络可以充分提取叠前道集信息,并建立叠前道集与弹性参数之间的复杂非线性映射关系.本文采用多任务学习的方式来实现对纵波速度,横波速度和密度的同时反演,从而提升反演精度和计算效率.通过对Marmousi2合成数据和实际资料的反演测试并对比经典的深度学习框架,本文提出的多任务Transformer框架具更高的精度和高分辨率的反演结果. 展开更多
关键词 叠前AVO反演 多任务学习 深度学习 TRANSFORMER
原文传递
基于种群智能优化的无人水下航行器任务分配方法研究
10
作者 任梓萌 裴立冠 《应用科技》 2025年第1期114-121,共8页
为满足多个无人水下航行器(unmanned underwater vehicle,UUV)协同执行任务需求,提出基于种群智能优化的UUV任务分配方法。通过对多UUV执行任务情境进行分析,构建任务属性模型与任务分配优化模型,建立相应的目标函数与约束条件,根据实... 为满足多个无人水下航行器(unmanned underwater vehicle,UUV)协同执行任务需求,提出基于种群智能优化的UUV任务分配方法。通过对多UUV执行任务情境进行分析,构建任务属性模型与任务分配优化模型,建立相应的目标函数与约束条件,根据实时在线任务分配特点,提出在线任务分配原则。基于动态交换目标算法思想,构建相应的动态降维规则,确定目标函数与约束条件;融合布谷鸟搜索算法、人工蜂群算法和混沌自适应搜索策略,根据不同寻优状态,构建3种对应的搜索机制,形成新的种群自适应优化算法,适应UUV任务分配最优解求取特点。通过仿真可得,本文算法寻优较快,可有效避免陷入局部最优,同时协同任务分配模型可有效用于预前任务分配和UUV突发任务实时在线任务分配场景。 展开更多
关键词 无人水下航行器 任务分配 自适应智能优化算法 预前任务分配模型 实时在线分配模型 动态降维规则 局部最优 混沌自适应搜索策略
在线阅读 下载PDF
端到端语音翻译中辅助数据的使用策略研究
11
作者 刘晓倩 韩宇晨 +7 位作者 朱靖波 许晨 张裕浩 杜扬帆 赫洱锋 马安香 张春良 肖桐 《中文信息学报》 北大核心 2025年第5期60-71,共12页
端到端语音翻译模型由于数据稀缺问题很难直接进行有效训练。为此,已有方法基于利用辅助数据进行改进的思路,采取了多种不同的策略,但如何将这些策略有机地结合起来仍是一个难题。该文基于编码分解的统一建模架构,实现了对数据增强、预... 端到端语音翻译模型由于数据稀缺问题很难直接进行有效训练。为此,已有方法基于利用辅助数据进行改进的思路,采取了多种不同的策略,但如何将这些策略有机地结合起来仍是一个难题。该文基于编码分解的统一建模架构,实现了对数据增强、预训练和多任务学习三个关键技术的有效联合。在MuST-C英-中语音翻译数据集上的实验结果表明,数据增强在三种方法中具有最大的潜力,能够显著提升语音翻译模型的性能(5.18 BLEU),并通过联合预训练技术实现了在单个模型上最大程度的性能提升(5.48 BLEU),使模型获得更好的泛化性。尽管进一步结合多任务学习无法带来正向效果,但通过对多种模型进行集成仍可获得5.61 BLEU提升。 展开更多
关键词 语音翻译 预训练 数据增强 多任务学习
在线阅读 下载PDF
GCMT:基于特征增强的图卷积多任务推荐模型
12
作者 李国轩 雒伟群 +2 位作者 罗丽锦 张子健 陆敬蔚 《西藏科技》 2025年第2期72-80,共9页
图卷积神经网络在消息聚合和传播方面的先进能力,极大地提升了基于知识图谱的推荐系统的准确性。尽管如此,目前许多知识图谱卷积方法并未深入挖掘用户兴趣,也未能对卷积后的实体特征进行有效的三元组建模。针对这些局限性,文章提出一种... 图卷积神经网络在消息聚合和传播方面的先进能力,极大地提升了基于知识图谱的推荐系统的准确性。尽管如此,目前许多知识图谱卷积方法并未深入挖掘用户兴趣,也未能对卷积后的实体特征进行有效的三元组建模。针对这些局限性,文章提出一种基于特征增强的图卷积多任务推荐模型。该模型首先利用BERT预训练模型对实体的初始表示进行建模,随后通过嵌入注意力机制的图卷积神经网络对节点特征进行传播与更新。进一步地,引入三元组关系建模策略对更新后的实体向量进行表示学习。在预测阶段,利用DNN网络融合用户和实体两个特征向量,以实现更精准的推荐。为了验证模型的有效性,笔者在推荐领域的常用公共数据集上进行了广泛的实验。实验结果表明,与KGCN模型相比,在Movielens-20M数据集上,模型在AUC和F1上分别实现了1.5%和1.3%的提升;在Book-Crossing数据集上,AUC和F1值分别提升了1.8%和1.0%.在自建数据集上,模型的AUC和F1值,分别提升了4.8%和3.6%.这些显著的性能提升证明了我们的模型在推荐系统领域的卓越性能和应用潜力。 展开更多
关键词 知识图谱 多任务 推荐算法 预训练模型 图卷积神经网络
在线阅读 下载PDF
面向知识密集型任务的检索增强生成技术综述
13
作者 李子骏 肖辉 李雪峰 《微电子学与计算机》 2025年第10期48-65,共18页
检索增强生成(Retrieval-Augmented Generation, RAG)作为一种融合信息检索与文本生成的范式,通过引入外部知识源,显著提升了模型的知识覆盖率、事实准确性与时效性。系统梳理了RAG技术的演进与研究现状,从基本原理、系统架构出发,深入... 检索增强生成(Retrieval-Augmented Generation, RAG)作为一种融合信息检索与文本生成的范式,通过引入外部知识源,显著提升了模型的知识覆盖率、事实准确性与时效性。系统梳理了RAG技术的演进与研究现状,从基本原理、系统架构出发,深入分析检索器与生成器的协同建模机制及典型变体,包括FiD、REALM、REPLUG、GraphRAG等。总结了RAG在开放域问答、领域知识问答、智能客服、企业知识管理等应用场景的实践效果,并分析了多模态融合、外部工具调用和小样本学习等前沿方向。在此基础上,指出了当前RAG研究所面临的评估体系不统一、训练开销高、可控性不足等挑战,并对未来发展趋势进行了展望。 展开更多
关键词 检索增强生成 预训练语言模型 信息检索 文本生成 知识密集型任务
在线阅读 下载PDF
无人机集群任务分配技术研究综述 被引量:15
14
作者 毕文豪 张梦琦 +2 位作者 高飞 杨咪 张安 《系统工程与电子技术》 EI CSCD 北大核心 2024年第3期922-934,共13页
任务分配是无人机集群实现高效遂行作战任务的关键技术。随着无人机集群技术的发展和作战样式的转变,无人机集群的作战任务领域不断拓展,任务分配所涵盖的范围不断扩大,任务分配问题的规模和复杂性不断增加,这都对无人机集群任务分配技... 任务分配是无人机集群实现高效遂行作战任务的关键技术。随着无人机集群技术的发展和作战样式的转变,无人机集群的作战任务领域不断拓展,任务分配所涵盖的范围不断扩大,任务分配问题的规模和复杂性不断增加,这都对无人机集群任务分配技术提出了新的挑战。本文对无人机集群作战理论、任务分配建模、任务预重分配算法、异构无人系统联合应用下任务分配的研究现状进行了全面的总结,凝练了目前无人机集群任务分配技术面临的通用化建模、面向多任务的任务预分配算法最优解求解、有限时间下面向突发事件的任务重分配算法寻优、路径规划紧耦合下面向大规模异构无人系统的协同任务分配等问题,并针对性地论述了未来无人机集群任务分配技术的若干发展方向,为提升无人机集群任务分配的求解质量和求解速度提供新的研究思路和解决途径,对于全面了解无人机集群任务分配技术具有重要参考意义。 展开更多
关键词 无人机集群 任务预分配 任务重分配 通用化建模 突发事件
在线阅读 下载PDF
问答式林业预训练语言模型ForestBERT 被引量:4
15
作者 谭晶维 张怀清 +2 位作者 刘洋 杨杰 郑东萍 《林业科学》 EI CAS CSCD 北大核心 2024年第9期99-110,共12页
【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策... 【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。 展开更多
关键词 林业文本 BERT 预训练语言模型 特定领域预训练 抽取式问答任务 自然语言处理
在线阅读 下载PDF
自然语言处理中的探针可解释方法综述 被引量:11
16
作者 鞠天杰 刘功申 +1 位作者 张倬胜 张茹 《计算机学报》 EI CAS CSCD 北大核心 2024年第4期733-758,共26页
随着大规模预训练模型的广泛应用,自然语言处理的多个领域(如文本分类和机器翻译)取得了长足的发展.然而,受限于预训练模型的“黑盒”特性,其内部的决策模式以及编码的知识信息被认为是不透明的.以Open AI发布的Chat GPT和GPT-4为代表... 随着大规模预训练模型的广泛应用,自然语言处理的多个领域(如文本分类和机器翻译)取得了长足的发展.然而,受限于预训练模型的“黑盒”特性,其内部的决策模式以及编码的知识信息被认为是不透明的.以Open AI发布的Chat GPT和GPT-4为代表的先进预训练模型为例,它们在多个领域取得重大性能突破的同时,由于无法获知其内部是否真正编码了人们期望的知识或语言属性,以及是否潜藏一些不期望的歧视或偏见,因此仍然无法将其应用于重视安全性和公平性的领域.近年来,一种新颖的可解释性方法“探针任务”有望提升人们对预训练模型各层编码的语言属性的理解.探针任务通过在模型的某一区域训练辅助语言任务,来检验该区域是否编码了感兴趣的语言属性.例如,现有研究通过冻结模型参数并在不同层训练探针任务,已经证明预训练模型在低层编码了更多词性属性而在高层编码了更多语义属性,但由于预训练数据的毒性,很有可能在参数中编码了大量有害内容.该文首先介绍了探针任务的基本框架,包括任务的定义和基本流程;然后对自然语言处理中现有的探针任务方法进行了系统性的归纳与总结,包括最常用的诊断分类器以及由此衍生出的其他探针方法,为读者提供设计合理探针任务的思路;接着从对比和控制的角度介绍如何解释探针任务的实验结果,以说明探测位置编码感兴趣属性的程度;最后对探针任务的主要应用和未来的关键研究方向进行展望,并讨论了当前探针任务亟待解决的问题与挑战. 展开更多
关键词 探针任务 可解释 自然语言处理 预训练模型 深度学习 人工智能安全
在线阅读 下载PDF
基于多任务学习的电力文本信息抽取 被引量:1
17
作者 纪鑫 武同心 +4 位作者 余婷 董林啸 陈屹婷 米娜 赵加奎 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第8期2461-2469,共9页
为提升电力系统故障文本在实际业务场景中的分析处理速度,提出基于预训练与多任务学习的电力故障文本信息自动抽取模型。利用预训练模型学习电力文本词语的上下文信息,挖掘词语的一阶和二阶融合特征,增强特征的表示能力,利用多任务学习... 为提升电力系统故障文本在实际业务场景中的分析处理速度,提出基于预训练与多任务学习的电力故障文本信息自动抽取模型。利用预训练模型学习电力文本词语的上下文信息,挖掘词语的一阶和二阶融合特征,增强特征的表示能力,利用多任务学习框架结合命名实体识别和关系抽取2个任务的学习,实现实体识别和关系抽取的互相补充和互相促进,进而提高电力故障文本信息抽取的性能。通过对某电力网数据中心的日常业务数据进行模型验证,与其他模型相比,所提模型提高了电力故障文本实体识别和关系抽取的准确率和召回率。 展开更多
关键词 电力故障 预训练 多任务学习 实体识别 关系抽取
原文传递
基于多层次预训练策略和多任务学习的端到端蒙汉语音翻译
18
作者 王宁宁 飞龙 张晖 《中文信息学报》 CSCD 北大核心 2024年第10期71-79,共9页
端到端语音翻译将源语言语音直接翻译为目标语言文本,其需要“源语言语音-目标语言文本”作为训练数据,然而这类数据极其稀缺,该文提出了一种多层次预训练策略和多任务学习相结合的训练方法,首先分别对语音识别和机器翻译模型的各个模... 端到端语音翻译将源语言语音直接翻译为目标语言文本,其需要“源语言语音-目标语言文本”作为训练数据,然而这类数据极其稀缺,该文提出了一种多层次预训练策略和多任务学习相结合的训练方法,首先分别对语音识别和机器翻译模型的各个模块进行多层次预训练,接着将语音识别和机器翻译模型连接起来构成语音翻译模型,然后使用迁移学习对预训练好的模型进行多步骤微调,在此过程中又运用多任务学习的方法,将语音识别作为语音翻译的一个辅助任务来组织训练,充分利用了已经存在的各种不同形式的数据来训练端到端模型,首次将端到端技术应用于资源受限条件下的蒙汉语音翻译,构建了首个翻译质量较高、实际可用的端到端蒙汉语音翻译系统。 展开更多
关键词 蒙古语 端到端语音翻译 预训练 多任务学习
在线阅读 下载PDF
基于伪触发词的并行预测篇章级事件抽取方法
19
作者 秦海涛 线岩团 +1 位作者 相艳 黄于欣 《电子技术应用》 2024年第4期67-74,共8页
篇章级事件抽取一般将事件抽取任务分为候选实体识别、事件检测和论元识别3个子任务,然后采用级联的方式依次进行,这样的方式会造成误差传递;另外,现有的大多数模型在解码事件时,对事件数量的预测隐含在解码过程中,且只能按照预定义的... 篇章级事件抽取一般将事件抽取任务分为候选实体识别、事件检测和论元识别3个子任务,然后采用级联的方式依次进行,这样的方式会造成误差传递;另外,现有的大多数模型在解码事件时,对事件数量的预测隐含在解码过程中,且只能按照预定义的事件顺序及预定义的角色顺序预测事件论元,使得先抽取的事件并没有考虑到后面抽取的事件。针对以上问题提出一种多任务联合的并行预测事件抽取框架。首先,使用预训练语言模型作为文档句子的编码器,检测文档中存在的事件类型,并使用结构化自注意力机制获取伪触发词特征,预测每种事件类型的事件数量;然后将伪触发词特征与候选论元特征进行交互,并行预测每个事件对应的事件论元,在大幅缩减模型训练时间的同时获得与基线模型相比更好的性能。最终事件抽取结果F1值为78%,事件类型检测子任务F1值为98.7%,事件数量预测子任务F1值为90.1%,实体识别子任务F1值为90.3%。 展开更多
关键词 篇章级事件抽取 多任务联合 预训练语言模型 结构化自注意力机制 并行预测
在线阅读 下载PDF
基于任务驱动、理实一体的急救护理教学设计与探索 被引量:1
20
作者 张玉梅 高仁甫 +2 位作者 冯宗媚 刘芹 邹丽萍 《卫生职业教育》 2024年第12期80-83,共4页
急救护理在护理专业人才培养及课程体系中占有非常重要的位置。开展任务驱动、理实一体的护理教学改革,以期提高课程教学质量,提高人才培养质量。以“院前救护”教学模块为例,从教学设计与策略、教学实施过程、教学效果与评价、教学特... 急救护理在护理专业人才培养及课程体系中占有非常重要的位置。开展任务驱动、理实一体的护理教学改革,以期提高课程教学质量,提高人才培养质量。以“院前救护”教学模块为例,从教学设计与策略、教学实施过程、教学效果与评价、教学特色与创新、教学反思与改进5个方面进行探讨,以期为护理专业任务驱动、理实一体的护理教学改革提供参考。 展开更多
关键词 急救护理 院前救护 驱务驱动 理实一体
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部