Due to defects of time-difference of arrival localization,which influences by speed differences of various model waveforms and waveform distortion in transmitting process,a neural network technique is introduced to ca...Due to defects of time-difference of arrival localization,which influences by speed differences of various model waveforms and waveform distortion in transmitting process,a neural network technique is introduced to calculate localization of the acoustic emission source.However,in back propagation（BP） neural network,the BP algorithm is a stochastic gradient algorithm virtually,the network may get into local minimum and the result of network training is dissatisfactory.It is a kind of genetic algorithms with the form of quantum chromosomes,the random observation which simulates the quantum collapse can bring diverse individuals,and the evolutionary operators characterized by a quantum mechanism are introduced to speed up convergence and avoid prematurity.Simulation results show that the modeling of neural network based on quantum genetic algorithm has fast convergent and higher localization accuracy,so it has a good application prospect and is worth researching further more.展开更多
现有基于预训练语言模型(PLM)的作文自动评分(AES)方法偏向于直接使用从PLM提取的全局语义特征表示作文的质量,却忽略了作文质量与更细粒度特征关联关系的问题。聚焦于中文AES研究,从多种文本角度分析和评估作文质量,提出利用图神经网络...现有基于预训练语言模型(PLM)的作文自动评分(AES)方法偏向于直接使用从PLM提取的全局语义特征表示作文的质量,却忽略了作文质量与更细粒度特征关联关系的问题。聚焦于中文AES研究,从多种文本角度分析和评估作文质量,提出利用图神经网络(GNN)对作文的多尺度特征进行联合学习的中文AES方法。首先,利用GNN分别获取作文在句子级别和段落级别的篇章特征;然后,将这些篇章特征与作文的全局语义特征进行联合特征学习,实现对作文更精准的评分;最后,构建一个中文AES数据集,为中文AES研究提供数据基础。在所构建的数据集上的实验结果表明,所提方法在6个作文主题上的平均二次加权Kappa(QWK)系数相较于R2-BERT(Bidirectional Encoder Representations from Transformers model with Regression and Ranking)提升了1.1个百分点,验证了在AES任务中进行多尺度特征联合学习的有效性。同时,消融实验结果进一步表明了不同尺度的作文特征对评分效果的贡献。为了证明小模型在特定任务场景下的优越性,与当前流行的通用大语言模型GPT-3.5-turbo和DeepSeek-V3进行了对比。结果表明,使用所提方法的BERT(Bidirectional Encoder Representations from Transformers)模型在6个作文主题上的平均QWK比GPT-3.5-turbo和DeepSeek-V3分别高出了65.8和45.3个百分点,验证了大语言模型(LLMs)在面向领域的篇章级作文评分任务中,因缺乏大规模有监督微调数据而表现不佳的观点。展开更多
以ChatGPT为代表的大语言模型(large language model,LLM)因其强大的自然语言理解和生成能力在各领域中得到广泛应用.然而,深度学习模型在受到对抗样本攻击时往往展现出脆弱性.在自然语言处理领域中,当前对抗样本生成方法的研究通常使用...以ChatGPT为代表的大语言模型(large language model,LLM)因其强大的自然语言理解和生成能力在各领域中得到广泛应用.然而,深度学习模型在受到对抗样本攻击时往往展现出脆弱性.在自然语言处理领域中,当前对抗样本生成方法的研究通常使用CNN类模型、RNN类模型和基于Transformer结构的预训练模型作为目标模型,而很少有工作探究LLM受到对抗攻击时的鲁棒性并量化LLM鲁棒性的评估标准.以中文对抗攻击下的ChatGPT为例,引入了偏移平均差(offset average difference,OAD)这一新概念,提出了一种基于OAD的可量化的LLM鲁棒性评价指标OAD-based robustness score (ORS).在黑盒攻击场景下,选取9种基于词语重要性的主流中文对抗攻击方法来生成对抗文本,利用这些对抗文本攻击ChatGPT后可以得到每种方法的攻击成功率.所提的ORS基于攻击成功率为LLM面向每种攻击方法的鲁棒性打分.除了输出为硬标签的ChatGPT,还基于攻击成功率和以高置信度误分类对抗文本占比,设计了适用于输出为软标签的目标模型的ORS.与此同时,将这种打分公式推广到对抗文本的流畅性评估中,提出了一种基于OAD的对抗文本流畅性打分方法 OAD-based fluency score (OFS).相比于需要人类参与的传统方法,所提的OFS大大降低了评估成本.分别在真实世界中的中文新闻分类和情感倾向分类数据集上开展实验.实验结果在一定程度上初步表明,面向文本分类任务,对抗攻击下的ChatGPT鲁棒性分数比中文BERT高近20%.然而,ChatGPT在受到对抗攻击时仍会产生错误预测,攻击成功率最高可超过40%.展开更多
基金supported by the National Natural Science Foundation of China (51075068)the Southeast University Science Foundation Funded Program (KJ2009348)
文摘Due to defects of time-difference of arrival localization,which influences by speed differences of various model waveforms and waveform distortion in transmitting process,a neural network technique is introduced to calculate localization of the acoustic emission source.However,in back propagation（BP） neural network,the BP algorithm is a stochastic gradient algorithm virtually,the network may get into local minimum and the result of network training is dissatisfactory.It is a kind of genetic algorithms with the form of quantum chromosomes,the random observation which simulates the quantum collapse can bring diverse individuals,and the evolutionary operators characterized by a quantum mechanism are introduced to speed up convergence and avoid prematurity.Simulation results show that the modeling of neural network based on quantum genetic algorithm has fast convergent and higher localization accuracy,so it has a good application prospect and is worth researching further more.
文摘现有基于预训练语言模型(PLM)的作文自动评分(AES)方法偏向于直接使用从PLM提取的全局语义特征表示作文的质量,却忽略了作文质量与更细粒度特征关联关系的问题。聚焦于中文AES研究,从多种文本角度分析和评估作文质量,提出利用图神经网络(GNN)对作文的多尺度特征进行联合学习的中文AES方法。首先,利用GNN分别获取作文在句子级别和段落级别的篇章特征;然后,将这些篇章特征与作文的全局语义特征进行联合特征学习,实现对作文更精准的评分;最后,构建一个中文AES数据集,为中文AES研究提供数据基础。在所构建的数据集上的实验结果表明,所提方法在6个作文主题上的平均二次加权Kappa(QWK)系数相较于R2-BERT(Bidirectional Encoder Representations from Transformers model with Regression and Ranking)提升了1.1个百分点,验证了在AES任务中进行多尺度特征联合学习的有效性。同时,消融实验结果进一步表明了不同尺度的作文特征对评分效果的贡献。为了证明小模型在特定任务场景下的优越性,与当前流行的通用大语言模型GPT-3.5-turbo和DeepSeek-V3进行了对比。结果表明,使用所提方法的BERT(Bidirectional Encoder Representations from Transformers)模型在6个作文主题上的平均QWK比GPT-3.5-turbo和DeepSeek-V3分别高出了65.8和45.3个百分点,验证了大语言模型(LLMs)在面向领域的篇章级作文评分任务中,因缺乏大规模有监督微调数据而表现不佳的观点。
