摘要
本文介绍了长流量词元(token)表示方法。该方法采用生成式预训练和线性注意力等机制,显著提升了大模型处理长流量能力,首次实现了大模型对流量的完整流生成能力,支持多应用场景。本文结合YOCSEF西安举办的大模型安全系列论坛,梳理流量大模型的机理及现状趋势,探讨挑战及未来发展方向。
In this article,the authors propose a novel token representation method for long traffic flows.The method leverages generative pre-training and linear attention mechanisms,which significantly enhances the capability of large models to process long traffic flows.For the first time,this breakthrough enables large language models to achieve comprehensive flow-level traffic generation that can be widely applied to diverse scenarios.
作者
马小博
瞿建
李剑锋
盖珂珂
管晓宏
MA Xiaobo;QU Jian;LI Jianfeng;GAI Keke;GUAN Xiaohong(Xi'an Jiaotong University;Bejjing Institute of Technology)
出处
《计算》
2025年第2期73-79,共7页
Computing Magazine of the CCF
基金
国家自然科学基金项目(U23A20332,62272381,62202405,623B2081,T2341003)。
关键词
大模型
流量分析
流量生成
large language models
traffic analysis
traffic generation
