为了充分利用特征间的高阶交互以提升点击率预测模型的预测精度,提出了一种基于图神经网络和注意力的点击率预测模型VBGA (vector-wise and bit-wise interaction model based on GNN and attention),该模型借助图神经网络和注意力机制...为了充分利用特征间的高阶交互以提升点击率预测模型的预测精度,提出了一种基于图神经网络和注意力的点击率预测模型VBGA (vector-wise and bit-wise interaction model based on GNN and attention),该模型借助图神经网络和注意力机制,为每个特征分别学习一个细粒度的权重,并将这种细粒度的特征权重输入到向量级交互层和元素级交互层联合预测点击率.VBGA模型主要由向量级交互层和元素级交互层构成,其中向量级交互层采用有向图来构建向量级的特征交互,实现无重复的显式特征交互,在减少计算量的同时,还可以实现更高阶的特征交叉,以获得更准确的预测精度.此外,本文还提出了一种交叉网络用于构建元素级特征交互.在Criteo和Avazu数据集上,与其他几种最先进的点击率预测模型进行了比较,实验结果表明,VBGA可以获得良好的预测结果.展开更多
图结构数据在社交网络、交通系统、生物信息等场景中广泛存在。图神经网络(graph neural networks,GNNs)利用消息传递机制迭代地聚合邻居信息,在节点分类、链路预测和图分类等任务中展现出良好性能。然而,随着数据规模的持续扩大与应用...图结构数据在社交网络、交通系统、生物信息等场景中广泛存在。图神经网络(graph neural networks,GNNs)利用消息传递机制迭代地聚合邻居信息,在节点分类、链路预测和图分类等任务中展现出良好性能。然而,随着数据规模的持续扩大与应用场景的日趋复杂,GNNs面临表达能力有限与泛化能力不足等关键挑战。近年来,以大语言模型(large language models,LLMs)为代表的基础模型迅速发展,展现出卓越的泛化与推理能力,为图机器学习领域带来了新的启发。基于此,本研究提出图基础模型(graph foundation model,GFM)的概念,希望通过在大规模图数据上预训练,获得能够灵活适配多种下游任务的通用模型;同时系统梳理了近年来图基础模型的相关研究,并依据其对GNNs与LLMs的依赖程度,将现有方法归纳为3类,综述其研究进展并介绍了作者团队在相关方向的实践探索经验。最后,展望了图基础模型未来发展可能面临的关键挑战与前景,以期为图机器学习领域的持续创新提供参考。展开更多
文摘为了充分利用特征间的高阶交互以提升点击率预测模型的预测精度,提出了一种基于图神经网络和注意力的点击率预测模型VBGA (vector-wise and bit-wise interaction model based on GNN and attention),该模型借助图神经网络和注意力机制,为每个特征分别学习一个细粒度的权重,并将这种细粒度的特征权重输入到向量级交互层和元素级交互层联合预测点击率.VBGA模型主要由向量级交互层和元素级交互层构成,其中向量级交互层采用有向图来构建向量级的特征交互,实现无重复的显式特征交互,在减少计算量的同时,还可以实现更高阶的特征交叉,以获得更准确的预测精度.此外,本文还提出了一种交叉网络用于构建元素级特征交互.在Criteo和Avazu数据集上,与其他几种最先进的点击率预测模型进行了比较,实验结果表明,VBGA可以获得良好的预测结果.
文摘图结构数据在社交网络、交通系统、生物信息等场景中广泛存在。图神经网络(graph neural networks,GNNs)利用消息传递机制迭代地聚合邻居信息,在节点分类、链路预测和图分类等任务中展现出良好性能。然而,随着数据规模的持续扩大与应用场景的日趋复杂,GNNs面临表达能力有限与泛化能力不足等关键挑战。近年来,以大语言模型(large language models,LLMs)为代表的基础模型迅速发展,展现出卓越的泛化与推理能力,为图机器学习领域带来了新的启发。基于此,本研究提出图基础模型(graph foundation model,GFM)的概念,希望通过在大规模图数据上预训练,获得能够灵活适配多种下游任务的通用模型;同时系统梳理了近年来图基础模型的相关研究,并依据其对GNNs与LLMs的依赖程度,将现有方法归纳为3类,综述其研究进展并介绍了作者团队在相关方向的实践探索经验。最后,展望了图基础模型未来发展可能面临的关键挑战与前景,以期为图机器学习领域的持续创新提供参考。
