为探索大脑与视觉之间的联系,提高大脑活动重建视频的清晰度与准确性,提出了一种名为高质量脑电视频重建(high quality electroencephalogram video reconstruction,HQEEGVR)的方法进行脑电信号重建视频。首先,提出三分支脑电特征提取...为探索大脑与视觉之间的联系,提高大脑活动重建视频的清晰度与准确性,提出了一种名为高质量脑电视频重建(high quality electroencephalogram video reconstruction,HQEEGVR)的方法进行脑电信号重建视频。首先,提出三分支脑电特征提取网络——掩蔽时空频融合网络(masking spatio-temporal frequency fusion network,MSTFFNet)从脑电信号中提取大脑活动信息,深入挖掘大脑活动变化背后的语义,同时提取时空频信息;其次,引入跨模态对比学习,对齐脑电、文本、图像特征,以便生成阶段使用;然后,提出级联视频扩散模型,具体来说,先利用稳定扩散模型以脑电特征为条件生成参考视频帧,接着以视频帧为参考,融入运动矢量,引入视频扩散模型捕捉视频时间特征;最终生成高质量视频。结果表明,该模型在重建视频的主体、动作、颜色、语义等方面表现较好。可见利用脑电信号可以捕获大脑活动的视觉与语义信息,从而重建高保真度和视觉真实性的视频。展开更多
神经隐式表征是一种新兴的形状表示范式,但多数传统隐式表示方法如DeepSDF等未考虑整体形状的局部特征信息,存在拓扑细节精度不足的问题。为解决上述问题,提出了一种由部件隐向量驱动的隐式三维重建方法,即构建部件的隐式场以最小化模...神经隐式表征是一种新兴的形状表示范式,但多数传统隐式表示方法如DeepSDF等未考虑整体形状的局部特征信息,存在拓扑细节精度不足的问题。为解决上述问题,提出了一种由部件隐向量驱动的隐式三维重建方法,即构建部件的隐式场以最小化模型预测的整体形状目标点有符号距离值LGI-RIF(Reconstruction of Implicit Fields with Local and Global Integration),能从观测数据中重建几何形状。该方法在一个低维的潜在编码空间中训练神经网络并在解码器框架中联合优化,设计EFP、EFCS和R3DS这3个模块,在EFP模块中由设计的变分自编码器学习部件的特征向量分布,在EFCS模块中构建自动解码器学习整体形状的SDF隐式表达,在R3DS模块中重建整体三维形状。实验结果表明:LGI-RIF在ShapeNet和ModelNet 10数据集上的重建精度得到了进一步提升,在可视化重构中具有良好的视觉效果。展开更多
文摘为探索大脑与视觉之间的联系,提高大脑活动重建视频的清晰度与准确性,提出了一种名为高质量脑电视频重建(high quality electroencephalogram video reconstruction,HQEEGVR)的方法进行脑电信号重建视频。首先,提出三分支脑电特征提取网络——掩蔽时空频融合网络(masking spatio-temporal frequency fusion network,MSTFFNet)从脑电信号中提取大脑活动信息,深入挖掘大脑活动变化背后的语义,同时提取时空频信息;其次,引入跨模态对比学习,对齐脑电、文本、图像特征,以便生成阶段使用;然后,提出级联视频扩散模型,具体来说,先利用稳定扩散模型以脑电特征为条件生成参考视频帧,接着以视频帧为参考,融入运动矢量,引入视频扩散模型捕捉视频时间特征;最终生成高质量视频。结果表明,该模型在重建视频的主体、动作、颜色、语义等方面表现较好。可见利用脑电信号可以捕获大脑活动的视觉与语义信息,从而重建高保真度和视觉真实性的视频。
文摘神经隐式表征是一种新兴的形状表示范式,但多数传统隐式表示方法如DeepSDF等未考虑整体形状的局部特征信息,存在拓扑细节精度不足的问题。为解决上述问题,提出了一种由部件隐向量驱动的隐式三维重建方法,即构建部件的隐式场以最小化模型预测的整体形状目标点有符号距离值LGI-RIF(Reconstruction of Implicit Fields with Local and Global Integration),能从观测数据中重建几何形状。该方法在一个低维的潜在编码空间中训练神经网络并在解码器框架中联合优化,设计EFP、EFCS和R3DS这3个模块,在EFP模块中由设计的变分自编码器学习部件的特征向量分布,在EFCS模块中构建自动解码器学习整体形状的SDF隐式表达,在R3DS模块中重建整体三维形状。实验结果表明:LGI-RIF在ShapeNet和ModelNet 10数据集上的重建精度得到了进一步提升,在可视化重构中具有良好的视觉效果。
