为了提升高频时序数据的存储效率和提取性能,结合应用数据的特点和时序数据库(time series database,TSDB)的编码方法,对棒线材连轧过程数据编码进行了联合优化。首先,为了优化应用端,针对棒线材连轧过程数据的结构特点和应用特点,建立...为了提升高频时序数据的存储效率和提取性能,结合应用数据的特点和时序数据库(time series database,TSDB)的编码方法,对棒线材连轧过程数据编码进行了联合优化。首先,为了优化应用端,针对棒线材连轧过程数据的结构特点和应用特点,建立了基于工作模式的复合信源模型;然后,为了优化TSDB端,针对在InfluxDB存储复合信源数据时定长划分数据块引起的时间戳编码冗余问题,提出了基于变长数据块的编码优化方法;最后,为了保证优化后系统的稳定性,提出了重写时间结构合并树(time-structured merge-tree,TSM)文件的非源码改造方案。使用实际轧机的棒材连轧过程数据进行测试,测试结果表明,经过编码优化后,TSM文件的总编码长度和时间戳的编码长度分别降低了37.6%和91.3%,所提方法不仅提升了数据存储效率,而且大幅度提高了数据提取性能。展开更多
文摘为了提升高频时序数据的存储效率和提取性能,结合应用数据的特点和时序数据库(time series database,TSDB)的编码方法,对棒线材连轧过程数据编码进行了联合优化。首先,为了优化应用端,针对棒线材连轧过程数据的结构特点和应用特点,建立了基于工作模式的复合信源模型;然后,为了优化TSDB端,针对在InfluxDB存储复合信源数据时定长划分数据块引起的时间戳编码冗余问题,提出了基于变长数据块的编码优化方法;最后,为了保证优化后系统的稳定性,提出了重写时间结构合并树(time-structured merge-tree,TSM)文件的非源码改造方案。使用实际轧机的棒材连轧过程数据进行测试,测试结果表明,经过编码优化后,TSM文件的总编码长度和时间戳的编码长度分别降低了37.6%和91.3%,所提方法不仅提升了数据存储效率,而且大幅度提高了数据提取性能。
