-
题名基于微服务的深度学习模型服务系统
被引量：3
- 1
-
-
作者
江宁远
张华熊
-
机构
浙江理工大学信息学院
-
出处
《软件工程》
2021年第5期22-25,共4页
-
基金
浙江省基础公益研究计划项目(LGG20F020016)
浙江省重点研发计划项目(2020C03104).
-
文摘
Tensorflow Serving是Google开源的一个服务系统,针对Tensorflow Serving单体应用吞吐量低、服务调用烦琐、模型生命周期管理不完善等问题,本文设计了一种基于Tensorflow Serving的微服务软件架构方案,在部署Tensorflow Serving的Docker(开源的应用容器引擎)容器里添加本文研发的监控程序,该监控程序根据各个实例模型加载情况,将可用模型服务主动注册到微服务架构中的注册中心以实现对模型的编排管理。实验结果表明:采用本文的微服务架构方案,有效提升了Tensorflow Serving服务的吞吐量,降低了服务响应时间,简化了模型调用流程,从而满足Tensorflow Serving在生产环境中部署和运维的实际需求。
-
关键词
tensorflow
serving
微服务
第三方注册
-
Keywords
tensorflow serving
microservice
third-party registration
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
