随着深度学习领域的不断成熟,互联网公司开始在各个业务领域使用深度学习建模方法来分析用户数据并为用户提供服务。但是,训练好的深度学习模型需要经过一系列复杂的工程化处理流程才能应用到生产环境中。由于互联网产品的业务需要,其使用的深度学习模型需要不断变更,而每次变更都需要重新将模型进行工程化处理。因此,模型工程化需求越来越多,仅凭人力已经难以应对如此庞大的工作量。本文以国内某大型互联网公司的模型工程化需求为背景,提出了一种深度学习模型工程化工具的解决方案,并阐述了其相关的设计与实现工作。该工具采用了类似于LLVM编译器的三层架构设计,整体上分为前端层、中间层、后端层共三层,同时实现了用于功能性自检的模块。三层架构设计降低了该工具的内部依赖,可扩展性强,当需要支持新的模型格式输入或新的目标类型输出时,只需要新增相应的前端层或后端层实现即可。模型工程化包括模型部署和模型推理加速。在模型部署方面,本文将深度学习模型转换为代码后借助RPC框架完成部署。在模型推理加速方面,本文从以下两方面对模型推理进行了优化:●在中间层中使用多种优化器优化了模型网络结构,减少了模型推理过程中一些不必要的运算,从模型计算图方面提升了模型推理效率。●在后端层的C++算子库中使用多线程和单指令多数据技术实现了算子的并行计算,从底层计算方面提升了模型推理效率。本文展示了该工具对于模型推理的加速成果,并与其他同类框架做了对比,阐明了其特点。该工具的出现提升了开发人员的工作效率,减少了深度学习模型的部署成本和线上运营成本,其在深度学习工程应用领域具有巨大价值。