初识深度学习推理框架 | 简记

ONNX |onnx runtime | Protobuf

参考博文：https://oldpan.me/archives/talk-about-onnx

ONNX: Open Neural Network Exchange

ONNX 定义了一组通用运算符——机器学习和深度学习模型的构建块——以及一种通用文件格式，使 AI 开发人员能够使用具有各种框架、工具、运行时和编译器的模型

参考链接：ONNX 和 Azure 机器学习：创建和加速 ML 模型

onnxruntime 是一种用于将 ONNX 模型部署到生产环境的高性能推理引擎。 它针对云和 Edge 进行了优化，适用于 Linux、Windows 和 Mac。 它使用 C++ 编写，还包含 C、Python、C#、Java 和 Javascript (Node.js) API，可在各种环境中使用

Protobuf是一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议，可以用于网络通信和数据存储。我们可以通过protobuf自己设计一种数据结构的协议，然后使用各种语言去读取或者写入，通常我们采用的语言就是C++

ncnn MNN tvm 【这些 gitHub 搜一下就可以直达 git 仓库】

ncnn is a high-performance neural network inference framework optimized for the mobile platform

MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba

https://github.com/apache/tvm Open deep learning compiler stack for cpu, gpu and specialized accelerators

TensorRT 学习

TensorRT为什么能让模型跑快快

TensorRT(1)-介绍-使用-安装

TensorRT 学习博客

最近刚刚开始接触这块儿，慢慢补充…

文章来源: positive.blog.csdn.net，作者：墨理学AI，版权归原作者所有，如需转载，请联系作者。

原文链接：positive.blog.csdn.net/article/details/118001915