pytorch 29 onnx多输入多输出模型(动态尺寸)转TensorRT模型并在python与C++下用TensorRT进行部署
2023-09-14 09:15:04 时间
实现将多输入多输出的onnx模型转TensorRT的格式,并用TensorRT的python api进行调用,最后实现C++的调用,python结果与C++结果一模一样。在此过程中实现了,动态尺寸,也就是可以在运行是按照数据情况动态调整模型的输入数据的格式。
在这里以pytorch的多输入多输出模型为例,从模型构建到转化为onnx动态size、tensorrt安装、onnx转tensorRT动态size、tensorRT模型pytthon调用、tensorRT C++项目配置,最终到tensorRT模型C++调用。实现从零开始,到多输入多输出tensorRT动态size模型的C++调用。
1、tensorRT的安装
1.1 tensorRT的下载
下载时需要根据自己电脑上的显卡与cuda选择版本。选择版本时需要注意,GA是正式发行版,EA是测试版。建议下载GA版。博主下载的是8.2的GA版
下载地址为:https://developer.nvidia.com/nvidia-tensorrt-8x-download
1.2 win10下tensorRT的安装
在上述过程下载的tensorRT是一个库,并非软件。只需要将tensorRT中lib的路径添加到系统环境变量Path中即可。
<相关文章
- mt4 python_一个使用Python自动化交易外汇MT4脚本实现「建议收藏」
- python面试常见问题有哪些「建议收藏」
- 【实战】爬虫总被禁?看看代理在Python中的运用吧
- Python元组_python输出元组
- python最好的开发工具_Python编译器
- Python + Steamlit 快速开发可视化 web 页面!
- python的pyautogui库UI自动化程序无法在无显示器的云服务解决办法2021.11.25
- 【说站】python有哪些切片类型
- python正则表达式贪婪与非贪婪匹配
- python hexdump_笨办法学 Python · 续 练习 26:`hexdump`
- python程序化交易实例-用 Python 实现你的量化交易策略「建议收藏」
- python 如何安装numpy库?
- python格式化输出dict等集合对象
- 数据结构小记【Python/C++版】——队列篇
- Pythonic 的写法让 Python 代码更加简洁
- python实现的telnet客户端程序详解编程语言
- python实现冒泡排序详解编程语言
- 小白的Python之路 day5 shelve模块讲解详解编程语言
- 开发Linux下Python编程:实现自己的开发梦想(linux下python)