深度学习端上部署工具
2023-09-11 14:19:30 时间
深度学习端上部署工具
| 模型 | 公司 | 通用性别 | 说明 |
| tf-lite | tensorflow，开源 | 通用性最强，与 tensorflow 适配完美，不过性能一般 支持CPU和GPU | roadmap 中预计年底将实现对全系列rnn以及control flow的支持，值得期待！ |
| TensorRT | nvidia，闭源 | 支持CPU和GPU | 仅支持nvidia gpu系列产品推理，平台的限定使得无法推广到一般的移动端设备使用 |
| OpenCV | |||
| mnn | 阿里巴巴，开源 | 踩在巨人的肩膀上进行研发，起点高，端上性能强悍，据说性能强于ncnn | 吸取了最近两年开源的移动端推理框架的各种优秀成果
硬件支持：
|
| TNN | 腾讯，开源 | 支持CPU和GPU | |
| ncnn | 腾讯，开源 | 大量手写汇编级别优化，移动端性能强悍 支持CPU和GPU | |
| bolt | 华为，开源 | 支持CPU和GPU | 官方数据中给出了端设备上bert的推理性能数据 |
| mace | 小米，开源 | ||
| paddle-lite | 百度，开源 | ||
| pytorch-mobile | facebook，开源 | ||
| caffe2 | facebook，开源 | ||
| tvm | 陈天奇团队，开源 |
相关文章
- Python 应用自动化部署工具Fabirc
- 手机上的桌面便签工具怎么找到?
- python自定义小工具：密码匿名化、毫秒时间显示、人类易读字节
- 【好文收藏】k8s中Pod 无法正常解析域名：部署 DNS 调试工具排查
- 使用Chrome开发者工具分析JavaScript garbage collector(垃圾回收器)的实现原理
- redis工具类
- 数学建模国赛编程手必备工具
- python爬虫用到的工具和类库
- 静态工具类中使用注解注入service
- 【云原生之Docker实战】使用docker部署mkdocs项目文档工具
- 【云原生之Docker实战】使用docker部署nginx-proxy-manager-zh反向代理工具
- 【云原生之Docker实战】使用Docker部署FileCodeBox文件分享工具
- 【云原生之Docker实战】使用Docker部署image2df工具
- 【云原生之Docker实战】使用Docker部署pdf2htmlEX文件转换工具
- 【云原生之Docker实战】使用Docker部署draw.io思维导图工具
- 【最详细教程Cursor】智能 AI 代码生成工具 Cursor 安装和使用介绍
- 云原生之使用Docker部署docker-compose-ui工具
- 【云原生之Docker实战】使用Docker部署ShowDoc文档工具
- 好用的内网穿透工具——筑梦之路