在NVIDIA Jetson上开发要知道的知识点
本周二晚,针对参加NVIDIA Jetson开发大赛的开发者们,NVIDIA做了一个内部培训,我们把培训讲座整理了一下,Highlight几个关键点(尤其是几个规格对比图,大家一定要保存):
NVIDIA全系列Jetson模组产品:
初次接触NVIDIA Jetson产品的开发者可以看看上面这个图,让您知道,针对不同的AI应用场景,高中低档,NVIDIA已经出全了。其中,Jetson Orin NANO模组将于2023年1月份上市
高端模组规格对比:
低端模组的规格对比:
Jetson Orin NANO的架构
注意:Jetson NANO Orin去掉了编码功能,所以选型的时候一定要注意。
全系列模组的规格比较(这里少了Orin NANO)
我们从这三张图中可以看到:
- Orin系列全部为安培架构, GPU是同一型号,这对于软件开发做适配是很有帮助的,因为不同的架构,你做适配,在算法或者优化上都需要做调整,势必对于移植会产生影响,而这个在Orin系列就不存在这个问题,不同的Orin模组,只有性能的差别,这也就是为什么AGX Orin开发套件可以模拟六款Orin模组。
- Orin系列的性能分Dense和Sparse,有人会问这是什么?这是安培架构比较特殊的操作,叫结构化稀疏——现代人工智能网络相当庞大且越来越大,有数百万、甚至数十亿个参数。精准预测与推论不需要用到所有参数,而有些参数可以转换为零,以确保模型变「稀疏」的同时不会牺牲准确性。Tensor 核心最高可以将稀疏模型的效能提高 2 倍。将模型稀疏化对于人工智能推论有益,同时也能改善模型训练效能。所以,以Orin NX 8GB为例,你如果稀疏化,那么性能可以达到70TOPS,如果不用稀疏化,可以达到35TOPS.
- Orin系列,DLA和PVA(视觉加速)都到了V2版本。
- 视频编解码部分,Orin NX和AGX Orin都支持AV1。在过去十年中,视频应用在互联网上变得无处不在,现代设备推动了对高分辨率、高质量内容的消费的快速增长。视频点播和会话视频等服务是主要的带宽消耗者,它们对传输基础设施提出了严峻的挑战,因此对高效视频压缩技术的需求更加强烈。AV1是一种新兴的开源免版税视频压缩格式。AV1开发的主要目标是在保持实际解码复杂性和硬件可行性的同时,在最先进的编解码器上实现显著的压缩增益。
NVIDIA Jetson模组Roadmap
在NVIDIA的PPT里,我们发现,2023年,NVIDIA会推出AGX Orin工业级模组——这是专门针对需要宽温、冲击和振动规范才能在恶劣环境中运行的应用!
NVIDIA Jetson软件栈
NVIDIA强调,Jetson的软件系统平台跟其他嵌入式平台略有不同。其他的嵌入式平台使用的时候是Uboot+kernel+自己做的Roots,而NVIDIA Jetson平台是通过JetPack,已经打包好了底层的kernel、Uboot以及NVIDIA的各种库,然后再加上一个Rootfs.
Orin发布之前,JetPack最高版本是JetPack 4.6.2,基于Ubuntu18.04,目前Jetson NANO和Jetson TX2NX最高可以刷的版本就是JetPack 4.6.2,是不会再升级到JetPack 5.0。
Orin系列,JetPack可以升级到JetPack 5.X,基于Ubuntu 20.04
注意一点:JetPack 5.0以上,kernel是升级到了5.1,而JetPack 4.6.2的kernel是4.9。这样很多驱动,它是基于Kernel 5.1的,就比较容易移植到JetPack 5.0.X,比如树莓派的一些外设是基于kernel 5.X,在JetPack 4.6.X 上移植可能会遇到问题。
CUDA-X SDK资源
CUDA
▪ https://docs.nvidia.com/cuda/cuda-for-tegra-appnote/index.html#overview
cuDNN
▪ https://developer.nvidia.com/cudnn
TensorRT
▪ https://developer.nvidia.com/tensorrt
▪ Samples https://github.com/NVIDIA/TensorRT/tree/main/samples
Jetson Multimedia
▪ https://docs.nvidia.com/jetson/l4t-multimedia/group__l4t__mm__test__group.html
▪ Samples: /usr/src/jetson_multimedia_api
DeepStream
▪ https://developer.nvidia.com/deepstream-sdk
▪ Samples: /opt/nvidia/deepstream/deepstream-6.1/sources
VPI
▪ https://docs.nvidia.com/vpi/index.html
Cameara
▪https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-3261/index.html#page/Tegra%20Linux%20Driver%20Package%20Development%20Guide/camera_dev.html#
相关文章
- R语言随机波动模型SV:马尔可夫蒙特卡罗法MCMC、正则化广义矩估计和准最大似然估计上证指数收益时间序列
- 怎么做登陆(单点登陆)功能?
- 清除浮动的四种方式
- 浅析基于AI烟火识别的森林防火风险监测预警系统设计方案
- 浅析TSINGSEE智能边缘网关的人体检测技术及应用场景
- 深圳美富达深耕充电电源细分领域 为客户创造长期价值
- Webhook端口使用介绍与演示
- 如何保证接口幂等性?
- 软件测试|Junit5基本使用
- 软件测试|搞懂测试左移和测试右移
- AI人工智能识别技术如何助力构建风险监测预警系统?
- 如何更好的输出应用日志
- 用 Go 从零实现日志包 - 第零篇 序言
- 软件测试|Github基础命令与 IDE 的 Git 集成
- 小厂10K vs 大厂20K,咋选?
- 算法转开发&测开,拿了四个offer(上)
- 算法转开发&测开,拿了四个offer(下)
- 一个简单的HTTP请求和响应服务-httpbin.org
- 一张图了解-测试职业发展规划
- Selenium IDE命令行运行器