重点已划好！OpenMMLab 10 月动态一览

OpenMMLab 2.0 公测期我们对主分支和新分支同步更新，10 月有 12 个算法库更新了版本：

• MMEval 跨框架机器学习算法评测库重磅发布！提供丰富的评测指标，高效准确的分布式评测，支持根据输入自动分发至对应的机器学习框架实现
• MMEngine v0.3.0 支持了华为昇腾芯片，以及 ZeroRedundancyOptimizer 优化器可用于训练大模型
• MMCV 主分支：自 v1.7.0 版本起提供支持 PyTorch 1.13 的预编译包，同时提供 macOS 在 PyTorch 1.5 至 1.13 预编译包；支持了华为昇腾芯片；新增支持 3 个 CUDA 算子和 1 个 MLU 算子
• MMClassification 主分支：支持 NPU（华为昇腾）设备的训练
• MMSelfSup 新分支：支持 MaskFeat 自监督算法
• MMDetection 新分支：支持在 ImageNet 上预训练 RTMDet 的骨干网络；添加了 CrowdHumanDataset 和评估指标
• MMYOLO v0.1.2：基于 MMDeploy 支持 MMYOLO 中 YOLOv5/YOLOv6/YOLOX/RTMDet 模型部署
• MMSegmentation 主分支：新增模型集成工具； 新分支：支持 PoolFormer 主干网络，新增 Decathlon、LIP 数据集
• MMOCR 新分支：推出了全新的 Dataset Preparer，仅需一条命令即可自动准备多个 OCR 常用数据集；支持了 CLIPResNet 算法，发布了数个以 oCLIP-ResNet 为骨干网络的预训练模型
• MMEditing 新分支：支持了图像放大比较、视频滑动比较的可视化工具；支持了图像上色模型和 SinGAN 数据集
• MMRazor 新分支：Pruning 模块全新升级，可以更加自动可读地解析通道依赖关系；Distillation 任务支持了 Deit、CRD、PKD 三个算法；NAS 任务支持了 DSNAS 算法
• MMDeploy 主分支：支持 Monocular 3D Detection 和 FCOS3D 模型导出为 onnx、TensorRT 模型；支持 MMEditing EDSR 通过 ncnn-int8 部署

想详细了解功能支持细节可以继续翻阅以下内容查看哦～！

01

月度之星评选出炉

02

亮点功能抢先看

03

算法库全部更新

04

热门活动

05

热门文章

首先和大家分享 10 月的贡献之星和活跃之星。

事件一

月度之星评选出炉

贡献之星

@triple-Mu

获奖理由：

为 MMYOLO 支持了 YOLOv5/YOLOv6/YOLOX/RTMDet 部署模块开发，并同时提供了详细的部署使用教程，后续也将支持其余算法和 TensorRT int8 部署。

从刚开始接触 MMDeploy 到能够给 MMYOLO 提供完整的部署支持，中间碰到了不少的阻碍，踩了不少坑，但是最终在 MMDeploy 开发者的帮助和自身的不断尝试下最终按时完成了部署模块支持。

微信月度活跃之星

江户川 柯西

基于人工的人工智能机器人

星星说

获奖之后，我只觉“春风得意马蹄疾，一日看尽群中花 ”。而我目前对 AI 的感觉还是很不够，可谓“纸上得来终觉浅，绝知调参要躬行”。后续会继续磨砺，“天生我材必有用，代码写尽还复来”。最终必将“AI 破浪会有时，直挂云帆济沧海”。

大约每隔 50 年就会出现一门新的工程学科。而我们即将见证一个新的工程学科（机器学习和人工智能）的出现。这个学科的发展源于智能科学、统计学和经济学原理，其目的是建立一个基于数据的新型的真实世界系统。依托全球规模的网络和数据流，制造出支撑其系统的商业、医疗、交通和娱乐设施。它是第一个以人类的偏好、价值观和决策为关键因素的系统工程。

而我有幸参与到这样一个让人惊心动魄而又无限伟大的事业中来，此次获此殊荣，更让我感到责任重大、使命光荣。我将继续用我独特的方式，自信自强、守正创新，踔厉奋发、勇毅前行，为全世界的人工智能事业而继续奋斗!

QQ 月度活跃之星

包子

星星说

大家好我是包子，非常感谢 OpenMMLab 社区邀请我参加星星说。我个人主要是使用的是 MMCV 和 MMDetection 。刚开始学习我摸不到头绪，但社区的小伙伴们都很热情，积极的给大家解答指路，上手之后感觉网络构建和修改还是比较方便的，效果也很好。希望社区的大家可以一起学习，互相帮助，同时也祝 OpenMMLab 越做越好！

事件二

亮点功能抢先看

MMEngine

v0.3.0

• 支持华为昇腾芯片

MMCV

主分支 v1.7.0

• 支持华为昇腾芯片训练
• 另外，从 v1.7.0 起，MMCV 开始提供 PyTorch 1.13 的预编译包，也包括 macOS 下的预编译包

MMEval

v0.1.0

• MMEval 发布，MMEval 是一个跨框架的机器学习算法评测库，提供高效准确的分布式评测以及多种机器学习框架后端支持，具有以下特点：

1. 提供丰富的计算机视觉各细分方向评测指标（自然语言处理方向的评测指标正在支持中）
2. 支持多种分布式通信库，实现高效准确的分布式评测
3. 支持多种机器学习框架，根据输入自动分发对应实现 MMEval 的架构如下图所示：

更多内容见：https://github.com/open-mmlab/mmeval/releases/tag/v0.1.0

MMSelfSup

新分支 v1.0.0rc3

• 支持 MaskFeat 自监督算法

MMDetection

新分支 v3.0.0rc2

• 支持在 ImageNet 上预训练 RTMDet 的骨干网络

MMYOLO

v0.1.2

• 基于 MMDeploy 支持 MMYOLO 中 YOLOv5/YOLOv6/YOLOX/RTMDet 模型部署

MMSegmentation

新分支 v1.0.0rc1

• 完善用户使用文档： https://mmsegmentation.readthedocs.io/en/1.x/

MMOCR

主分支 v0.6.3

• 该版本增强了推理脚本，并修复了可能导致 TorchServe 推理错误的 bug

新分支 v1.0.0rc3

• 推出了全新的 Dataset Preparer，仅需一条命令即可自动准备多个 OCR 常用数据集

MMEditing

新分支 v1.0.0rc2

• 支持了图像放大比较、视频滑动比较的可视化工具

MMRazor

新分支 v1.0.0rc1

• Pruning 模块全新升级，可以更加自动可读地解析通道依赖关系

事件三

算法库全部更新

下面再带大家继续了解下 10 月各个算法库具体的更新情况~

各算法库更新情况

MMEngine

v0.3.0

新功能

• 支持华为昇腾芯片
• 支持 ZeroRedundancyOptimizer 训练大模型

代码改进

• BaseDataPreprocessor 支持配置 non-blocking，支持异步搬运数据
• Registry.get 能够自动注册相应 scope 的模块，无需在配置文件里额外指定 custom_imports

Bug 修复

• 修复 CosineRestartParamScheduler 学习率计算错误的问题
• 修复 autocast 不兼容 mps 的问题

感谢 @okotaku @xin-li-67 @nijkah @shenmishajing @triple-Mu @cxiang26 @Xiangxu-0103 @sanbuphy @austinmw @yhna940 @Zhengfei-0311 @liuyanyi @MambaWong @wangjiangben-hw @Z-Fran 在此版本中的贡献。

更多详细内容请见：

https://mmengine.readthedocs.io/zh_CN/latest/notes/changelog.html

MMCV

主分支 v1.7.0

新功能

• 支持华为昇腾芯片训练
• 新增 stack_group_points、box_iou_quadri 和 nms_quadri 三个算子
• 添加 1 个 MLU 算子

代码改进

• SiLU 激活函数支持 torch 版本低于 1.7.0
• 更新 ONNX 注册器
• MLU 代码适配 cntoolkit3.0.1
• 重构 nms3d 算子以支持 MLU
• MLU 新增 getJobLimitCapability 接口，并在 nms 算子中使用
• DvcliveLoggerHook 支持传入 dvclive logger 实例
• WandbLoggerHook 新增 define_metric_cfg 参数

Bug 修复

• 修复编译 CUDA 算子时的 warning
• 修复 ThreeNN 算子不支持半精度类型输入的问题
• 修复 MLU 算子未初始化参数问题
• 修复 Correlation 算子中的 Bug
• 修复 calc_square_dist 函数可能导致 NaN 结果的 Bug
• 修复 MPS 算子编译问题

感谢 @ckirchhoff2021 @shcheklein @momo609 @CokeDong @okotaku @defei-coder @budefei @wangjiangben-hw @cathyzhang222 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmcv/releases/tag/v1.7.0

MMClassification

主分支 v0.24.1

新功能

• 支持 NPU（华为昇腾）设备的训练

Bug 修复

• 修复了 DDP 训练中，ConvNeXt 可能报 warning 的问题

感谢 @790475019 @wangjiangben-hw 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmclassification/releases/tag/v0.24.1

MMSelfSup

主分支 v0.10.1

代码改进

• 更新了 issue 模板和相关文件
• 整理 res-layer 所在目录

Bug 修复

• 修复文档中部分错误

感谢 @isLinXu @nijkah 在此版本中的贡献。

更多内容请见：

https://github.com/open-mmlab/mmselfsup/releases/tag/v0.10.1

新分支 v1.0.0rc3

新功能

• 支持 MaskFeat 自监督算法
• 增加 Hog 目标生成器

代码改进

• 重构 evaluation 文件夹
• 更新配置文件
• 增加使用 custom dataset 的教程文档
• 重构 add_modules 文档
• 将部分文档翻译为中文

Bug 修复

• 修复 MAE-H-448 的 fine-tuning 配置文件

更多内容请见：

https://github.com/open-mmlab/mmselfsup/releases/tag/v1.0.0rc3

MMDetection

主分支 v2.25.3

代码改进

• wandb 离线时支持跳过远程同步
• 在 readme 中更新 BoundedIoULoss/Faster R-CNN/FPG 说明
• 更新随机采样器的 docstring

Bug 修复

• 修复使用 seg 映射时 jpg 到 png 的错误
• 修复 timm、pycocotools、onnx 的 CI
• 更新 pre-commit hook

感谢 @Zheng-LinXiao @i-aki-y @fbagci @sudoAimer @DrRyanHuang @shinya7y @Ryoo72 @akshaygulabrao @gy-7 @Neesky 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmdetection/releases/tag/v2.25.3

新分支 v3.0.0rc2

新功能

• 支持在 ImageNet 上预训练 RTMDet 的骨干网络
• 添加 CrowdHumanDataset 和评估指标
• 添加 FixShapeResize 支持调整固定形状的大小

代码改进

• 重构 Standard RoI Head 以支持 box type
• BitmapMasks 和 PolygonMasks 中支持掩码 concat 操作
• 更新 dockerfile 中 PyTorch 和依赖的版本
• 更新 robustness_eval.py 和 print_config
• 在 dense_heads 中将 ConfigDict 和 Dict 进行兼容
• 支持复制粘贴来记录 COCO 指标
• 移除 Normalize 变换
• 支持同一类别的不同实例的颜色抖动
• 为 PackDetInputs 中缺少键错误添加断言

Bug 修复

• 修复 ConcatDataset 导入错误
• 修复 CircleCI 和 readthedoc 构建失败
• 修复当out_shape不同时 bitmap 掩码平移变换错误
• 修复 Conv2d 权重通道的不一致问题
• 修复通过 analyze_logs.py 绘制损失曲线时的错误
• 更新 metafile 中 RTMDet 的内存占用
• 修复配置中 OpenImageMetrics 的错误参数
• 修复不同版本 albumentations 中标签的类型变化问题

感谢 @jbwang1997 @Chan-Sun @MambaWong @yuyoujiang @sltlls @Nioolek @wufan-tb 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmdetection/releases/tag/v3.0.0rc2

MMYOLO

v0.1.2

新功能

• 基于 MMDeploy 支持 MMYOLO 中 YOLOv5/YOLOv6/YOLOX/RTMDet 模型部署
• 支持 YOLOv6 s/t/n 模型训练
• YOLOv5 支持 VOC 数据集训练
• YOLOv5 支持 P6 大分辨率尺度
• 支持 YOLOv7 和 PPYOLOE 推理
• 新增 yolo2coco 转换脚本
• 新增提取 coco 子集脚本
• 新增 anchor 优化计算脚本
• 新增数据集分析脚本

代码改进

• 更新 image_demo 脚本以支持文件夹和 url 路径
• 支持 LoadAnnotations 中不包括任何实例
• 翻译可视化文档
• How-to 文档中新增替换 backbone 教程
• 为 base model 添加模块结构图的 docstring
• 更新 config.md、faq.md 和 pull_request_template.md

Bug 修复

• 移除 Albu 版本限制
• 修复 cfg.resume 为 True 时 resume 没有被正确设置的问题
• 优化 Readthedocs 页面显示
• 修复 pypi 源中不包括 mim 相关文件问题
• 修复不显示框的bug并更新可视化教程
• 修复 config.md 和 how_to.md 中的一些错误
• 修复 test_pipeline 中的可视化错误
• 更新 badges

感谢 @imAzhou @triple-Mu @RangeKing @HinGwenWoong @in-li-67 @ Nioolek @ kitecats @Bin-ze @JiayuXu0 @cydiachen @hiqwang @Zheng-LinXiao 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmyolo/releases/tag/v0.1.2

MMSegmentation

主分支 v0.29.1

新功能

• 新增模型集成工具

Bug 修复

• 在 MobileNetV2 中使用 SyncBN

感谢 @isLinXu @zhijiejia @lee-jinhee 在此版本中的贡献。

更多内容请见：

https://github.com/open-mmlab/mmsegmentation/releases/tag/v0.29.1

新分支 v1.0.0rc1

新功能

• 支持 PoolFormer
• 新增 Decathlon 数据集
• 新增 LIP 数据集
• 支持医学图像数据读取
• 新增边缘生成数据增强方法

代码改进

• 移除 ops 模块
• SegLocalVisualizer 支持直接保存图像

Bug 修复

• 修复二值分割
• 修复 ResizeToMultiple 图片大小设置错误的问题
• 修复 MMSegmentation Colab demo
• 修复 MobileNetV2 和 部分 Segmenter 模型的配置文件
• 更正文档中的部分 typo

感谢 @Li-Qingyun 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmsegmentation/releases/tag/v1.0.0rc1

MMOCR

主分支 v0.6.3

代码改进

• 增强了推理脚本对输出路径情况的处理
• 更新了贡献文档

Bug 修复

• 修复了导致 TorchServe 推理出错的问题

感谢 @ysh329 @JunYao1020 在此版本中的贡献。

更多详细内容请见：

https://mmocr.readthedocs.io/en/latest/changelog.html

新分支 v1.0.0rc3

新功能

• 支持了 CLIPResNet
• 发布了数个以 oCLIP-ResNet 为骨干网络的预训练模型
• 推出了 Dataset Preparer

Bug 修复

• 修复离线评测的 bug

感谢 @HannibalAPE @rogachevai 在此版本中的贡献。

更多详细内容请见：

https://mmocr.readthedocs.io/en/dev-1.x/notes/changelog.html

MMEditing

主分支 v0.16.0

代码改进

• VisualizationHook 即将弃用，使用 MMEditVisualizationHook
• 改进数据集处理脚本 preprocess_div2k_dataset.py

Bug 修复

• 修复 FLAVR 模型的注册问题
• 修复 restoration_video_inference.py 中的路径问题
• 修正 RDB 模型中的通道参数问题

感谢 @ryanxingql @ruoningYu 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmediting/releases/tag/v0.16.0

新分支 v1.0.0rc2

新功能

• 支持了图像放大比较、视频滑动比较的可视化工具
• 支持了图像上色模型
• 支持 SinGAN 数据集 以及 SinGAN 的 demo
• 支持在一轮测试中同时在多个不同数据集上的多种评价指标测试

Bug 修复

• 修复 PPL 中的 bug
• 修复 RDN 模型中的通道参数设置
• 修复 restoration_video_demo.py 中的异常类型
• 修复 realesrgan 的 EMA 模型
• 修复多个 configs 中的设置

感谢 @ryanxingql @ruoningYu @gaoyang07 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmediting/releases/tag/v1.0.0rc2

MMRazor

新分支 v1.0.0rc1

新功能

Distillation

• 新增了 Deit/CRD/PKD 三个算法
• 更高的分类 KD baseline （r34-r18，100epoch，71.81 acc）
• 更多蒸馏的 example config，覆盖了各种经典分类器、经典的 2d 检测器、以及 3d 检测器 FCOS3D

NAS

• 新增 DSNAS 算法（不需要 Retraining 的 NAS 算法）

Tools

• 支持可配置的特征可视化

Bug 修复

• 修复了 FunctionXXRecorder 不能被 pickle 的 bug

感谢 @kitecats @SheffieldCao 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmrazor/releases/tag/v1.0.0rc1

MMDeploy

主分支 v0.10.0

新功能

• 支持 Monocular 3D Detection 和 FCOS3D 模型导出为 onnx、TensorRT 模型
• 支持 MMEditing EDSR 通过 ncnn-int8 部署
• 重写 Conv2dAdaptiveOps 支持 EfficientNet模型导出
• 增加 Jetson Orin 平台的编译安装脚本
• 支持 aarch64 交叉编译

代码改进

• 支持 Fast-SCNN 导出为 ncnn 模型
• 简化 rewriter import 方式
• 支持 TensorRT 8.4
• 从导出的 onnx 模型中，移除自定义的域名
• 增加批处理的C API demo
• 更新 symbolic rewriter 以支持最新的 PyTorch
• 在 CMake 中增加 filesystem 库自动检测和链接的功能
• 在 mmdeploy_mat_t 中增加 device 域，以支持内存在设备上的图像

Bug 修复

• 修复 circleci 中 test_windows_onnxruntime 的工作流错误
• 修复 SDK 中在使用 onnxruntime-gpu 时的编译错误
• 修复 layer_norm 在 torch 1.12 及以上版本中符号导出错误的问题
• 修复回归测试脚本中的错误

更多详细内容请见：

https://github.com/open-mmlab/mmdeploy/releases/tag/v0.10.0