Transformer检测神器!detrex:面向DETR系列的目标检测开源框架
前言
在我们IDEA研究院CVR团队分别开源了DAB-DETR, DN-DETR, DINO后,CVR团队一直计划做一个统一的DETR系列代码框架,支持DETR系列的算法工作,并且希望这套codebase可以拓展到更多相关的任务上,终于在9.21号,CVR团队正式开源detrex,整合重构复现了之前的开源工作并且吸纳了一系列DETR系列算法。
项目地址:
https://github.com/IDEA-Research/detrex
项目介绍
detrex项目的主要特点包括:
1. 支持的算法足够丰富
目前已经支持的算法:
DETR
Deformable-DETR
Conditional-DETR
DAB-DETR
DAB-Deformable-DETR
DN-DETR
DN-Deformable-DETR
DINO
Group-DETR
并且会不断更新新的算法
2. 模块化设计与易用性
detrex在代码易用性上做了以下的改进:
模块化设计:detrex解耦了DETR系列算法中的一些必要组件,方便用户替换其中的模块,例如在backbone上不仅支持了ResNet,Swin等必要的backbone,还额外支持了Timm以及Torchvision的Backbone,并且代码结构足够清晰,用户可以方便添加自己的backbone。
项目管理:detrex对于每个算法,都在projects下进行了单独的维护,保证了每个算法之间不会互相影响,并且用户可以单独看具体某个算法的实现代码,不会有额外的信息干扰。
轻量化的config system与training engine:detrex基于detectron2的LazyConfig进行二次开发, 整理训练代码十分简洁,配置文件十分清晰,方便用户实现自己的配置需求以及custom自己的训练流程。
3. 算法的复现效果好
在detrex下复现的算法整体结果上相比于之前的项目更好或者持平,以下是一些算法复现结果的对比:
不仅包括以上罗列的算法结果,我们还release了一批新的模型训练结果,包括DAB-Deformable-Two-Stage, DINO-Swin-Tiny, DINO-Swin-Small, DINO-Swin-Base等训练结果,可以关注我们的Model Zoo更新
detrex Model Zoo: https://detrex.readthedocs.io/en/latest/tutorials/Model_Zoo.html
detrex下release的权重不仅包括了detrex本身training的权重,还包括了一些原始开源仓库下convert过来的权重(具体的结果在每个算法的projects下的README中有描述),方便用户作相关的inference以及可视化。并且提供了对应的converters,用户不仅可以使用detrex对这些算法进行训练,也可以在将之前训练好的权重convert到detrex的格式下。
4. 搭配丰富的文档教程 (持续更新中)
detrex的文档地址: https://detrex.readthedocs.io/en/latest/
文档中有详细的教程教学如何安装并使用detrex,并且对于配置系统中的每一个参数也有详细的介绍,CVR团队会不断根据社区的反馈对文档内容进行更新,欢迎大家多提意见。
detrex的未来计划
在detrex功能需求上,detrex会不断优化代码实现,并且根据用户的反馈调整需求的优先级,在detrex下置顶了两个issue,用于收集社区的需求和意见,以下是issue地址
detrex的功能需求反馈: Roadmap of detrex
detrex的文档需求反馈: Roadmap of detrex documentation and tutorials
在算法实现上,detrex在未来不仅仅会支持Transformer-Based的检测算法,还会拓展到分割,姿态估计等任务上,敬请期待!
detrex开源背后的团队想法
虽然detrex开源了,但是目前也只能算是beta v0.1.0版本,还有许多模块需要优化,还有更多功能需要支持,这些靠自己完成是远远不够的,开源出来也是希望能借助社区的力量,一起推动DETR系列的工作。非常非常非常欢迎从任何角度为detrex提供意见,并且欢迎任何形式的contribution,无论是issue或者是PR,也希望能有更多的contributors加入我们!
相关文章
- 全流程3D医疗分割开发工具MedicalSeg重磅开源
- ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索
- 我的Compose开源项目《出行防疫App》已发布
- ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索
- 抱歉,久等了,基于Antd-Vue的VueAdminWorkA框架正式和大家开源见面了
- kalenislims 开源LIMS
- SteaLinG:一款针对社工的开源安全渗透测试框架
- 再见xxl-job!这款国人开源的任务调度框架,更强大!!
- 一款几行代码就可以轻松搭建的开源博客框架,是小白福音无疑了!
- CVPR 2022|达摩院开源低成本大规模分类框架FFC
- 开源推荐 - 一款开源免费的 mac 版画架构图的工具
- Golang 限流器(3) - uber 开源限流器
- AI加持的WPS来了:金山开源全球首个办公DL框架KSAI-Lite
- IDRLnet: 基于内嵌物理知识神经网络的开源求解框架
- 共有49款Windows GUI开发框架开源软件 【转】详解编程语言
- research『群体开源研究』(grouplinux)
- 火币公链代码开源 或成首个支持监管节点的金融公链
- Linux分支:探索开源世界的不同之处(linux的分支)
- Linux发展历程:从社区分支到全球开源社群(linux的分支)
- 印尼税务机构使用开源软件节省90%的费用
- 用开源的 VeraCrypt 加密你的文件
- 预告:MXNet火了,AI从业者该如何选择深度学习开源框架丨硬创公开课
- Linux Koa:开源Web框架搭建多平台应用的利器(linuxkoa)
- Linux:开源操作系统的那些故事(linux那些事儿)
- 探索Linux个人版:自由开源系统的新选择(linux个人版)
- 互联网Redis开源技术探索之旅(互联网redis源码)
- 阿里再开源!模块化开发框架JarsLink