多人姿态识别框架——AlphaPose
多人姿态识别简介
人体姿态估计有两个主流方案:Two-step framework
和Part-based framework
。第一种方案是检测环境中的每一个人体检测框,然后独立地去检测每一个人体区域的姿态(自顶向下的方法)。第二种方案是首先检测出环境中的所有肢体节点,然后进行拼接得到多人的骨架(自底向上的方法)。第一种方案,姿态检测准确度高度以来目标区域框检测的质量。第二种方案,如果两人离得十分近,容易出现模棱两可的情况,而且由于是依赖两个部件之间的关系,所以失去了对全局的信息获取。
AlphaPose
AlphaPose采用自顶向下的方法,提出了RMPE(区域多人姿态检测)框架。该框架主要包括symmetric spatial transformer network (SSTN)、Parametric Pose Non- Maximum-Suppression (NMS)和Pose-Guided Proposals Generator (PGPG)
。并且使用symmetric spatial transformer network (SSTN)、deep proposals generator (DPG) 、parametric pose nonmaximum suppression (p-NMS) 三个技术来解决野外场景下多人姿态估计问题。
在SPPE结构上添加SSTN,能够在不精准的区域框中提取到高质量的人体区域。并行的SPPE分支(SSTN)来优化自身网络。使用parametric pose NMS来解决冗余检测问题,在该结构中,使用了自创的姿态距离度量方案比较姿态之间的相似度。用数据驱动的方法优化姿态距离参数。最后我们使用PGPG来强化训练数据,通过学习输出结果中不同姿态的描述信息,来模仿人体区域框的生成过程,进一步产生一个更大的训练集。
相关论文
https://arxiv.org/abs/1612.00137
论文代码
https://github.com/MVIG-SJTU/AlphaPose
获取代码
git clone https://github.com/MVIG-SJTU/AlphaPose.git
按照repo的安装说明完成代码库的安装,然后运行下面命令行:
python scripts/demo_inference.py --cfg configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/fast_res50_256x192.pth --indir examples/demo/
运行结果如下:
one more thing
等过一段时间博主有时间可以详细讲解一下Alphapose这篇论文,里面的许多思想或是技术都是值得我们研究和借鉴的。
相关文章
- pycharmpip不是内部或外部命令,也不是可运行程序_pip安装的包pycharm识别不了
- abbyy15全新版OCR图文识别工具下载使用介绍
- abbyy finereader15序列号OCR文字识别工具
- 河道水面结冰识别监测报警 河道冰水情冰凌图像识别
- 开集识别: A Good Closed-Set Classifier is All You Need
- Nature子刊:一个从大脑结构中识别阿尔茨海默病维度表征的深度学习框架
- 语音识别系列︱paddlehub的开源语音识别模型测试(二)
- Python爬虫技术系列-05字符验证码识别
- ASR语音识别应用实践指导
- CVPR2022 | 动作识别框架新范式 STRM,用最小的样本获得最高的精度
- [Bioinformatics | 论文简读] csORF-finder:用于准确识别多物种编码短开放阅读框架的有效集成学习框架
- 基于AI智能识别技术的智慧考场视频智能化监管解决方案
- OCR文字识别软件ABBYY FineReader 15中文版免费下载
- 如何使用Web Shell Detector识别和检测站点中的可疑Shell脚本
- AAAI 2023 Oral | 如何识别未知标签?多模态知识迁移框架实现新SOTA
- 虚拟机Linux认可U盘(虚拟机linux识别u盘)
- 用开源移动应用 PlantNet 来识别花草和树木
- 智能诊断也要引入语音识别了:凭声音判断心脏病
- VR要成为下一代计算平台还得靠手势识别? | 雷锋网公开课