MMPose 133关键点全身姿态估计三步快速跑通
【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose
做健身动作纠正时,只拿到身体的 17 个关节远远不够,手指和面部也要有。MMPose 的 WholeBody 模块一次推理就能给出图像中每个人的 133 个关键点,覆盖身体、面部和双手,并自带实时 RTMW 模型,从克隆到出结果只需敲 3 条命令。
💡 它和传统做法差在哪
| 传统身体关键点模型 | MMPose WholeBody | |
|---|---|---|
| 点数 | 只有 17 个身体点,无脸无手 | 每人 133 点:身体 17 + 足部 6 + 面部 68 + 左右手各 21 |
| 流程 | 脸、手、身体分别推理再手动对齐 | 一个共享网络一次输出全身所有部位关键点 |
| 精度速度 | 轻量模型快,但 COCO-WholeBody 上 AP 多在 0.58 上下 | RTMW-l(256x192)Whole AP 0.660;RTMPose-l 在 130+ FPS 下做到 67.0 AP |
关键点的完整布局定义在源码 mmpose/datasets/datasets/wholebody/,足部、面部、每个手指关节都有独立标注和独立评测指标。
🚀 从0到跑通的最简路径
第1步:克隆仓库并安装
确认 pip 环境可用即可,依赖文件里已包含 torch、mmcv 等包:
git clone https://gitcode.com/GitHub_Trending/mm/mmpose cd mmpose pip install -r requirements.txt pip install -v -e .第2步:下载预训练模型
RTMW 系列用 14 个公开数据集混合训练(Cocktail14),用 MIM 工具取权重,各尺寸完整表格见 rtmw_cocktail14.md:
pip install -U openmim mim download mmpose --config rtmw-l_8xb1024-270e_cocktail14-256x192 --dest .第3步:跑推理 demo
仓库自带测试图片,用demo/image_demo.py指向 RTMW 配置即可输出带 133 点骨骼的结果图:
python demo/image_demo.py tests/data/coco/000000000785.jpg \ configs/wholebody_2d_keypoint/rtmpose/cocktail14/rtmw-l_8xb1024-270e_cocktail14-256x192.py \ rtmw-dw-x-l_simcc-cocktail14_270e-256x192-20231122.pth \ --out-file vis_results.jpg图像里有多人时,换用demo/topdown_demo_with_mmdet.py配一个人物检测器即可,视频输入同样支持。
⚖️ 不同场景怎么选
- 实时视频流 / 端侧→ RTMW-m 256x192(Whole AP 0.582):系列里最小、延迟最低
- 日常平衡(默认推荐)→ RTMW-l 256x192(Whole AP 0.660):精度与速度折中最好
- 精度优先→ RTMW-x 384x288(Whole AP 0.702):输入分辨率更高,AP 最高
- 全套配置在 configs/wholebody_2d_keypoint/ 目录下
🎯 它能落地在哪
- 智能健身纠正:痛点是 17 个身体点描述不了手指和面部细节 → 用 133 点姿态与标准动作比对 → projects/just_dance/ 项目直接输出动作相似度分数。
- AIGC 与数字人:痛点是角色动画需要身体、脸、手多路模型拼关键点 → 一个 RTMW 输出全部 133 点 → projects/mmpose4aigc/ 提供接入 AIGC 工具链的方案。
- 拥挤多人场景:痛点是遮挡下手部和面部精度下降 → RTMW 用 14 个公开数据集混合训练,rtmw-x 384x288 做到 0.702 Whole AP → 一行命令批量可视化:
python demo/inferencer_demo.py tests/data/crowdpose --pose2d wholebody --vis-out-dir vis_results/crowdpose
❓ 常见问题
Q:133 个点具体怎么分布?
身体 17、足部 6、面部 68、左手 21、右手 21,布局定义见 mmpose/datasets/datasets/wholebody/。
Q:跑 demo 必须先装 mmdet 吗?
不需要。demo/inferencer_demo.py --pose2d wholebody一条命令自动下载模型并推理;只有用topdown_demo_with_mmdet.py自带检测器时才需要 mmdet(≥3.0)。
Q:做 COCO-WholeBody 评测还要装什么?
pip install xtcocotools(版本 ≥1.5),数据准备流程见 docs/en/dataset_zoo/2d_wholebody_keypoint.md。
133 个点、一个网络、3 条命令,MMPose WholeBody 就能覆盖从脸到脚的全身体态。延伸阅读:
- 全身数据集文档:docs/en/dataset_zoo/2d_wholebody_keypoint.md
- 全身配置与模型表:configs/wholebody_2d_keypoint/
- 推理 API 源码:mmpose/apis/inferencers/
【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考