ICCV 2021 Oral | 基于点云的类级别刚体与带关节物体位姿追踪

位姿估计存在两类主流方法，基于坐标预测的方法首先为观测点预测其对应物体点在归一化物体坐标系中的坐标，利用观察坐标与归一化物体坐标之间的对应关系，使用 RANSAC 拟合物体位姿，得益于 RANSAC 对离群点的有效移除，该方法通常能获得更为准确与鲁棒的预测，但 RANSAC 算法中的假设采样较为耗时，其过程也不可微，无法直接针对位姿进行优化。

基于位姿回归的方法进行端到端可微的直接预测，能够达到很高的运行速度，但容易产生更大的预测误差。我们希望结合两类方法的优势，建立一个端到端可微、精度与速度兼备的位姿追踪系统。

如下图所示，我们的模型由位姿正规化（Pose Canonicalization）、旋转回归网络（RotationNet）与坐标预测网络（CoordinateNet）组成。

为了简化将输入点云坐标  映射到输出相似变换  的学习问题，我们将前一帧位姿估计  的逆变换与输入点云  相乘，得到位姿正规化点云 作为模型输入，令模型输出  中部件  的位姿  ，再间接计算  。

由时序连续性，可以推出，这意味着  中部件  总是接近正规位姿（canonical pose），  接近恒等变换，原问题的输入与输出被同时正规化，从而大大降低了网络预测位姿的难度。

以位姿正规化的点云  为输入，我们训练旋转回归网络，直接对  进行回归，再计算原始旋转总在恒等变换附近，直接回归就能实现准确估计。

我们的方法在类级别刚性物体位姿估计数据集 NOCS-REAL275 [1]、基于 SAPIEN [3] 的类级别带关节物体位姿估计数据集、BMVC [4] 上均超过了已有方法，以下展示部分定性结果，详细实验设定与定量结果请参见论文。

参考文献

[1] He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J Guibas. Normalized object coordinate space for category-level 6D object pose and size estimation. CVPR 2019.

[2] Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. CVPR 2020.

[3] Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, and Hao Su. SAPIEN: A simulated part-based interactive environment. CVPR 2020.

[4] Frank Michel, Alexander Krull, Eric Brachmann, Michael Ying Yang, Stefan Gumhold, and Carsten Rother. Pose estimation of kinematic chain instances via object coordinate regression. BMVC 2015.