位姿估计与点云感知(本科毕业论文+吉大实验室)

目录

位姿估计与点云感知(本科毕业论文+吉大实验室)

位姿估计

我的本科毕业论文聚焦于目标位姿估计。我以 RGB 图像和被检测目标的 3D 模型作为输入,将 2D 图像像素映射到模型表面的 3D 点云。在此基础上,我使用 PnP(Perspective-n-Point)和 RANSAC 算法回归目标位姿,实现目标位姿识别。同时,该方案还结合基于深度学习的 refinement 算法,在 PnP 得到初始位姿后进一步提升位姿精度。实验结果表明,与其他相关方法相比,建立 2D 平面与 3D 空间之间的映射关系,可以带来更高精度的位姿估计结果。

整体算法框架设计
整体算法框架设计

使用随机位姿 3D 模型和 COCO 背景生成虚拟数据集
使用随机位姿 3D 模型和 COCO 背景生成虚拟数据集

数据集生成结果
数据集生成结果

UV 映射原理
UV 映射原理

UV 映射与物体表面点云之间的映射关系
UV 映射与物体表面点云之间的映射关系

UV map 生成网络设计
UV map 生成网络设计

UV map 生成结果
UV map 生成结果

UV map 生成结果与标定图像对比
UV map 生成结果与标定图像对比

生成点云结果与标定点云对比
生成点云结果与标定点云对比

使用 RANSAC+PnP 进行目标初始位姿回归的整体思路
使用 RANSAC+PnP 进行目标初始位姿回归的整体思路

基于深度学习的位姿回归网络设计
基于深度学习的位姿回归网络设计

位姿识别结果
位姿识别结果

点云感知

大四期间,我主要在吉林大学实验室开展点云感知相关工作。我完成了从 Livox 数据集到 KITTI 数据集的数据格式转换。

数据格式转换
数据格式转换

此外,我基于 Livox 数据集成功训练并实现了 PointPillars 模型的前向推理。

前向推理与识别结果 1
前向推理与识别结果 1
前向推理与识别结果 2
前向推理与识别结果 2

通过这段经历,我系统了解了多种点云处理方法,也更清楚地认识到纯点云方法在实际目标识别中的局限性。这也激发了我继续探索点云与视觉感知融合的兴趣。

纯点云方法在模型识别上仍有明显提升空间
纯点云方法在模型识别上仍有明显提升空间