具体描述
《视觉SLAM十四讲：从理论到实践（第2版）》系统介绍了视觉 SLAM（同时定位与地图构建）所需的基本知识与核心算法，既包括数学理论基础，如三维空间的刚体运动、非线性优化，又包括计算机视觉的算法实现，例如多视图几何、回环检测等。此外，我们还提供了大量的实例代码供读者学习研究，从而更深入地掌握这些内容。
《视觉SLAM十四讲：从理论到实践（第2版）》可以作为对 SLAM 感兴趣的研究人员的入门自学材料，也可以作为 SLAM 相关的高校本科生或研究生课程教材使用。
探索三维世界的奥秘：一本关于理解与构建现实感知系统的入门读物 在数字时代浪潮席卷全球的今天，我们对于真实世界的理解和互动方式正经历着前所未有的变革。从自动驾驶汽车的精准导航，到增强现实应用在生活中的普及，再到工业机器人日益精密的作业，这一切的背后都离不开一个核心技术——环境感知与定位。本书并非直接探讨某一本特定的著作，而是旨在带领读者踏上一段探索“环境感知与定位”这一宏大领域的旅程，深入理解人类如何让机器“看见”并“认识”周围的世界。 想象一下，一个全新的机器人进入一个陌生的房间，它需要做的第一件事是什么？它必须首先理解自己身在何处，以及周围有哪些物体。这就好比我们初到一个地方，会先环顾四周，寻找参照物，确定自己的位置，并大致了解环境的布局。机器也需要类似的能力，而这种能力的核心，正是我们所说的“环境感知与定位”。 第一部分：理解“看见”的本质——传感器与感知基础 要让机器“看见”，首先需要赋予它“眼睛”。然而，机器的“眼睛”并非只有一种。本书将从最基础的传感器原理出发，为你揭示构成机器感知世界的各种“感官”。 视觉的奥秘： 摄像头，无疑是模拟人类视觉最直接的方式。我们将深入浅出地探讨不同类型的摄像头，从最常见的CMOS和CCD传感器，到它们如何捕捉光线、形成图像。这不仅仅是硬件的介绍，更重要的是理解图像数据背后蕴含的信息——像素的亮度、色彩，以及它们在空间中的排列。我们还会触及图像的预处理，如去噪、滤波等，这些都是让后续分析更加准确的关键步骤。 超越可见光： 除了我们眼睛能看到的可见光，还有许多其他类型的传感器，它们能感知到我们肉眼无法察觉的“信息”。 深度感知： 想要知道物体有多远？我们将介绍激光雷达（LiDAR），它如何通过发射激光束并测量反射时间来精确计算距离，构建出物体和环境的三维轮廓。同时，我们也会探讨结构光和飞行时间（ToF）传感器，它们如何在近距离范围内提供精确的深度信息，广泛应用于手机的面部识别和AR/VR设备。 惯性测量： 即使没有视觉信息，机器也能感知自己的运动状态。惯性测量单元（IMU），包含加速度计和陀螺仪，可以测量线性和角速度，帮助机器估计自己的姿态变化和运动轨迹。虽然IMU本身存在累积误差，但与其他传感器的融合将是后续的关键。 其他感知维度： 根据不同的应用场景，我们还会简要介绍其他传感器，例如超声波传感器，它们在近距离避障和测量方面发挥着重要作用。 第二部分：从数据到理解——核心感知算法 拥有了传感器收集来的原始数据，接下来的挑战是如何从中提取有用的信息，并将其转化为对环境的理解。这便是感知算法发挥作用的舞台。 图像处理与特征提取： 原始的图像数据往往是杂乱的。我们需要算法来“理解”图像。我们将深入研究特征点检测与描述，比如SIFT、SURF、ORB等算法，它们如何在图像中找到独特的、稳定的关键点，并为这些点生成描述符，以便在不同视角下也能识别出它们。这些特征点是后续进行匹配和定位的基础。 运动估计与光流： 机器在移动，周围环境也在变化。光流算法能够估计图像中像素的运动速度，帮助我们理解摄像头的运动或者场景中物体的移动。这对于视频序列的分析至关重要。 三维重建的艺术： 从二维图像恢复出三维结构，是感知领域的圣杯之一。我们将探讨立体视觉，如何利用两个或多个视角的图像来计算场景的深度信息，生成三维点云。同时，多视图几何的原理也将被揭示，它如何通过分析不同视图下的同名点来求解相机的相对姿态和三维结构。 物体识别与场景理解： 仅仅知道有“东西”在那里还不够，我们还需要知道“那是什么”。本书将简要介绍计算机视觉中的物体识别技术，从传统的特征匹配到深度学习驱动的卷积神经网络（CNN），它们如何识别出图像中的具体物体，例如行人、车辆、交通标志等。更进一步，场景理解则致力于分析图像中物体之间的关系，以及整个场景的语义信息。 第三部分：给机器导航的“指南针”——定位与地图构建 有了感知能力，机器还需要知道自己在哪里，并且能够构建出自己所在环境的地图，以便进行导航和规划。 同时定位与地图构建（SLAM）： 这是整个领域的精髓所在。SLAM技术使机器能够在未知环境中，一边构建环境地图，一边估计自身在地图中的位置。我们将分解SLAM的核心流程： 前端（Frontend）： 主要负责数据关联和运动估计。通过匹配当前时刻的传感器数据（如特征点、扫描线）与历史数据，来估计机器的运动，并实时更新局部地图。 后端（Backend）： 主要负责优化。当累积了足够多的观测信息后，后端会对整个轨迹和地图进行全局优化，消除累积误差，得到更精确的结果。我们将介绍图优化（Graph Optimization）等先进的优化技术。 不同的SLAM范式： 基于视觉的SLAM（Visual SLAM）： 专注于利用摄像头数据进行定位和建图。我们将深入探讨特征点法和直接法在视觉SLAM中的应用，以及它们各自的优缺点。 基于激光雷达的SLAM（LiDAR SLAM）： 利用激光雷达的精确深度信息构建高精度地图，常用于自动驾驶和机器人导航。 多传感器融合SLAM： 将视觉、激光雷达、IMU等多种传感器的数据融合起来，利用各自的优势，弥补单一传感器的不足，获得更鲁棒、更准确的定位和建图结果。 第四部分：从理论到实践——技术应用与未来展望 理解了感知与定位的基本原理和算法，我们便能更好地理解它们如何在现实世界中发挥作用。 自动驾驶的眼睛与大脑： 自动驾驶汽车的感知系统是SLAM技术的集大成者。从感知周围车辆、行人、道路标线，到精确定位自身在高清地图中的位置，SLAM技术是实现安全可靠自动驾驶的关键。 增强现实（AR）的沉浸体验： AR应用需要将虚拟物体精确地叠加到真实世界中。这离不开对真实环境的精准感知和自身位置的实时跟踪，SLAM技术为AR提供了强大的底层支撑。 智能机器人与自动化： 从仓储机器人到服务机器人，再到工业自动化领域的协作机器人，它们都需要在复杂的环境中自主导航、避障、抓取物体。SLAM技术赋予了它们“认识”和“理解”环境的能力。 无人机与测绘： 无人机在空中飞行，也需要知道自己在哪里，并且能够对地面进行三维建模。SLAM技术在无人机航拍测绘、巡检等领域有着广泛的应用。 未来的探索： 随着技术的不断发展，感知与定位的界限将越来越模糊。我们将简要展望未来的发展方向，例如语义SLAM，它在地图中融入了物体的语义信息，使机器能更智能地与环境交互；以及端到端（End-to-End）的学习方法，尝试用深度学习直接从原始传感器数据中学习到定位和建图能力。 本书旨在为你打开一扇通往“机器感知世界”大门，让你了解如何让机器拥有“眼睛”和“大脑”，理解它们如何“看见”和“认识”我们生活的这个三维空间。从最基础的传感器原理，到复杂的定位与建图算法，再到它们在各个领域的创新应用，我们将一步步带你走进一个充满挑战与机遇的技术世界。这趟旅程，或许充满了理论的深度，但最终的目标，是让你能够用所学知识，去创造和构建更多智能化的未来。
作者简介
高翔，清华大学自动化系博士，慕尼黑工业大学博士后。研究兴趣主要为计算机视觉、定位与建图、机器学习等，主要著、译作包括《视觉SLAM十四讲：从理论到实践》、《机器人学中的状态估计》，在RAS、Auto Robotics、IROS等期刊会议上发表论文，现从事自动驾驶车辆研发工作。
目录信息
第 1 讲 预备知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 本书讲什么....................................................................................................... 1
1.2 如何使用本书 ................................................................................................... 3
1.2.1 组织方式................................................................................................ 3
1.2.2 代码....................................................................................................... 5
1.2.3 面向的读者............................................................................................. 6
1.3 风格约定.......................................................................................................... 6
1.4 致谢和声明....................................................................................................... 8
第 1 部分 数学基础 10
第 2 讲 初识 SLAM. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1 引子：小萝卜的例子 ......................................................................................... 13
2.2 经典视觉 SLAM 框架 ........................................................................................ 19
2.2.1 视觉里程计............................................................................................. 20
2.2.2 后端优化................................................................................................ 21
2.2.3 回环检测................................................................................................ 22
2.2.4 建图....................................................................................................... 23
2.3 SLAM 问题的数学表述...................................................................................... 24
2.4 实践：编程基础................................................................................................ 27
2.4.1 安装 Linux 操作系统................................................................................ 27
2.4.2 Hello SLAM............................................................................................ 29
2.4.3 使用 cmake ............................................................................................. 30
2.4.4 使用库 ................................................................................................... 32
2.4.5 使用 IDE ................................................................................................ 35
第 3 讲 三维空间刚体运动 . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.1 旋转矩阵.......................................................................................................... 42
3.1.1 点、向量和坐标系................................................................................... 42
3.1.2 坐标系间的欧氏变换 ............................................................................... 43
3.1.3 变换矩阵与齐次坐标 ............................................................................... 46
3.2 实践：Eigen...................................................................................................... 47
3.3 旋转向量和欧拉角............................................................................................. 53
3.3.1 旋转向量................................................................................................ 53
3.3.2 欧拉角 ................................................................................................... 54
3.4 四元数 ............................................................................................................. 56
3.4.1 四元数的定义 ......................................................................................... 56
3.4.2 四元数的运算 ......................................................................................... 57
3.4.3 用四元数表示旋转................................................................................... 59
3.4.4 四元数到其他旋转表示的转换.................................................................. 59
3.5 * 相似、仿射、射影变换.................................................................................... 61
3.6 实践：Eigen 几何模块 ....................................................................................... 62
3.6.1 Eigen 几何模块的数据演示....................................................................... 62
3.6.2 实际的坐标变换例子 ............................................................................... 64
3.7 可视化演示....................................................................................................... 66
3.7.1 显示运动轨迹 ......................................................................................... 66
3.7.2 显示相机的位姿...................................................................................... 69
第 4 讲 李群与李代数 . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.1 李群与李代数基础............................................................................................. 73
4.1.1 群.......................................................................................................... 73
4.1.2 李代数的引出 ......................................................................................... 74
4.1.3 李代数的定义 ......................................................................................... 76
4.1.4 李代数 so(3)........................................................................................... 76
4.1.5 李代数 se(3) ........................................................................................... 77
4.2 指数与对数映射................................................................................................ 78
4.2.1 SO(3) 上的指数映射................................................................................ 78
4.2.2 SE(3) 上的指数映射 ................................................................................ 80
4.3 李代数求导与扰动模型...................................................................................... 81
4.3.1 BCH 公式与近似形式 .............................................................................. 81
4.3.2 SO(3) 上的李代数求导............................................................................. 83
4.3.3 李代数求导............................................................................................. 84
4.3.4 扰动模型（左乘）................................................................................... 85
4.3.5 SE(3) 上的李代数求导............................................................................. 85
4.4 实践：Sophus.................................................................................................... 86
4.4.1 Sophus 的基本使用方法 ........................................................................... 86
4.4.2 例子：评估轨迹的误差............................................................................ 89
4.5 * 相似变换群与李代数 ....................................................................................... 92
4.6 小结................................................................................................................. 93
第 5 讲 相机与图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.1 相机模型.......................................................................................................... 97
5.1.1 针孔相机模型 ......................................................................................... 97
5.1.2 畸变模型................................................................................................ 100
5.1.3 双目相机模型 ......................................................................................... 103
5.1.4 RGB-D 相机模型..................................................................................... 104
5.2 图像................................................................................................................. 106
5.3 实践：计算机中的图像...................................................................................... 107
5.3.1 OpenCV 的基本使用方法 ......................................................................... 107
5.3.2 图像去畸变............................................................................................. 112
5.4 实践：3D 视觉.................................................................................................. 113
5.4.1 双目视觉................................................................................................ 113
5.4.2 RGB-D 视觉 ........................................................................................... 115
第 6 讲 非线性优化 . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.1 状态估计问题 ................................................................................................... 121
6.1.1 批量状态估计与最大后验估计.................................................................. 121
6.1.2 最小二乘的引出...................................................................................... 123
6.1.3 例子：批量状态估计 ............................................................................... 125
6.2 非线性最小二乘................................................................................................ 126
6.2.1 一阶和二阶梯度法................................................................................... 127
6.2.2 高斯牛顿法............................................................................................. 128
6.2.3 列文伯格—马夸尔特方法......................................................................... 130
6.3 实践：曲线拟合问题 ......................................................................................... 132
6.3.1 手写高斯牛顿法...................................................................................... 132
6.3.2 使用 Ceres 进行曲线拟合 ......................................................................... 136
6.3.3 使用 g2o 进行曲线拟合............................................................................ 141
6.4 小结................................................................................................................. 148
第 2 部分 实践应用 150
第 7 讲 视觉里程计 1. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.1 特征点法.......................................................................................................... 153
7.1.1 特征点 ................................................................................................... 153
7.1.2 ORB 特征............................................................................................... 155
7.1.3 特征匹配................................................................................................ 158
7.2 实践：特征提取和匹配...................................................................................... 159
7.2.1 OpenCV 的 ORB 特征 .............................................................................. 159
7.2.2 手写 ORB 特征 ....................................................................................... 162
7.2.3 计算相机运动 ......................................................................................... 165
7.3 2D−2D：对极几何............................................................................................. 165
7.3.1 对极约束................................................................................................ 165
7.3.2 本质矩阵................................................................................................ 168
7.3.3 单应矩阵................................................................................................ 170
7.4 实践：对极约束求解相机运动............................................................................ 172
7.5 三角测量.......................................................................................................... 177
7.6 实践：三角测量................................................................................................ 178
7.6.1 三角测量代码 ......................................................................................... 178
7.6.2 讨论....................................................................................................... 179
7.7 3D−2D：PnP..................................................................................................... 180
7.7.1 直接线性变换 ......................................................................................... 180
7.7.2 P3P ............................................................................... 182
7.7.3 最小化重投影误差求解 PnP...................................................................... 184
7.8 实践：求解 PnP ................................................................................................ 188
7.8.1 使用 EPnP 求解位姿 ................................................................................ 188
7.8.2 手写位姿估计 ......................................................................................... 189
7.8.3 使用 g2o 进行 BA 优化 ............................................................................ 191
7.9 3D−3D：ICP..................................................................................................... 196
7.9.1 SVD 方法 ............................................................................................... 196
7.9.2 非线性优化方法...................................................................................... 198
7.10 实践：求解 ICP................................................................................................. 199
7.10.1 实践：SVD 方法 ..................................................................................... 199
7.10.2 实践：非线性优化方法............................................................................ 201
7.11 小结................................................................................................................. 203
第 8 讲 视觉里程计 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
8.1 直接法的引出 ................................................................................................... 207
8.2 2D 光流............................................................................................................ 208
8.3 实践：LK 光流 ................................................................................................. 210
8.3.1 使用 LK 光流.......................................................................................... 210
8.3.2 用高斯牛顿法实现光流............................................................................ 211
8.3.3 光流实践小结 ......................................................................................... 218
8.4 直接法 ............................................................................................................. 218
8.4.1 直接法的推导 ......................................................................................... 218
8.4.2 直接法的讨论 ......................................................................................... 221
8.5 实践：直接法 ................................................................................................... 221
8.5.1 单层直接法............................................................................................. 221
8.5.2 多层直接法............................................................................................. 226
8.5.3 结果讨论................................................................................................ 227
8.5.4 直接法优缺点总结................................................................................... 230
第 9 讲 后端 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
9.1 概述................................................................................................................. 234
9.1.1 状态估计的概率解释 ............................................................................... 234
9.1.2 线性系统和 KF........................................................................................ 236
9.1.3 非线性系统和 EKF .................................................................................. 239
9.1.4 EKF 的讨论 ............................................................................................ 241
9.2 BA 与图优化..................................................................................................... 242
9.2.1 投影模型和 BA 代价函数......................................................................... 242
9.2.2 BA 的求解.............................................................................................. 243
9.2.3 稀疏性和边缘化...................................................................................... 245
9.2.4 鲁棒核函数............................................................................................. 251
9.3 实践：Ceres BA ................................................................................................ 253
9.3.1 BAL 数据集............................................................................................ 253
9.3.2 Ceres BA 的书写 ..................................................................................... 253
9.4 实践：g2o 求解 BA ........................................................................................... 257
9.5 小结................................................................................................................. 263
第 10 讲 后端 2. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10.1 滑动窗口滤波和优化 ......................................................................................... 266
10.1.1 实际环境下的 BA 结构 ............................................................................ 266
10.1.2 滑动窗口法............................................................................................. 267
10.2 位姿图 ............................................................................................................. 270
10.2.1 位姿图的意义 ......................................................................................... 270
10.2.2 位姿图的优化 ......................................................................................... 270
10.3 实践：位姿图优化............................................................................................. 272
10.3.1 g2o 原生位姿图....................................................................................... 272
10.3.2 李代数上的位姿图优化............................................................................ 277
10.3.3 小结....................................................................................................... 282
第 11 讲 回环检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
11.1 概述................................................................................................................. 285
11.1.1 回环检测的意义...................................................................................... 285
11.1.2 回环检测的方法...................................................................................... 286
11.1.3 准确率和召回率...................................................................................... 287
11.2 词袋模型.......................................................................................................... 289
11.3 字典................................................................................................................. 291
11.3.1 字典的结构............................................................................................. 291
11.3.2 实践：创建字典...................................................................................... 292
11.4 相似度计算....................................................................................................... 295
11.4.1 理论部分................................................................................................ 295
11.4.2 实践：相似度的计算 ............................................................................... 296
11.5 实验分析与评述................................................................................................ 300
11.5.1 增加字典规模 ......................................................................................... 300
11.5.2 相似性评分的处理................................................................................... 302
11.5.3 关键帧的处理 ......................................................................................... 302
11.5.4 检测之后的验证...................................................................................... 303
11.5.5 与机器学习的关系................................................................................... 303
第 12 讲 建图 . . . . . . . .. . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
12.1 概述................................................................................................................. 306
12.2 单目稠密重建 ................................................................................................... 308
12.2.1 立体视觉................................................................................................ 308
12.2.2 极线搜索与块匹配................................................................................... 309
12.2.3 高斯分布的深度滤波器............................................................................ 311
12.3 实践：单目稠密重建 ......................................................................................... 314
12.3.1 实验分析与讨论...................................................................................... 323
12.3.2 像素梯度的问题...................................................................................... 324
12.3.3 逆深度 ................................................................................................... 325
12.3.4 图像间的变换 ......................................................................................... 326
12.3.5 并行化：效率的问题 ............................................................................... 327
12.3.6 其他的改进............................................................................................. 327
12.4 RGB-D 稠密建图............................................................................................... 328
12.4.1 实践：点云地图...................................................................................... 328
12.4.2 从点云重建网格...................................................................................... 333
12.4.3 八叉树地图............................................................................................. 336
12.4.4 实践：八叉树地图................................................................................... 338
12.5 * TSDF 地图和 Fusion 系列................................................................................. 340
12.6 小结................................................................................................................. 343
第 13 讲 实践：设计 SLAM 系统 . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
13.1 为什么要单独列工程章节................................................................................... 346
13.2 工程框架.......................................................................................................... 347
13.3 实现................................................................................................................. 349
13.3.1 实现基本数据结构................................................................................... 349
13.3.2 前端....................................................................................................... 354
13.3.3 后端....................................................................................................... 357
13.4 实验效果.......................................................................................................... 361
第 14 讲 SLAM：现在与未来 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
14.1 当前的开源方案................................................................................................ 364
14.1.1 MonoSLAM ..................................................................................... 364
14.1.2 PTAM .................................................................................................... 365
14.1.3 ORB-SLAM .................................................................................. 366
14.1.4 LSD-SLAM............................................................................................. 369
14.1.5 SVO....................................................................................................... 370
14.1.6 RTAB-MAP............................................................................................. 371
14.1.7 其他....................................................................................................... 372
14.2 未来的 SLAM 话题............................................................................................ 372
14.2.1 视觉 + 惯性导航 SLAM............................................................................ 373
14.2.2 语义 SLAM............................................................................................. 374
14.2.3 SLAM 的未来 ......................................................................................... 375
附录 A 高斯分布的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
附录 B 矩阵求导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
附录 C ROS 入门 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
· · · · · · (收起)
1.1 本书讲什么....................................................................................................... 1
1.2 如何使用本书 ................................................................................................... 3
1.2.1 组织方式................................................................................................ 3
1.2.2 代码....................................................................................................... 5
1.2.3 面向的读者............................................................................................. 6
1.3 风格约定.......................................................................................................... 6
1.4 致谢和声明....................................................................................................... 8
第 1 部分 数学基础 10
第 2 讲 初识 SLAM. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1 引子：小萝卜的例子 ......................................................................................... 13
2.2 经典视觉 SLAM 框架 ........................................................................................ 19
2.2.1 视觉里程计............................................................................................. 20
2.2.2 后端优化................................................................................................ 21
2.2.3 回环检测................................................................................................ 22
2.2.4 建图....................................................................................................... 23
2.3 SLAM 问题的数学表述...................................................................................... 24
2.4 实践：编程基础................................................................................................ 27
2.4.1 安装 Linux 操作系统................................................................................ 27
2.4.2 Hello SLAM............................................................................................ 29
2.4.3 使用 cmake ............................................................................................. 30
2.4.4 使用库 ................................................................................................... 32
2.4.5 使用 IDE ................................................................................................ 35
第 3 讲 三维空间刚体运动 . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.1 旋转矩阵.......................................................................................................... 42
3.1.1 点、向量和坐标系................................................................................... 42
3.1.2 坐标系间的欧氏变换 ............................................................................... 43
3.1.3 变换矩阵与齐次坐标 ............................................................................... 46
3.2 实践：Eigen...................................................................................................... 47
3.3 旋转向量和欧拉角............................................................................................. 53
3.3.1 旋转向量................................................................................................ 53
3.3.2 欧拉角 ................................................................................................... 54
3.4 四元数 ............................................................................................................. 56
3.4.1 四元数的定义 ......................................................................................... 56
3.4.2 四元数的运算 ......................................................................................... 57
3.4.3 用四元数表示旋转................................................................................... 59
3.4.4 四元数到其他旋转表示的转换.................................................................. 59
3.5 * 相似、仿射、射影变换.................................................................................... 61
3.6 实践：Eigen 几何模块 ....................................................................................... 62
3.6.1 Eigen 几何模块的数据演示....................................................................... 62
3.6.2 实际的坐标变换例子 ............................................................................... 64
3.7 可视化演示....................................................................................................... 66
3.7.1 显示运动轨迹 ......................................................................................... 66
3.7.2 显示相机的位姿...................................................................................... 69
第 4 讲 李群与李代数 . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.1 李群与李代数基础............................................................................................. 73
4.1.1 群.......................................................................................................... 73
4.1.2 李代数的引出 ......................................................................................... 74
4.1.3 李代数的定义 ......................................................................................... 76
4.1.4 李代数 so(3)........................................................................................... 76
4.1.5 李代数 se(3) ........................................................................................... 77
4.2 指数与对数映射................................................................................................ 78
4.2.1 SO(3) 上的指数映射................................................................................ 78
4.2.2 SE(3) 上的指数映射 ................................................................................ 80
4.3 李代数求导与扰动模型...................................................................................... 81
4.3.1 BCH 公式与近似形式 .............................................................................. 81
4.3.2 SO(3) 上的李代数求导............................................................................. 83
4.3.3 李代数求导............................................................................................. 84
4.3.4 扰动模型（左乘）................................................................................... 85
4.3.5 SE(3) 上的李代数求导............................................................................. 85
4.4 实践：Sophus.................................................................................................... 86
4.4.1 Sophus 的基本使用方法 ........................................................................... 86
4.4.2 例子：评估轨迹的误差............................................................................ 89
4.5 * 相似变换群与李代数 ....................................................................................... 92
4.6 小结................................................................................................................. 93
第 5 讲 相机与图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.1 相机模型.......................................................................................................... 97
5.1.1 针孔相机模型 ......................................................................................... 97
5.1.2 畸变模型................................................................................................ 100
5.1.3 双目相机模型 ......................................................................................... 103
5.1.4 RGB-D 相机模型..................................................................................... 104
5.2 图像................................................................................................................. 106
5.3 实践：计算机中的图像...................................................................................... 107
5.3.1 OpenCV 的基本使用方法 ......................................................................... 107
5.3.2 图像去畸变............................................................................................. 112
5.4 实践：3D 视觉.................................................................................................. 113
5.4.1 双目视觉................................................................................................ 113
5.4.2 RGB-D 视觉 ........................................................................................... 115
第 6 讲 非线性优化 . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.1 状态估计问题 ................................................................................................... 121
6.1.1 批量状态估计与最大后验估计.................................................................. 121
6.1.2 最小二乘的引出...................................................................................... 123
6.1.3 例子：批量状态估计 ............................................................................... 125
6.2 非线性最小二乘................................................................................................ 126
6.2.1 一阶和二阶梯度法................................................................................... 127
6.2.2 高斯牛顿法............................................................................................. 128
6.2.3 列文伯格—马夸尔特方法......................................................................... 130
6.3 实践：曲线拟合问题 ......................................................................................... 132
6.3.1 手写高斯牛顿法...................................................................................... 132
6.3.2 使用 Ceres 进行曲线拟合 ......................................................................... 136
6.3.3 使用 g2o 进行曲线拟合............................................................................ 141
6.4 小结................................................................................................................. 148
第 2 部分 实践应用 150
第 7 讲 视觉里程计 1. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.1 特征点法.......................................................................................................... 153
7.1.1 特征点 ................................................................................................... 153
7.1.2 ORB 特征............................................................................................... 155
7.1.3 特征匹配................................................................................................ 158
7.2 实践：特征提取和匹配...................................................................................... 159
7.2.1 OpenCV 的 ORB 特征 .............................................................................. 159
7.2.2 手写 ORB 特征 ....................................................................................... 162
7.2.3 计算相机运动 ......................................................................................... 165
7.3 2D−2D：对极几何............................................................................................. 165
7.3.1 对极约束................................................................................................ 165
7.3.2 本质矩阵................................................................................................ 168
7.3.3 单应矩阵................................................................................................ 170
7.4 实践：对极约束求解相机运动............................................................................ 172
7.5 三角测量.......................................................................................................... 177
7.6 实践：三角测量................................................................................................ 178
7.6.1 三角测量代码 ......................................................................................... 178
7.6.2 讨论....................................................................................................... 179
7.7 3D−2D：PnP..................................................................................................... 180
7.7.1 直接线性变换 ......................................................................................... 180
7.7.2 P3P ............................................................................... 182
7.7.3 最小化重投影误差求解 PnP...................................................................... 184
7.8 实践：求解 PnP ................................................................................................ 188
7.8.1 使用 EPnP 求解位姿 ................................................................................ 188
7.8.2 手写位姿估计 ......................................................................................... 189
7.8.3 使用 g2o 进行 BA 优化 ............................................................................ 191
7.9 3D−3D：ICP..................................................................................................... 196
7.9.1 SVD 方法 ............................................................................................... 196
7.9.2 非线性优化方法...................................................................................... 198
7.10 实践：求解 ICP................................................................................................. 199
7.10.1 实践：SVD 方法 ..................................................................................... 199
7.10.2 实践：非线性优化方法............................................................................ 201
7.11 小结................................................................................................................. 203
第 8 讲 视觉里程计 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
8.1 直接法的引出 ................................................................................................... 207
8.2 2D 光流............................................................................................................ 208
8.3 实践：LK 光流 ................................................................................................. 210
8.3.1 使用 LK 光流.......................................................................................... 210
8.3.2 用高斯牛顿法实现光流............................................................................ 211
8.3.3 光流实践小结 ......................................................................................... 218
8.4 直接法 ............................................................................................................. 218
8.4.1 直接法的推导 ......................................................................................... 218
8.4.2 直接法的讨论 ......................................................................................... 221
8.5 实践：直接法 ................................................................................................... 221
8.5.1 单层直接法............................................................................................. 221
8.5.2 多层直接法............................................................................................. 226
8.5.3 结果讨论................................................................................................ 227
8.5.4 直接法优缺点总结................................................................................... 230
第 9 讲 后端 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
9.1 概述................................................................................................................. 234
9.1.1 状态估计的概率解释 ............................................................................... 234
9.1.2 线性系统和 KF........................................................................................ 236
9.1.3 非线性系统和 EKF .................................................................................. 239
9.1.4 EKF 的讨论 ............................................................................................ 241
9.2 BA 与图优化..................................................................................................... 242
9.2.1 投影模型和 BA 代价函数......................................................................... 242
9.2.2 BA 的求解.............................................................................................. 243
9.2.3 稀疏性和边缘化...................................................................................... 245
9.2.4 鲁棒核函数............................................................................................. 251
9.3 实践：Ceres BA ................................................................................................ 253
9.3.1 BAL 数据集............................................................................................ 253
9.3.2 Ceres BA 的书写 ..................................................................................... 253
9.4 实践：g2o 求解 BA ........................................................................................... 257
9.5 小结................................................................................................................. 263
第 10 讲 后端 2. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10.1 滑动窗口滤波和优化 ......................................................................................... 266
10.1.1 实际环境下的 BA 结构 ............................................................................ 266
10.1.2 滑动窗口法............................................................................................. 267
10.2 位姿图 ............................................................................................................. 270
10.2.1 位姿图的意义 ......................................................................................... 270
10.2.2 位姿图的优化 ......................................................................................... 270
10.3 实践：位姿图优化............................................................................................. 272
10.3.1 g2o 原生位姿图....................................................................................... 272
10.3.2 李代数上的位姿图优化............................................................................ 277
10.3.3 小结....................................................................................................... 282
第 11 讲 回环检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
11.1 概述................................................................................................................. 285
11.1.1 回环检测的意义...................................................................................... 285
11.1.2 回环检测的方法...................................................................................... 286
11.1.3 准确率和召回率...................................................................................... 287
11.2 词袋模型.......................................................................................................... 289
11.3 字典................................................................................................................. 291
11.3.1 字典的结构............................................................................................. 291
11.3.2 实践：创建字典...................................................................................... 292
11.4 相似度计算....................................................................................................... 295
11.4.1 理论部分................................................................................................ 295
11.4.2 实践：相似度的计算 ............................................................................... 296
11.5 实验分析与评述................................................................................................ 300
11.5.1 增加字典规模 ......................................................................................... 300
11.5.2 相似性评分的处理................................................................................... 302
11.5.3 关键帧的处理 ......................................................................................... 302
11.5.4 检测之后的验证...................................................................................... 303
11.5.5 与机器学习的关系................................................................................... 303
第 12 讲 建图 . . . . . . . .. . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
12.1 概述................................................................................................................. 306
12.2 单目稠密重建 ................................................................................................... 308
12.2.1 立体视觉................................................................................................ 308
12.2.2 极线搜索与块匹配................................................................................... 309
12.2.3 高斯分布的深度滤波器............................................................................ 311
12.3 实践：单目稠密重建 ......................................................................................... 314
12.3.1 实验分析与讨论...................................................................................... 323
12.3.2 像素梯度的问题...................................................................................... 324
12.3.3 逆深度 ................................................................................................... 325
12.3.4 图像间的变换 ......................................................................................... 326
12.3.5 并行化：效率的问题 ............................................................................... 327
12.3.6 其他的改进............................................................................................. 327
12.4 RGB-D 稠密建图............................................................................................... 328
12.4.1 实践：点云地图...................................................................................... 328
12.4.2 从点云重建网格...................................................................................... 333
12.4.3 八叉树地图............................................................................................. 336
12.4.4 实践：八叉树地图................................................................................... 338
12.5 * TSDF 地图和 Fusion 系列................................................................................. 340
12.6 小结................................................................................................................. 343
第 13 讲 实践：设计 SLAM 系统 . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
13.1 为什么要单独列工程章节................................................................................... 346
13.2 工程框架.......................................................................................................... 347
13.3 实现................................................................................................................. 349
13.3.1 实现基本数据结构................................................................................... 349
13.3.2 前端....................................................................................................... 354
13.3.3 后端....................................................................................................... 357
13.4 实验效果.......................................................................................................... 361
第 14 讲 SLAM：现在与未来 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
14.1 当前的开源方案................................................................................................ 364
14.1.1 MonoSLAM ..................................................................................... 364
14.1.2 PTAM .................................................................................................... 365
14.1.3 ORB-SLAM .................................................................................. 366
14.1.4 LSD-SLAM............................................................................................. 369
14.1.5 SVO....................................................................................................... 370
14.1.6 RTAB-MAP............................................................................................. 371
14.1.7 其他....................................................................................................... 372
14.2 未来的 SLAM 话题............................................................................................ 372
14.2.1 视觉 + 惯性导航 SLAM............................................................................ 373
14.2.2 语义 SLAM............................................................................................. 374
14.2.3 SLAM 的未来 ......................................................................................... 375
附录 A 高斯分布的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
附录 B 矩阵求导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
附录 C ROS 入门 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
· · · · · · (收起)
读后感
用户评价
我购买的是实体书，装帧和排版质量让我非常满意。在长时间的阅读过程中，清晰的字体和高质量的插图是保持专注力的关键。尤其要提到的是那些关键的公式推导和算法流程图，它们被精心布局，使得复杂的数学逻辑一目了然，极大地减少了阅读时的认知负担。很多技术书籍的公式经常出现换行和对齐问题，影响阅读体验，但这本书在细节上做得非常到位。每次我需要回顾某个特定的算法细节时，都能迅速在对应的章节找到清晰的图示和总结，这对于我日常工作中快速检索和验证想法非常有帮助。这是一本真正用心打磨出来的技术精品，从内容深度到阅读体验，都达到了一个极高的水准。
说实话，我拿到这本书的时候，一开始有点担心它会像很多市面上声称“全面”的技术书籍一样，内容泛而不精。毕竟视觉SLAM涉及的领域太广了，从相机模型、运动估计到后端优化、回环检测，哪一个拎出来都能写一本专著。然而，这本书的编排逻辑非常清晰，作者显然对整个技术栈有着深刻的理解和精准的把握。它没有试图面面俱到地描述每一个细枝末节，而是紧紧围绕核心技术脉络展开。我特别欣赏它对经典框架的梳理，比如对基于特征点、直接法以及LSD-SLAM这类前沿方法的比较和剖析。这种对比式的讲解，极大地帮助我建立了对不同技术路线的优劣势的直观认识，不再是孤立地看待每一个模块。读完前几章，我立刻能分辨出当前开源库中不同模块的实现原理，这对于我进行技术选型和性能调优至关重要。
这本书的出现，简直是为我这个在视觉SLAM领域摸爬滚打了好几年、却总感觉隔着一层纱的工程师打开了一扇窗。我之前看的资料大多是零散的论文或者偏理论的教科书，讲的都是高深的数学推导，但在实际落地项目时，总会遇到各种工程上的难题，比如传感器标定、数据预处理的细节，还有不同算法在特定场景下的适用性。这本书最让我惊喜的是，它真的做到了“理论到实践”的桥梁。它不仅仅罗列了各种经典算法的原理，更深入地讲解了如何将这些理论转化为可运行的代码。比如，在讲Bundle Adjustment（BA）时，它没有停留在推导误差函数，而是详细阐述了如何选择高效的优化器、如何处理约束，以及如何在资源受限的平台上进行实时的BA求解。这种层层递进的讲解方式，让我感觉自己不仅仅是在学习知识点，更像是在一个资深专家的指导下，一步步搭建自己的SLAM系统。
这本书的价值体现在它对技术演进的深刻洞察力上。它不仅仅是停留在对现有成熟技术的复述，而是对未来方向有着清晰的预判和介绍。例如，书中对最新的基于深度学习的深度估计和语义分割在SLAM中的融合应用进行了专门的探讨。这部分内容让我意识到，传统的几何方法虽然强大，但在应对复杂纹理缺失或动态环境时正面临挑战，而DL方法的介入正在改变这一切。作者的分析不仅限于“是什么”，更深入到“为什么”和“如何做”。它讨论了深度网络输出的不确定性如何影响后端优化，以及如何构建一个鲁棒的混合系统。这种前瞻性使得这本书不仅仅是一本工具手册，更像是一份行业发展路线图，让我能够更好地规划自己的学习路径和研究方向，确保自己没有落后于技术浪潮。
对于初学者来说，这本书的入门友好度超乎我的预期。我记得我刚接触SLAM时，光是理解“什么是一致性”和“为什么需要闭环”就费了很大劲，很多教材上来就是复杂的矩阵运算。而这本书采取了一种非常平易近人的叙事方式。它首先从最基础的几何概念讲起，用大量的图示和直观的例子来阐释三维空间中的变换关系。尤其是对坐标系转换的讲解，作者似乎深知初学者在这方面的困惑，用了非常细腻的笔触去描绘不同坐标系之间的关系，并通过具体的应用场景来佐证。我把这本书推荐给了几位刚进入我们团队的实习生，他们反馈说，比起那些直接堆砌公式的资料，这本书让他们能更快地进入状态，并且对后续学习更高级的优化技术建立了坚实的数学和几何直觉。
这种害人的书居然还能出第二版？
见过。
楼上说害人的书我是非常不赞同的。这本书对于slam的入门是一本好书，特别是针对小白。看了两三个月，从深度学习转到slam看的就是这本。接下来深入就需要论文了，这本书已经完成了它的使命
终于 在面试的高压下
计算机视觉之上的应用。这个问题真是有趣，b站有教程。了解些李群李代数。至17年技术能走多远。阅读愉悦。
