当前位置：首页 > 编程日记 > 正文

SVO中 Inverse Compositional Image Alignment方法的学习笔记

编程日记 2024-06-08 23:00:00

SVO中 Inverse Compositional Image Alignment方法的学习笔记

这篇文章
光流法简介
逆向光流法
结尾

这篇文章

在SVO系统中的"Relaxation Through Feature Alignment"部分使用的是一种特别的LK光流法：the inverse compositional Lucas-Kanade algorithm（逆向LK光流法）。该方法的论文可以在这里查看，对于整个论文的讲解可以参考这篇博客（感谢给位前辈）。这两个资料能够帮助每位博友理解各种光流法的原理。在这里就记录一下自己对光流法和逆向光流法的理解。
【转载声明】本篇文字均为原创，如转载请注明出处

光流法简介

光流法是根据光度不变性假设（同一空间点在各图像上的成像点的灰度值相同）实现，也就是下面的式子：

$T(x)=I(W(x;p))......(1)#pic_center$

式中T(x)表示参考图象中点x的像素灰度值。W表示关于x和p的一个函数，W(x;p)表示x点坐标经过变换（变换可以是纯平移或仿射）后的坐标。p是一个参数向量，用于构建相关的变换（构建的方法详见之前提到的两个参考资料）。I(.)表示当前图像中某点的像素灰度值。最终通过调整p的取值来使上述公式成立。
式(1)只针对一个点，但在实际中会考虑多个点对p的求解约束。因此一般的光流法求解的是下面这样的一个式子：

$p^{\ast }=\underset{p^{\ast }}{argmin}\underset{x_{i}}{\sum }[I(W(W(x_{i};\Delta p);p))-T(x_{i})]^{2}.......(2)$

这是求出p关于式(2)的最小二乘解的过程，可由迭代的方法解决（如高斯牛顿法）。对于式(2)来说，p和W(.)的更新公式为（这些更新公式不难理解，就是对p和W(.)进行的一种简单叠加）：

$p=p+\Delta p.......(4)$
$W(x;p)=W(x;p)\cdot W(x;\Delta p).......(5)$

迭代求解不可避免地要对原公式进行求导。先对式(2)求在I(W(x; p + △p)) 处的一阶泰勒展开：

$\underset{x_{i}}{\sum }[I(W(x_{i};p))+\triangledown I\frac{\partial W}{\partial p}\Delta p-T(x_{i})]^{2}.......(6)$

式中的▽I(W)是I图像中W(x;p)像素坐标点处的像素梯度，它与当前像素坐标有关，也就是和p有关。同时W关于p的雅可比矩阵也与p的当前值有关。所以上述方法需要在每次迭代优化后求一次新的导数。之后就是通过构建Hessian矩阵来求出△p增量，完成迭代求解操作。大致步骤如下图：

从图中可以看到，由于每次迭代都要重新计算相关雅可比矩阵以及像素梯度值，所以该方法的计算量很大。而逆向光流法就是针对这个不足而优化后的算法，它在计算量方面远小于上述方法。

逆向光流法

逆向光流法也是基于灰度不变性假设实现，但它求解的迭代优化问题不同。它求解的目标是下面这个式子:

$\underset{x_{i}}{\sum }[T(W(x_{i};\Delta p))-I(W(x_{i};p))]^{2}$

与式子(2)相比，式(6)中图象T和I换了个位置。△p的作用对象从图像I变成了图像T（这应该是算法被称为逆向光流的原因吧）。此时，W(.)的更新公式变成了：

$W(x;p)\leftarrow W(x;p)\cdot W(x;\Delta p)^{-1}$

下面谈谈我对公式(7)的理解。首先在两张图T、I中标记出正在进行匹配两个点对，将它们分别记为Pt和Pi。由于两幅图像目前估计的仿射变换为W(x;p)，所以我们可以用下图来表示当前的情况（图比较飘，望见谅）：

这时我们在图像T中进行一次微调，也就是对Pt执行W(x;△p)操作，将变换后的点记为Pt’。此时情况如下图所示：

我们假设经过这次△p的更新之后， Pt’ 与Pi之间的灰度误差最小，可认为 Pt’ 就是Pi对应的匹配点。得，弄了半天找了个 Pt’ 的匹配点。不过没有关系，至少我们知道Pi不会是Pt的匹配点。因此要在图像I中继续搜索，即移动Pi的位置，获得新的点Pi’。怎么移呢？我们这样想，既然 Pt’ 是通过△p变换获得的，那么对Pi使用与△p方向相反的变换（从这儿可以看出逆向光流法的限制是需要W(.;△p)是可逆的！）就有可能获得与Pt匹配的点。这一步由式(9)来实现，情况如下图所示：

那么这样的方法有什么好处呢？我们先对式(8)进行一阶泰勒展开，从展开式中就能够看出这个方法的优势：

$\underset{x_{i}}{\sum }[T(W(x_{i};0))+\triangledown T\frac{\partial W}{\partial p}\Delta p-I(W(x_{i};p))]^{2}$

式中的▽T代表的是W(x;0)点处的像素梯度，它是一个固定的量。W关于p的雅可比矩阵是在(x;0)处求得的（这就说明p对雅可比的计算是没有影响的），也是个固定量。之后就是通过构建Hessian矩阵来求出△p增量，完成迭代求解操作。大致步骤如下图：

从图中可以看出，由于有些量在整个迭代过程中是固定的，所以能够在算法的一开始就计算出来它们的值，且在迭代过程中可以一直使用，不需要更新。这固定的量就是降低整个算法计算量的关键所在。

结尾

以上就是本篇博客的全部内容。上述内容介绍了普通的光流法和逆向光流法，并说明了逆向光流法的优势。希望这些内容能帮助到每一位正在学习这个方面的朋友，大家一起进步（大家好才是真的好）！

https://www.dkcj.cn/info/9873.html

SVO中 Inverse Compositional Image Alignment方法的学习笔记

SVO中 Inverse Compositional Image Alignment方法的学习笔记

这篇文章

光流法简介

逆向光流法

结尾

相关文章：

Head First设计模式之目录

HANA 数据库备份hang住的解决办法

简单DP【p2642】双子序列最大和

JDBC工具类

SVO 学习笔记(三)

CMAKE设置INSTALL工程，分别设置头文件、Lib和DLL的输出路径

2021年中国工业互联网安全大赛核能行业赛道writeup之hacker

利用人工智能（Magpie开源库）给一段中文的文本内容进行分类打标签

动态环境下的SLAM：DynaSLAM 论文学习笔记

用C语言编写：判断一个≥2的整型数是否存在于斐波那契数列中？

团队作业8——第二次项目冲刺（Beta阶段）--第六天

2021年中国工业互联网安全大赛核能行业赛道writeup之隐写

SVO 学习笔记（深度滤波）

寻找孪生素数（当p为素数时，p+2也为素数）

C++利用cin输入时检测回车的方法

使用grep过滤make的输出内容

2021年中国工业互联网安全大赛核能行业赛道writeup之机房密码

ORB-SLAM2系统的实时点云地图构建

使用maven导入jar包

Struts2中action接收参数的三种方法及ModelDriven跟Preparable接口结合JAVA反射机制的灵活用法...

关于CSS的长度单位及颜色表示

2021年中国工业互联网安全大赛核能行业赛道writeup之鱿鱼游戏

视觉惯性SLAM: VI ORB-SLAM

AEC、AGC、ANS在视音频会议中的作用?

Java中的拆箱与装箱

WannaCry的UWP版，哈哈哈

2021年中国工业互联网安全大赛核能行业赛道writeup之数据库登录

学生管理系统（用maven来导入jar包）

视觉惯性SLAM：VINS-Mono

mysql 0x80004005 unable to connect to any of the specified mysql hosts