SLAM学习--------相机位姿表示-李群李代数
slam 求解相机的位姿求解核心思想:将有约束的李群问题转换成无约束的李代数问题,然后使用高斯牛顿算法或者LM(列文伯格-马夸尔特法)求解。
人们找了很多以相机位姿为变量的误差函数,比如光度误差,重投影误差,3D几何误差等等,希望使得误差最小,使用BA(又称位最小化重投影误差),进而求得比较准确的相机位姿。举一个重投影例子:
Pi是3D点, ui是Pi对应的像素位置, K为相机内参矩阵,si为ui对应的深度值。T就是我们要求的变量。上式只是一个粗略的表达,其中没有显式说明齐次与非齐次,我们认为自动满足。有人可能会想对于这样的式子直接求导为零,不就可以解出T了么。但是不要忘记了T是满足如下约束的:
R为旋转矩阵,它是正交矩阵并且行列式为1,t是平移向量。在求解1式的时候,必须考虑到T满足的约束,那么这个问题就变成了有约束优化问题。但是我们不想去求有约束的问题,因为不好求。我们更喜欢的是去求无约束问题,而且无约束问题有很多现成的解法。
可去另外一个空间求解,比如李代数。最后研究表明确实通过李代数可以将(1)式转化为无约束问题,然后很方便的通过高斯牛顿法,列文伯格-马夸尔特法(简称LM法)等优化算法求解了。当然不仅仅是上面这个优化问题了,我们以相机位姿为变量的建立的目标函数都可以在李代数上求解。下面就简单介绍一下李群和李代数。
李群和李代数
群:是一种集合加上一种运算的代数结构,我们把集合记为A,运算记为 .,那么群可以记为G=(A,.)。群要求这个运算要满足封闭性,结合律,幺元和可逆。矩阵中常见的群有:
- 一般线性群GL(n) 指n×n的可逆矩阵,它们对矩阵乘法成群
- 特殊正交群SO(n) 就是旋转矩阵群,其中SO(2),SO(3)最为常见。
- 特殊欧式群SE(n) 就是n维欧式变换,其中SE(2),SE(3)最为常见。
群结构保证了在群上的运算具有良好的性质,李群是指具有连续性质的群。SO(n),SE(n)在实数空间上是连续的,我们可以直观的感觉到一个刚体能够在空间中连续运动,所以SO(n)和SE(n)都是李群。那么相机的位姿就可以表示为:
现在我们只是说明了相机位姿是特殊欧式群,旋转矩阵是特殊正交群。但是现在还不能直接去求解因为约束依然存在。正如前面所说的,我们希望将有约束的问题转化为无约束问题求解。数学上常用的方法就是去另外一个空间计算,就像分类问题一样,也许在这个空间没法分开,变换一个空间说不定就可以分开了。横看成岭侧成峰就是这个道理。数学家们研究表明每一个李群都已与之对应的李代数,因为李群是连续的。真如我们所期望的,在李代数求解(1)式时可以将其化为无约束问题,通过高斯牛顿法等方法迭代求解。这是因为旋转矩阵对加法不封闭,而李代数对加法封闭。
李群李代数相互转化
旋转矩阵对应的李代数是一个三维向量,相机位姿(刚性变换矩阵,没有尺度因子)是一个六位向量。那么我们想知道的是这些向量是怎么和对应的李群联系,或者说怎么变换。可参考高翔博士的《视觉slam十四讲从理论到实践》。下面这张图也是来自这本书的:
这张图给出了李群和李代数之间的转换公式。有了这个转换,离我们求解1式问题还有些距离。在使用类似高斯牛顿法这样的迭代算法时,目标函数关于变量的导数很重要,因为它提供了目标函数变小的方向。其实就是变量选择的方向,那么我们就想知道目标函数关于李代数的导数。
李代数求导
使用李代数解决问题的求导思路分为两种:
1. 用李代数表示位姿,然后根据李代数加法来对李代数求导
2. 对李群左乘或者右乘微小扰动量,然后对该扰动求导,成为左扰动和右扰动模型。
我们先说关于旋转矩阵对应的李代数SO(3)求导,第一种的求导过程,如下:
这样我们就得到了旋转后点相对于李代数的导数:
Jl的形式如下:
由于旋转矩阵对应的李代数是一个三维向量,所以我们可以用模长与单位向量的乘积表示。ϕ=θa, θ为模长,a为单位向量,上式中θ 和 a 就是这个含义。
下来我们在来看看旋转矩阵李代数的左扰动模型,左乘一个微小扰动,对微小扰动求导:
这种方式省去了计算雅克比Jl,所以使用更为常见。
最后直接给出SE(3)上的李代数求导,使用左扰动模型:
李代数上求解相机位姿
有了李群和李代数相互转换公式,李代数上的导数,那么我们就可以将1式用李代数重新表达。
上式仍然只是一个粗略的表达,其中没有显式说明齐次与非齐次,我们认为自动满足。使用李代数我们可以成功的将位姿约束问题转化为无约束问题,但要用高斯牛顿法或者LM方法等迭代优化算法,我们还需要知道这个误差关于位姿李代数的导数。使用左扰动模型,利用链式法则展开:
相机投影模型相对于P‘为:
那么就可以得到:
求导的第二项我们前面已经给出了:
取出这部分的前三行,然后两个导数项相乘,就可以得到一个2*6的雅克比矩阵:
如果变换矩se(3)的旋转在前,平移在后,只需要将上式的前面3列和后面3列对调即可。有了李代数表示,也有了李代数上的表示,下一步我们就可以利用一些优化库(ceres, g2o)去计算了。
相关文章:
【ACM】杭电OJ 2063
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid2063 借鉴:http://blog.sina.com.cn/s/blog_ac5ed4f30101ewjk.html 二分图(二部图):图论中的一种特殊模型。设G(V,E)是一个无向图,如果顶点V可以分割…

AngularJs表单自动验证
angular-auto-validate 地址:https://github.com/jonsamwell/angular-auto-validate 引用: <script src"/Assets/JS/AngularJS/angular-auto-validate/dist/jcs-auto-validate.js" charset"utf-8"></script> 依赖&#…
AlwaysVisibleControlExtender
今天早上学习了AlwaysVisibleControlExtender控件,感觉还是不错。下午就写点东西,总结一下使用方法。 简单使用示例(显示当前时间) 1)在VS下,新建一个ASP.NET AJAX-Enabled Web Project项目,命名为AlwaysVisibleC…
Depth graph
深度相机 定义:可以直接获取场景中物体距离摄像头物理距离的相机。在计算机视觉系统中,三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性,而深度图像(Depth map)作为一种普遍的三维…

【ACM】POJ 1852
【问题描述】 一队蚂蚁在一根水平杆上行走,每只蚂蚁固定速度 1cm/s. 当一只蚂蚁走到杆的尽头时,立即从秆上掉落. 当两只蚂蚁相遇时它们会掉头向相反的方向前进. 我们知道每只蚂蚁在杆上的初始位置, 但是, 我们不知道蚂蚁向哪个方向前行. 你的任务是计算…

ZStack--通过Ansible实现全自动化
2019独角兽企业重金招聘Python工程师标准>>> Agent是一种常见的IaaS软件管理设备的方式;例如,ZStack使用Python agents去管理KVM主机。因为海量的设备,安装和升级agents成为巨大的挑战,所以大多数IaaS软件把这个问题留…
SVO 半直接视觉里程计
SVO 从名字来看,是半直接视觉里程计,所谓半直接是指通过对图像中的特征点图像块进行直接匹配来获取相机位姿,而不像直接匹配法那样对整个图像使用直接匹配。整幅图像的直接匹配法常见于RGBD传感器,因为RGBD传感器能获取整幅图像的…

css构造文本
1. 1. 文本缩进text-indent:值;值为数字,最常用的数值单位是px(像素),也可以直接是百分比!text-indent:100px;text-indent:10%;2. 文本对齐text-align:对其方式;可以的值为:left、center、right3. 文本行高…
【数据结构】单链表的逆序输出(两种方法)
第一种方法:转换指针方向 即:将一个已经创建好的单链表进行指针域的改变 今天突然被问到单链表逆序的问题,弄了好久才看出别人的程序有啥问题,就重新写了一遍。 今天才在CSDN客户端上看到美团的面试题是冒泡排序。 一个看似简单…

koa+mongoose基础入门
1.mongoose基本使用 1.安装mongodb npm install mongodb 2.引入mongodb数据表,连接mongodb,通过node来对mongodb进行异步的增删改查 const mongodb requrie(mongodb); mongodb.MongoClient.connect("mongodb://localhost/db1", function(err,…

视觉SLAM学习(三)--------SLAM 综述
SLAM概述 参考资料分享来自本人博客:https://blog.csdn.net/Darlingqiang/article/details/78840931 SLAM一般处理流程包括track和map两部分。所谓的track是用来估计相机的位姿,也叫front-end。而map部分(back-end)则是深度的构建,通过前面…
【数据结构】所有顶点对的最短路径 Floyd算法
所有顶点对的最短路径问题是指:对于给定的有向图G(V,E),求任意一对顶点之间的最短路径。 可以求解得到的 的递推公式: #include <stdio.h> #include <stdlib.h> const int FINITY 5000; const int M 20; typedef struct {ch…

backbone学习总结(二)
今天来看下backbone的路由控制的功能。其实个人感觉backbone,模块就那么几个,熟悉它的框架结构,以及组成,就差不多。 废话不多说,我们来看看还剩下的功能。 关于路由和历史管理 通过 Backbone.Router.extend 来创建路由…

人工智能--野人过河
课程简介 人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能的定义可以分为两部分,即“人工”和“智能”。“人工”比较好…

java对cookie的操作
原文:http://www.cnblogs.com/muzongyan/archive/2010/08/30/1812552.html java对cookie的操作比较简单,主要介绍下建立cookie和读取cookie,以及如何设定cookie的生命周期和cookie的路径问题。 建立一个无生命周期的cookie,即随着…

【ACM】POJ 3069
【问题描述】 Saruman the White must lead his army along a straight path from Isengard to Helm’s Deep. To keep track of his forces, Saruman distributes seeing stones, known as palantirs, among the troops. Each palantir has a maximum effective range of R u…

sparkCore源码解析之思维脑图
2019独角兽企业重金招聘Python工程师标准>>> 在学习sparkCore时,有几个模块的概念理解不是很透彻,故对照源码进行学习,并将结果一脑图的形式呈现,方便后续的持续学习。 详细内容见: sparkCore源码解析之blo…

pangilin 安装编译
make pangolin 的时候报错 ootsun:/home/sun/AR/orb/Pangolin-0.5/build# make [ 1%] Building CXX object src/CMakeFiles/pangolin.dir/log/packetstream.cpp.o /home/sun/AR/orb/Pangolin-0.5/src/log/packetstream.cpp: 在函数‘void pangolin::WaitUntilPlaybackTim…

PHP实现求阶乘
function factorial ($x){if ($x > 1) {$s $x * factorial ($x - 1);} else {$s $x;}return $s; }$x 100;echo $x."的阶乘的为".factorial($x);转载于:https://blog.51cto.com/chensenlin/1854679

【ACM】杭电OJ 2064(汉诺塔III)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid2064 思路: 1、将n-1个盘从A移到C f(n-1)次 2、将第n个从A移到B 1次 3、将n-1个盘从C移到A f(n-1)次 4、将第n个从B移到C 1次 5、将n-1个盘从A移到C f(n-1)次 #include<cstdio> #inclu…

文件上传至阿里云
public static String uploadFile2OSS(InputStream instream, String fileName) throws IOException {String imageName null;OSSClient ossClient null;try {ClientConfiguration conf new ClientConfiguration();// 请求超时时间设置conf.setConnectionTimeout(5000);// 请…

ORB-SLAM2安装
安装顺利与否可能会与Ubuntu版本有关。(ubuntu16.04 gcc4.8.5这个很重要偶,本班的直接决定Pangolin能不能安装成功,如果遇到哦问题的朋友可以参考一下链接 http://blog.csdn.net/Darlingqiang/article/details/78928873)亲测可用…
iOS 系统分析(一) 阅读内核准备知识
原文出自【听云技术博客】:http://blog.tingyun.com/web/a... 0x01 iOS体系架构1.1 iOS 系统的整体体系架构 用户体验( The User Experience layer ):SpringBoard 同时支持 Spotlight。 应用软件开发框架(The Application Frameworks layer&a…
【数据结构】拓扑排序
如果一个有向图中没有包含简单的回路,这样的图为有向无环图。 图中的顶点代表事件(活动),图中的有向边说明了事件之间的先后关系。这种用顶点表示活动,用弧表示活动时间的优先关系的有向图称为顶点表示活动的网&#…

Java8自定义条件让集合分组
** 将一个指定类型对象的集合按照自定义的一个操作分组; 每组对应一个List、最终返回结果类型是:List<List<T>> param <T>*/static class GroupToList<T> implements Collector<T, List<List<T>>, List<List<T>&g…
ROS_Kinetic ubuntu 16.04
ROS_Kinetic系列学习(一),在ubuntu 16.04安装ROS Kinetic。 http://wiki.ros.org/kinetic/Installation/Ubuntu 通过网页快速了解Linux(Ubuntu)和ROS机器人操作系统,请参考实验楼在线系统如下: 纯净定制版镜像已经…

android 获取手机GSM/CDMA信号信息,并获得基站信息
本文转自:http://software.intel.com/zh-cn/blogs/2011/12/16/android-gsmcdma/ 在Android中我们常用的轻松获取WIFI信号列表,那如何获取CDMA或者GSM的手机信号呢?系统提供了TelephonyManager类,此类非常丰富,基本你所…
【数据结构】关键路径
在有向图中,如果用顶点表示事件,弧表示活动,弧上的权值表示活动持续的时间,这样的活动称为边表示活动的网,简称AOE网(Activity On Edge)。通常可以用AOE网来估算工程的完成时间,他不…
呼伦湖国家级自然保护区管理局投放草料保野生黄羊过冬
图为保护区工作人员正在观测黄羊的生活轨迹并记录数据。 王艳清 摄 图为保护区工作人员正在观测黄羊的生活轨迹并记录数据。 王艳清 摄 中新网呼伦贝尔1月16日电 (记者 李爱平)中国北方正是最为寒冷的时节,呼伦湖国家级自然保护区管理局内的60只野生黄羊正在面临食草…

buildroot httpd php
/********************************************************************* buildroot httpd php* 说明:* 在buildroot中选择了php,但是在测试的时候发现总是出现下面这行* 错误,库是存在的,但是却没有放对…