当前位置：首页 > 编程日记 > 正文

ARKIT/ARCore对比分析(二)

编程日记 2024-10-16 05:10:00

ARKit(2) ARCore 和 ARKit平台特点比对

曾与一家最大的 IMU OEM 交谈过，为了节省成本，他们的智能机IMU 在工厂中只是在单一温度下进行标定。这意味着 IMU 硬件在某一指定的温度下，误差被调节到最低。但当手机发热的时候，IMU 就不会那样准确。虽然这是十分普遍的现象，但是对于 VIO 来说，一旦设备发热，标定结果不可信，算法结果会产生漂移。当然，OEM 也可以在客户要求下，在多种温度下标定传感器。

这一点，谷歌比不上苹果。虽然这只是一个很小的误差，但是意味着谷歌 ARCore VIO 代码会随着设备不同而发生变化。苹果的软硬件垂直集成帮助它更快地应对这类挑战，而 Android 需要对整个生态系统进行过滤。

光照问题

ARCore 和 ARKit 提供了场景中的光照实时估计，所以开发者们可以迅速调整模拟光照，以便匹配真实世界（还可能同时触发动画人物）。

ARKit 和 ARCore 可以对场景光进行简单的估计，不管是真实世界环境光还是尖锐的聚光灯。ARKit 为开发者提供了强度和色温选项，而ARCore 提供了单像素强度值（Android Studio API）或 shader（Unity API）。这两种方法在早期 Demo 中有相似的结果，而 Google 的 Demo看起来更好一些，可能是因为开发者们对 Tango 用得更熟。

不过，Google 在今年的 I/O 大会中已经表示，对虚拟阴影在真实世界光照下调整的功能即将和开发者们见面。这是一个很大的进步，会让 AR 更加真实。

构建地图

Mapping，构建地图，是 ARCore 相对于 ARKit 的显著优势领域之一。

它意味着可以将 3D 真实世界的环境信息存在内存中视觉信息中的三维重建，供追踪器（VIO系统中的重要部分）进行设备的定位。设备就可以知道自己在环境中所处的位置。为了帮助大家理解，举个例子，蒙着眼睛把你放到一个陌生城市的市中心，只给你一张地图，你可以通过地图了解到自己的位置。

最简单形式的 SLAM 建图是一些离散的 3D 点云数据，它们代表了光学特征点的位置（例如桌角）。在这些数据中还隐藏着一些元数据，通过特征点在多帧中相同位置出现的次数，表明点的可信度（例如走来走去的狗，可信度就很低，因为每张图拍到的结果都不同）。

一些图包括了“关键帧”，也就是每隔几秒存储的视频或照片的单帧，可以帮助追踪器更好地将真实世界与图进行匹配。另外，一些图使用密集点云，更可信但是需要 GPU 和更多内存。ARCore 和 ARKit 都使用了离散点云图（可能没有关键帧）。

离散点云图就像右上图所示。左上图显示了点云和真实世界是如何匹配的（颜色代表点的可信度）。左下图是原始图像，右下图是强度（灰度）图，可以被用到多种 SLAM 系统中（但并没有用到 ARKit 或 ARCore 中）。

那么这是如何工作的呢？当你加载 ARCore/ARKit App 时，跟踪器会检测之前是否有加载好的图，如果没有就会通过立体计算，自定义一个新的地图，也就是说我们拥有了相机视角下的一个小范围3D图。当你开始四处运动，相机捕捉到新的一幅图，更多的 3D 点云加入到地图中，地图越变越大。

如果地图变得太大而无法控制，追踪则会变得糟糕，以至于追踪出现漂移。不过，这也不再是个大问题，控制地图是 SLAM 研究正在做的一部分（还有深度学习和 CNN AI）。

ARKit 在建图的时候使用了“sliding window”，也就是说它只会在图中保存最近的时间和距离数据，旧的数据会被自动忽视，而 ARCore 会管理更大的地图，也就是说系统会更加稳定。所以使用ARCore，即使追踪跟丢了也会恢复得很好。

ARCore 和 ARKit 都采用了一种被称为“锚点”（Anchors）的概念，让我们感觉地图似乎覆盖了更大的物理面积。我第一次看到这个概念是在 HoloLens 上。正常情况下，系统会完全控制地图，而用户或应用开发者并不知道这点。锚点使开发者告诉系统“记住周围的地图，不要将其丢弃”。

我觉得锚点的某一合理物理范围大概有 1 平方米，这其中有我自己猜测的部分，也有可能会根据系统看到的光学特征发生多种变化。但当用户重新范围物理位置时，该范围足以让系统重新实现定位。

不管何时，内容被放置在一个物理位置时，开发者通常会丢下一个锚点。如果没有锚点，用户来回走动时，物理位置周围构建的地图（内容所呈现的地方）将会丢失，内容也将丢失。而加上锚点后，内容将永远固定在那里，也不排除因为积累的漂移，系统需要矫正重新定位时，糟糕的 UX （用户体验）会对内容产生影响。

构建地图的目的是以两种方式来帮助追踪：

第一，当我前后移动手机，地图从一开始移动便建立，手机往回移动时，新的特征点可被实时检测。

在位置计算中，通过对当前和先前场景的特征点收集，这使追踪也更加稳定。

第二，构建地图可帮助定位追踪或是恢复追踪。有时你会遮挡摄像头，手机掉落，或是移动的太快，或是不稳定因素发生，这时摄像头看到的场景与最新更新的地图无法匹配。这就是我们所说的“追踪丢失”这种情况下，系统重定位的两种方法：

F1：重置所有的标定系统，然后重启！这纯粹由测距系统完成（没有地图）。你会看到所有的内容“跳到”新的位置，然后固定在那里。用户体验并不好。

F2：系统可以使用它检测到的 3D 特征，然后搜索整个地图，尝试匹配，随着正确的虚拟位置进行更新。如果你当什么都没发生，一直使用应用，你会发现虚拟内容展示时，追踪不停丢失，但恢复后，追踪又正常。

这里又有两个问题。

首先，随着地图构建的越大，搜索过程会更耗时，过程也会更密集，也就是说要一遍又一遍地开启搜索；

其次，手机当前的位置永远不会精准地与手机过去那一时刻的位置相匹配，所以这也加大了地图搜索的难度，并且还要花费时间和计算去重新定位。基本上，即便有了构建地图，如果你移动的离地图太远，应用就没法定位了，系统需要重置、重启。

图片上的每条线是 SLAM 地图中的街道。在世界上任何地方，使用移动设备实现 AR 功能，都会遇到 SLAM 地图构建问题。记住，现在尽管有机器可读的地图和数据结构，但它们不是那种人们可使用的 3D 街景地图（这也是必须的）。

注意，对移动 AR 来说，我提到的“大”地图大致意思为，可以覆盖较大房间，或小型公寓物理面积的地图。

同时，也意味着，对于室外 AR，我们不得不思考全新构建地图的方式。

针对地图强大的重新定位是非常非常难的问题，而且在消费者体验层面还未解决。如果任何人宣称他们能提供多人 AR 玩法，或是固定性强的 AR 内容，那么不管是由一号玩家创建的地图，还是云端下载的地图，他们的 UX 会受到其他手机（如二号玩家手机）重新定位性能的限制。

你会发现，二号玩家不得不站在距离二号玩家很近的地方，双方几乎以同样的姿势举着手机。但是，二号玩家，或其他玩家只想坐在与你相反方向的沙发上，打开手机，立马看到你眼前看到的事物。或是说，站在距离几米的空间内，看到 AR 内容“固定”在那里。

（这里有一段 Tango实验的视频效果：https://www.youtube.com/watch?v=YulYq5P3heo）

现在已经有应用可以变通地实现多人游戏，如使用标记点，或为二号玩家编写距离应用开始位置的代码。技术上看，这些是可以运行的，但是你要一直为用户解释如何操作，用户体验可能一团糟。所以，并没有什么“简单运行”的魔法。

当然，如果任何人有不同的解决方案，我很想请教一下。不过，就我所知，多玩家实现稳定性极强的重新定位现在还无法实现，也没有发现公布的研究成果。这就像 VIO 的问题一样，只有少部分人可能会解决。我只知道一个还未公布的系统能够支持，2018 年初才会推出。

ARCore 的优势

谁都未能想到，ARCore在ARKit发布后，拥有如此迅速的反应时间。相对于ARKit来说，ARCore其实有不少优势：

功能方面：有一些 ARKit 并未提到的功能优势

开发者经验：ARCore 在 Tango 和 Daydream 上积累几年丰富的开发者经验，相对于 ARKit 仅仅几个月来说，是更加成熟的。

OEM：有足够的 OEM 厂商提供强大的支持

宣传：一段比较走心的宣传短片

OEM 厂商依旧谨慎

我感觉 ARCore 的推出相当匆忙，例如没有 ARCore 的 Logo。我在之前的文章中谈过 OEM 厂商对于 Tango 手机的谨慎。ARCore 消除了摄像头堆栈硬件商品化，以及 Tango 面临的材料成本的问题。看起来，Google 已经考虑到一些战略控制，但是讲真，我感觉一切太快了，这些事情还没真正地实施。

Google 坚持 ARCore 是谷歌移动服务（GMS）的一部分，如果 AR 真的成为“下一个平台”，这是重新划分生态系统势力的一个机会。ARCore 不只是像 GUI 那种功能。所有的初创公司都要考虑 SLAM 的问题。而 AR 是否会脱离 GMS，这可不好说。

OEM 厂商寻找 ARCore 替代品的最大原因可能是，他们巨大的市场（如中国）不欢迎 GMS。

GMS 最大的阻力在于：无法进入中国市场，那里却是 OEM 厂商们最大的市场。厂商们更喜欢一个可以在全球运行的 AR 软件解决方案。

开发者现在可以用 ARCore 开发了吗？

如果你喜欢Android，你有一个 Samsung S8 或 Pixel，那么别犹豫，直接去开发吧。如果你喜欢 iPhone，也不要担心是否需要换成 ARCore。

开发者应当关注的是，打造一个人们关心的 AR 应用要面临巨大的挑战。与学习如何在 ARKit 或 ARCore 上创建内容相比，创建什么样的内容要花费更大的努力。

ARKit / ARCore SDK目前还是1.0版，功能还非常基础（VIO、平面检测、基础照明），将在未来几年内获得更多的功能（3D场景理解、遮挡、多人联网，内容固定性等）。对开发商和消费者来说，这将是一个不断的学习过程。所以现在只需要坚持向着自己认为对的路子走就好。

不要对使用哪个平台想太多，多想想能创建什么样的 AR 内容

ARCore 比 ARKit 更好吗？

作为技术解决方案，它们的能力非常接近。ARKit 在集成和跟踪方面具有一定的技术优势（原因技术是基于特征点的）； ARCore 在建图和重定位方面具有一些优势（给予vslam的）。可是这两个优点大多是专业的计算机视觉工程师才能看到的。

苹果有一个清晰的市场宣传优势，拥有庞大的设备基础，可以立即升级到包含 ARKit 的最新 iOS 系统。苹果的用户一般更愿意花钱，所以从中期来看，AR 应用应该可以在 ARKit 上更好地获利。

Android 的优势在于规模化，但 Android 生态系统需要至少 12 个月才能将所有的部分整合在一起，并在大多数新设备中获得硬件支持的 ARCore。

ARCore 由此前 Tango 研发的基础，其中大部分已经进行了用户/市场测试。现在基础已经比较到位，看看这些系统在未来12-24个月内如何快速发展，这会很有趣。

https://www.dkcj.cn/info/23248.html

ARKIT/ARCore对比分析(二)

相关文章：

【ACM】杭电OJ 1789（Doing Homework again）

推荐使用的几款Java常用基础工具库

ARKit 与 ARCore比对（三）

前端开发之retina屏幕

【ACM】Uva 1152 （4 Values whose Sum is 0）二分查找lower_bound() 和upper_bound()的使用

广东“基因编辑婴儿事件”调查组：将对贺建奎依法依规严肃处理

测试我的第一个随笔

ubuntu16.04 下安装Opencv2.4.9

UVa 167（八皇后）、POJ2258 The Settlers of Catan——记两个简单回溯搜索

AR + ROS +UBUNTU16.04+ORB-SLAM2

Cross-validation

【ACM】杭电OJ 1877 又一版A+B（进制转换）

[POI2009]KAM-Pebbles BZOJ1115 [ 待填坑 ] 博弈

ROS中使用摄像头的问题

EmEditor Professional(文本编辑) 下载地址

【ACM】杭电OJ 4548 美素数（二次打表）

animation与transition区别

如何将cocos2d-x程序分别移植到ios，android，windowsphone三个手机平台上

【数据结构】顺序循环队列及其实现（C语言）

C++中Reference与指针（Pointer）的使用对比

云南实现手机自主补（换）领居民身份证

NDK JNI 安装与配置（一）（UBUNTU16.04 ）

【数据结构】顺序表的应用（4）（C语言）

Java泛型：泛型类、泛型接口和泛型方法

POJ 2456 Aggressive cows(二分答案)

JMeter打开脚本报错处理方法

Android开发中libs包下面的mips、armeabi、armeabi-v7a和x86

【数据结构】判断一个单链表中各结点的值是否有序

MSSQL-最佳实践-行级别安全解决方案

浮点数运算原理详解