Facebook用『SLAM+实时光流』实现AR真实遮挡效果

  • 时间:
  • 浏览:0

科技快报

(映维网 2019年11月29日)当前的AR系统仅追踪稀疏的几何特性,不计算所有像素的厚度。许多许多,大多数AR效果全是纯粹的叠加层,无法实现真实的对象遮挡效果。针对这名 情况,Facebook提出了并全是新颖算法,其能才能将稀疏厚度实时传播至每个像素。生成的厚度图在时间空间方面十分平滑,但在厚度边缘显示出明显的不连续性。这使得AR效果能才能与真实场景详细交互并被其遮挡。科技快报

该研究由Facebook计算机摄影学团队研究科学家约翰内斯·科普夫(Johannes Kopf) 和华盛顿大学亚历山大·霍林斯基(Aleksander Holynski)联合完成,相关论文《Fast Depth Densification for Occlusion-aware Augmented Reality(用于遮挡感知型增强现实的快速厚度密化)》导致 分析公开发表。科技快报

相关论文:Fast Depth Densification for Occlusion-aware Augmented Reality科技快报

Facebook的算法使用视频和稀疏SLAM重建作为输入。首先,它会从光流场的梯度变化估计软厚度边缘。导致 分析在遮挡附过的光流不可靠,许多许多研究人员使用了并全是全新的可靠性测量仿佛来计算正向和反向流场,并融合所得到的厚度边缘。有日后,算法会细化厚度边缘,并将其与图像边缘对齐,从而定位厚度边缘。最后,让我们儿优化了传播厚度,但鼓励在恢复的厚度边缘位置出现不连续性。团队提供了一系列的真实示例结果,并演示了几种可识别遮挡的AR视频效果。为了定量评估算法,Facebook表征了使厚度图适用于AR应用系统多多线程 的属性,并提出了新颖的评估指标来说明效果。这家公司指出,与一组竞争性基准算法相比,让我们儿的算法具有优势。科技快报

约翰内斯·科普夫(Johannes Kopf)说:“让我们儿用SLAM来非常精确地追踪数个点的厚度,但让我们儿一起去采用并全是实峥嵘光阴流法律土办法来预测余下像素的运动。但导致 分析这是并全是实时法律土办法,其质量欠缺以直接进行厚度预测,不过让我们儿能才能用它来挑选场景中的主要厚度边缘位置。有日后,让我们儿回到哪此非常精确的SLAM点,并将它们的厚度传播至所有余下的像素,但在哪此恢复的厚度边缘位置停止传播。这能才能确保所有的对象边缘都非常清晰,这非常快速,有日后产生了非常适合AR的厚度映射。导致 分析除了哪此都超级清晰的不连续处之外,一切都非常平滑。它们非常适合用来将虚拟对象插入至看似随便说说置身其间的场景,这是导致 分析它们能才能存在真实对象的前面或里边。我非常期待就看这项技术,以及此人 正在研发的技术,将怎么帮助模糊真实和虚拟的界限,并令AR更为逼真 更加引人入胜。”科技快报