什么是双目视觉？

双目视觉是一种使用两个摄像头拍摄图像，并据此推算3D空间深度信息的计算机视觉技术。为此，两个摄像头从不同位置拍摄同一物体，利用获取的图像对计算深度信息。具体通过计算两幅图像之间的视差（disparity）来推算深度。 该技术与人类利用双眼推算深度信息的原理相似。通过它可以在3D环境中掌握物体的位置和距离，广泛应用于机器人工程、自动驾驶汽车、视频游戏、图像处理等多个领域。相比传统的计算机视觉技术，它能提供更准确、实用的结果，在各种应用领域中发挥着重要作用。

基于双目视觉的RTLS特长

基于双目视觉的RTLS（实时定位系统）是通过分析由两个摄像头采集的视觉信息，实时追踪并监控物体或人员位置信息的系统。 这种双目视觉可以实现非常精准的位置推理，保证高准确度和可靠性。此外，由于可以实时更新位置信息，因此能在物流、制造、建筑等领域提供重要的实时位置信息。 另外，基于双目视觉的RTLS不使用标签（Tag），因此无需购买和维护针对目标的额外标签或信号发生设备。这降低了系统构建成本，减少了系统维护费用，在成本方面非常高效。同时，由于目标位置追踪的准确性和可靠性很高，在成本效益和系统性能方面都非常优秀。因此，基于双目视觉的RTLS是能同时实现成本降低和性能提升的极具实用价值的技术。

基于双目视觉的定位是如何运作的？

ORBRO双目视觉RTLS的核心技术

原始图像流 (Original Image Streaming)

为了提高RTLS中的位置追踪准确度，高水平的深度图推理技术必不可少。人类可以通过经验和直觉，仅凭大致轮廓就能快速准确地感知距离，但深度图技术专注于图像细节，精密的推理直接关系到位置追踪。因此，我们不使用普通CCTV中使用的有损压缩视频流方法，而是利用无损视频来最大限度地减少低级特征（Low Level Feature）的损失。通过这种方式，基于双目视觉的RTLS最大限度地减少了位置信息的损失。

通过利用无损原始视频，深度图中物体的表面表现得更加连续。

推理背景

原始

编码

高级深度估计 (Advanced Depth Estimation)

利用双目摄像头图像进行深度推理一直是计算机视觉研究领域关注的重点。特别是近10年来，应用深度学习方法显示出了比以前传统算法更卓越的结果。然而，许多领域仍在延用传统算法的原因是它们能保证适当的准确度和高实时性。这通常意味着可以以15 FPS以上的帧率进行处理。

使用计算机视觉的他社深度图

利用传统计算机视觉算法的深度推理结果在细节部分和物体轮廓处存在发生扭曲的问题。例如，握鼠标的手的上部或被隔板遮挡的人头等部分无法被推理出来。但是，我们开发的基于深度学习的模型克服了这些问题。该模型针对“基于双目视觉的RTLS”进行了优化，通过轻量化和微调保证了实时性（>15 FPS）。虽然在处理多个摄像头输入时，处理速度可能会降至约4 FPS，但考虑到画面中人员的移动速度，仍能提供令人满意的位置信息。

使用深度学习的ORBRO深度图

深度估计微调 (Depth Estimation Finetuning) 技术

自然光和人造照明下拍摄的图像具有不同的特性，即使照明仅照射在双目摄像头的一个镜头上，这种情况也会出现。此时，由于左/右图像传感器的曝光值差异，左/右图像的特性会变得不一致。

由于照明直接照射导致的左右双目图像特性差异

除了这些外部环境因素外，还必须考虑双目摄像头制造过程中可能产生的内部因素。例如，将图像传感器安装到电路板上时可能发生的上/下对齐误差或旋转误差，以及镜头与图像传感器之间距离变化导致的倍率差异等。

(a)

(b)

(c)

(d)

广角镜头导致的扭曲模式及摄像头A、B间的个体偏差 （绿色：2.7m，紫色：6.3m，红色：8.8m）

为了解决这些问题，精确建模扭曲模式并进行校正使其与实际深度一致的过程是深度推理技术的重要组成部分。这一校正过程必须考虑摄像头的个体不确定性，例如镜头生产过程中产生的偏差或组装工序中产生的偏差。如果不应用扭曲校正模型，广角双目摄像头推算的深度值通常会出现30%以上的偏差。但如果应用扭曲校正模型，不仅可以消除这些误差，还能获得使深度推理平均误差率降低约50%的效果。因此，我们在所有双目摄像头出货前，都会利用自主开发的高级扭曲校正模型进行校正。通过这种方式提供优秀的深度推理技术，为客户提供最佳的性能和可靠性。

双目视觉的主要优点