Stereo Vision이란 무엇인가요?

Stereo Vision은 두 개의 카메라를 이용하여 이미지를 촬영하고, 이를 이용하여 3D 공간의 깊이 정보를 추정하는 컴퓨터 비전 기술입니다. 이를 위해 두 개의 카메라는 같은 객체를 서로 다른 위치에서 촬영하며, 획득한 이미지 쌍을 이용하여 깊이 정보를 계산합니다. 이를 위해 두 이미지 간의 시차, 즉 disparity를 계산하고, 이를 이용하여 깊이를 추정합니다.  이 기술은 인간의 두 눈을 이용하여 깊이 정보를 추정하는 원리와 유사합니다. 이를 통해 3D 환경에서 객체의 위치와 거리를 파악할 수 있으며, 로봇 공학, 자율주행차, 비디오 게임, 영상 처리 등 다양한 분야에서 활용됩니다. 이는 기존의 Computer Vision 기술에 비해 보다 정확하고 실용적인 결과를 제공할 수 있어, 다양한 응용 분야에서 중요한 역할을 하고 있습니다.

Stereo Vision을 이용한 RTLS의 특장점

Stereo Vision을 이용한 RTLS(Real-Time Location System)은 두 개의 카메라를 이용하여 수집한 시각적 정보를 분석해, 물체나 사람의 위치 정보를 실시간으로 추적하고 감시하는 시스템입니다. 이러한 Stereo Vision는 매우 정확한 위치 추론이 가능하며, 높은 정확도와 신뢰성을 보장합니다. 또한 실시간으로 위치 정보를 갱신할 수 있기 때문에 물류, 제조, 건설 등에서 중요한 실시간 위치 정보를 제공할 수 있습니다. 또한, Stereo Vision 기반의 RTLS는 Tag를 사용하지 않기 때문에, 대상에 대한 추가적인 태그나 신호 발생 장비를 구매하고 유지보수하는 비용이 필요하지 않습니다. 이는 시스템 구성 비용을 절감하고, 시스템 유지보수 비용을 줄여줌으로써 비용면에서 효율적입니다. 또한, 대상의 위치 추적에 대한 정확성과 신뢰성이 높기 때문에 비용 효율성과 함께 시스템의 성능 면에서도 우수합니다. 따라서, Stereo Vision 기반의 RTLS는 비용 절감과 성능 향상을 동시에 이룰 수 있는 매우 유용한 기술입니다.

Stereo Vision을 이용한 포지셔닝은 어떻게 동작하나요?

ORBRO의 Stereo Vision을 이용한 RTLS의 핵심기술

Original Image Streaming

RTLS에서 위치 추적 정확도를 높이기 위해서는 높은 수준의 Depth Map 추론 기술이 필수적입니다. 사람은 경험과 직관으로 대략적인 윤곽만으로도 거리를 빠르고 정확하게 인식할 수 있지만, Depth Map 기술은 이미지의 디테일에 집중하여 정밀한 추론이 위치 추적에 직접적으로 연결됩니다. 따라서 우리는 일반 CCTV에서 사용되는 손실압축 영상 스트리밍 방법을 사용하지 않고 무손실 영상을 활용하여 Low Level Feature의 손실을 최소화합니다. 이러한 방식으로 Stereo Vision을 이용한 RTLS는 위치정보의 손실을 최소화합니다.

무손실 원본 영상을 활용한 Depth Map에서 사물의 표면이 좀더 연속적으로 표현됩니다.

추론배경

원본

인코딩

Advanced Depth Estimation

Depth 추론을 위해 스테레오 카메라 이미지를 활용하는 것은 컴퓨터 비전 연구 분야에서 큰 관심을 받고 있습니다. 특히, 최근 10년 동안 딥러닝 방법론을 적용하여 이전의 고전적인 알고리즘보다 더욱 탁월한 결과를 보여줬습니다. 그러나 여전히 많은 분야에서 고전적인 알고리즘을 사용하는 이유는 적절한 정확도와 높은 실시간성을 보장하기 때문입니다. 이는 일반적으로 15 FPS 이상의 프레임 속도로 처리가 가능하다는 의미입니다.

Computer Vision을 사용한 타사 Depth Map

고전적인 컴퓨터 비전 알고리즘을 활용한 Depth 추론 결과물은 디테일한 부분과 물체의 외각에서 왜곡이 발생하는 문제가 있었습니다. 예를 들어, 마우스를 쥔 손의 윗부분이나 파티션에 가려진 사람의 머리와 같은 부분은 추론되지 않았습니다. 그러나 우리가 개발한 딥러닝 기반 모델은 이러한 문제점을 극복하였습니다. 이 모델은 "Stereo Vision을 이용한 RTLS"에서 사용할 수 있도록 최적화되었으며, 경량화 및 미세조정을 통해 실시간성을 보장합니다(>15 FPS). 다만, 여러 카메라의 입력을 처리하는 경우 처리속도는 약 4 FPS까지 느려질 수 있지만, 화면에서 사람의 이동 속도를 고려할 때에는 만족스러운 위치정보를 제공할 수 있습니다.

Deep Learning을 사용한 ORBRO Depth Map

Depth Estimation Finetuning 기술

 자연광과 인공조명에서 찍힌 이미지는 서로 다른 특성을 가지며, 이는 스테레오 카메라의 한 렌즈에만 조명이 닿은 경우에도 나타날 수 있습니다. 이 경우, 좌/우 이미지 센서의 노출값 차이로 인해 좌/우 이미지의 특성이 일관되지 않게 됩니다.

조명의 직접적인 조사로 인해 나타난 좌/우 스테레오 이미지의 특성 차이

이러한 외부 환경 요인 뿐만 아니라, 스테레오 카메라 제조 과정에서 발생할 수 있는 내부 요인도 고려해야 합니다. 예를 들어, 이미지 센서를 기판에 실장할 때 발생할 수 있는 상/하 정렬 오차나 회전 오차, 렌즈와 이미지 센서 사이의 거리 변화에 따른 배율 차이 등이 해당됩니다.

(a)

(b)

(c)

(d)

광각렌즈에 의한 왜곡 양상 및 카메라 A, B 간 개체 편차 초록색: 2.7m, 보라색: 6.3m, 빨간색: 8.8m)

이러한 문제를 해결하기 위해, 왜곡 양상을 정확히 모델링하여 실제 Depth와 일치하도록 보정하는 과정이 Depth 추론 기술의 중요한 부분입니다. 이 보정 과정은 카메라 렌즈 생산 과정에서 발생하는 편차나 조립 공정에서 발생하는 편차 등의 카메라의 개체적 불확실성을 고려해야 합니다. 왜곡 보정 모델을 적용하지 않으면, 광각 스테레오 카메라에서 추론된 Depth 값에서 일반적으로 30% 이상의 편차를 관찰할 수 있습니다. 그러나 왜곡 보정 모델을 적용하면 이러한 오차를 제거할 수 있을 뿐 아니라, Depth 추론의 평균 오차율을 약 50% 감소시키는 효과를 얻을 수 있습니다. 따라서, 저희는 모든 스테레오 카메라가 출고되기 전에 우리가 자체 개발한 고도화된 왜곡 보정 모델을 활용하여 보정을 진행합니다. 이를 통해 우수한 Depth 추론 기술을 제공하며, 고객에게 최상의 성능과 신뢰성을 제공합니다.

Stereo Vision의 주요장점