ステレオビジョンとは何ですか？

ステレオビジョンは、2つのカメラを使用して画像を撮影し、これを利用して3D空間の奥行き情報を推定するコンピュータビジョン技術です。このために2つのカメラは同じオブジェクトを異なる位置から撮影し、獲得した画像ペアを利用して奥行き情報を計算します。その際、2つの画像間の視差（disparity）を計算し、これを利用して奥行きを推定します。 この技術は、人間の両目を利用して奥行き情報を推定する原理に似ています。これにより、3D環境でオブジェクトの位置と距離を把握することができ、ロボット工学、自動運転車、ビデオゲーム、映像処理など、さまざまな分野で活用されています。これは従来のコンピュータビジョン技術に比べて、より正確で実用的な結果を提供できるため、多様な応用分野で重要な役割を果たしています。

ステレオビジョンを利用したRTLSの特長

ステレオビジョンを利用したRTLS（Real-Time Location System）は、2つのカメラで収集した視覚情報を分析し、物体や人の位置情報をリアルタイムで追跡・監視するシステムです。 このステレオビジョンは非常に正確な位置推論が可能であり、高い精度と信頼性を保証します。また、リアルタイムで位置情報を更新できるため、物流、製造、建設などで重要なリアルタイム位置情報を提供できます。 また、ステレオビジョンベースのRTLSはタグを使用しないため、対象に対する追加のタグや信号発生装置を購入し、メンテナンスするコストが不要です。これはシステム構築コストを削減し、システムメンテナンス費用を抑えることで、コスト面で効率的です。また、対象の位置追跡に対する正確性と信頼性が高いため、コスト効率とともにシステム性能の面でも優れています。したがって、ステレオビジョンベースのRTLSは、コスト削減と性能向上を同時に実現できる非常に有用な技術です。

ステレオビジョンを利用したポジショニングはどのように動作しますか？

ORBROのステレオビジョンを利用したRTLSの核となる技術

Original Image Streaming

RTLSにおいて位置追跡の精度を高めるためには、高水準のデプスマップ推論技術が不可欠です。人間は経験と直感により、大まかな輪郭だけでも距離を素早く正確に認識できますが、デプスマップ技術は画像のディテールに集中し、精密な推論が位置追跡に直接つながります。そのため、当社は一般的なCCTVで使用される損失圧縮映像ストリーミング方法を使用せず、無損失映像を活用してLow Level Featureの損失を最小限に抑えています。このようにして、ステレオビジョンを利用したRTLSは位置情報の損失を最小化します。

無損失のオリジナル映像を活用したデプスマップにより、物体の表面がより連続的に表現されます。

推論背景

オリジナル

エンコーディング

Advanced Depth Estimation

奥行き推論のためにステレオカメラ画像を活用することは、コンピュータビジョンの研究分野で大きな関心を集めています。特に、最近10年間のディープラーニング手法の適用により、従来の古典的なアルゴリズムよりも優れた結果が示されてきました。しかし、依然として多くの分野で古典的なアルゴリズムが使用されている理由は、適切な精度と高いリアルタイム性を保証するためです。これは一般的に15 FPS以上のフレームレートで処理が可能であることを意味します。

コンピュータビジョンを使用した他社デプスマップ

古典的なコンピュータビジョンアルゴリズムを活用した奥行き推論の結果は、細部や物体の外郭で歪みが発生するという問題がありました。例えば、マウスを握った手の上部や、パーテーションに隠れた人の頭のような部分は推論されませんでした。しかし、当社が開発したディープラーニングベースのモデルは、これらの問題点を克服しました。このモデルは「ステレオビジョンを利用したRTLS」で使用できるように最適化されており、軽量化と微調整を通じてリアルタイム性を保証します（>15 FPS）。ただし、複数のカメラ入力を処理する場合、処理速度は約4 FPSまで低下することがありますが、画面上での人の移動速度を考慮すると、満足のいく位置情報を提供できます。

ディープラーニングを使用したORBROデプスマップ

Depth Estimation Finetuning 技術

自然光と人工照明下で撮影された画像は異なる特性を持ち、これはステレオカメラの片方のレンズにのみ照明が当たった場合にも現れることがあります。この場合、左右のイメージセンサーの露出値の差により、左右の画像の特性が一貫しなくなります。

照明の直接照射によって生じた左右ステレオ画像の特性の差

このような外部環境要因だけでなく、ステレオカメラの製造過程で発生しうる内部要因も考慮する必要があります。例えば、イメージセンサーを基板に実装する際に発生しうる上下の整列誤差や回転誤差、レンズとイメージセンサー間の距離の変化による倍率の差などがこれに該当します。

(a)

(b)

(c)

(d)

広角レンズによる歪みの様相およびカメラA、B間の個体偏差 （緑：2.7m、紫：6.3m、赤：8.8m）

これらの問題を解決するために、歪みの様相を正確にモデリングし、実際の奥行きと一致するように補正するプロセスが、奥行き推論技術の重要な部分です。この補正プロセスは、カメラレンズの生産過程で発生する偏差や、組み立て工程で発生する偏差などのカメラ個体の不確実性を考慮する必要があります。歪み補正モデルを適用しないと、広角ステレオカメラで推論された奥行き値において、一般的に30％以上の偏差が観察されます。しかし、歪み補正モデルを適用すれば、これらの誤差を除去できるだけでなく、奥行き推論の平均誤差率を約50％減少させる効果が得られます。したがって、当社はすべてのステレオカメラが出荷される前に、独自に開発した高度な歪み補正モデルを活用して補正を行います。これにより、優れた奥行き推論技術を提供し、お客様に最高の性能と信頼性を提供します。

ステレオビジョンの主な利点