Stereo Vision là gì?

Stereo Vision là công nghệ thị giác máy tính sử dụng hai camera để chụp ảnh và từ đó ước tính thông tin chiều sâu trong không gian 3D. Để làm được điều này, hai camera sẽ chụp cùng một đối tượng từ các vị trí khác nhau, và cặp ảnh thu được sẽ được sử dụng để tính toán thông tin chiều sâu. Cụ thể, hệ thống tính toán sự chênh lệch (disparity) giữa hai hình ảnh để ước tính độ sâu. Công nghệ này tương tự như nguyên lý mắt người ước tính thông tin chiều sâu bằng hai mắt. Nó cho phép nắm bắt vị trí và khoảng cách của đối tượng trong môi trường 3D, được ứng dụng trong nhiều lĩnh vực như robot, xe tự hành, trò chơi điện tử và xử lý hình ảnh. So với các công nghệ Thị giác máy tính truyền thống, nó mang lại kết quả chính xác và thực tế hơn, đóng vai trò quan trọng trong nhiều lĩnh vực ứng dụng khác nhau.

Đặc điểm nổi bật của RTLS sử dụng Stereo Vision

RTLS (Real-Time Location System) sử dụng Stereo Vision là hệ thống phân tích thông tin thị giác thu thập được từ hai camera để theo dõi và giám sát vị trí của vật thể hoặc con người trong thời gian thực. Stereo Vision cho phép suy luận vị trí cực kỳ chính xác, đảm bảo độ tin cậy và chính xác cao. Ngoài ra, vì có thể cập nhật thông tin vị trí trong thời gian thực, nó cung cấp dữ liệu vị trí quan trọng cho các ngành logistics, sản xuất và xây dựng. Bên cạnh đó, RTLS dựa trên Stereo Vision không sử dụng thẻ (Tag), vì vậy không tốn chi phí mua sắm và bảo trì các thiết bị phát tín hiệu hoặc thẻ bổ sung cho đối tượng. Điều này giúp cắt giảm chi phí thiết lập và bảo trì hệ thống, mang lại hiệu quả về mặt kinh tế. Đồng thời, do độ chính xác và tin cậy cao trong việc theo dõi vị trí, công nghệ này vượt trội về cả hiệu quả chi phí lẫn hiệu suất hệ thống. Vì vậy, RTLS dựa trên Stereo Vision là một công nghệ cực kỳ hữu ích, giúp đạt được cả mục tiêu giảm chi phí và nâng cao hiệu suất.

Định vị bằng Stereo Vision hoạt động như thế nào?

Công nghệ cốt lõi của RTLS sử dụng Stereo Vision từ ORBRO

Original Image Streaming

Để tăng độ chính xác của việc theo dõi vị trí trong RTLS, công nghệ suy luận Depth Map cấp độ cao là điều kiện bắt buộc. Con người có thể nhận biết khoảng cách nhanh chóng và chính xác chỉ bằng những đường nét phác thảo thông qua kinh nghiệm và trực giác, nhưng công nghệ Depth Map tập trung vào các chi tiết của hình ảnh và việc suy luận tỉ mỉ này liên quan trực tiếp đến việc theo dõi vị trí. Do đó, chúng tôi không sử dụng phương pháp phát trực tuyến video nén có tổn hao thường dùng trong CCTV thông thường mà sử dụng hình ảnh không tổn hao để giảm thiểu mất mát các tính năng cấp thấp (Low Level Feature). Bằng cách này, RTLS sử dụng Stereo Vision giảm thiểu tối đa việc mất thông tin vị trí.

Sử dụng hình ảnh gốc không nén (lossless) giúp bề mặt vật thể được thể hiện liên tục hơn trong Bản đồ chiều sâu (Depth Map).

Cơ sở suy luận

Gốc

Mã hóa

Advanced Depth Estimation

Việc sử dụng hình ảnh từ camera stereo để suy luận chiều sâu đang nhận được sự quan tâm lớn trong lĩnh vực nghiên cứu thị giác máy tính. Đặc biệt, trong 10 năm qua, việc áp dụng các phương pháp deep learning đã cho kết quả vượt trội hơn hẳn so với các thuật toán cổ điển trước đây. Tuy nhiên, lý do nhiều lĩnh vực vẫn sử dụng thuật toán cổ điển là vì chúng đảm bảo độ chính xác vừa đủ và tính thời gian thực cao. Điều này thường có nghĩa là khả năng xử lý ở tốc độ khung hình từ 15 FPS trở lên.

Depth Map của bên thứ ba sử dụng Thị giác máy tính

Kết quả suy luận chiều sâu sử dụng các thuật toán thị giác máy tính cổ điển thường gặp vấn đề biến dạng ở các chi tiết nhỏ và mép ngoài của vật thể. Ví dụ, phần trên của bàn tay đang cầm chuột hoặc đầu của một người bị che khuất bởi vách ngăn thường không được suy luận đúng. Tuy nhiên, mô hình dựa trên deep learning mà chúng tôi phát triển đã khắc phục được những vấn đề này. Mô hình này được tối ưu hóa để sử dụng trong "RTLS sử dụng Stereo Vision", đảm bảo tính thời gian thực (>15 FPS) thông qua việc làm nhẹ và tinh chỉnh. Mặc dù tốc độ xử lý có thể chậm lại khoảng 4 FPS khi xử lý đầu vào từ nhiều camera, nhưng nó vẫn cung cấp thông tin vị trí thỏa đáng khi xem xét tốc độ di chuyển của con người trên màn hình.

ORBRO Depth Map sử dụng Deep Learning

Công nghệ Depth Estimation Finetuning

Hình ảnh được chụp dưới ánh sáng tự nhiên và ánh sáng nhân tạo có các đặc điểm khác nhau, và điều này có thể xảy ra ngay cả khi ánh sáng chỉ chiếu vào một ống kính của camera stereo. Trong trường hợp này, do sự khác biệt về giá trị phơi sáng của cảm biến hình ảnh trái/phải, các đặc điểm của hình ảnh trái/phải sẽ không nhất quán.

Sự khác biệt về đặc điểm của hình ảnh stereo trái/phải do ánh sáng chiếu trực tiếp

Ngoài các yếu tố môi trường bên ngoài, các yếu tố nội tại có thể phát sinh trong quá trình sản xuất camera stereo cũng cần được xem xét. Ví dụ, lỗi căn chỉnh trên/dưới hoặc lỗi xoay có thể xảy ra khi gắn cảm biến hình ảnh lên bảng mạch, hoặc sự khác biệt về độ phóng đại do thay đổi khoảng cách giữa thấu kính và cảm biến hình ảnh.

(a)

(b)

(c)

(d)

Dạng biến dạng do thấu kính góc rộng và sai lệch cá thể giữa camera A và B (Màu xanh lá: 2.7m, Màu tím: 6.3m, Màu đỏ: 8.8m)

Để giải quyết những vấn đề này, quá trình mô hình hóa chính xác các dạng biến dạng và hiệu chỉnh để khớp với chiều sâu thực tế là một phần quan trọng của công nghệ suy luận chiều sâu. Quá trình hiệu chỉnh này phải tính đến những bất định cá thể của camera, chẳng hạn như sai lệch phát sinh trong quá trình sản xuất thấu kính hoặc quá trình lắp ráp. Nếu không áp dụng mô hình hiệu chỉnh biến dạng, thông thường có thể quan sát thấy sai lệch hơn 30% trong các giá trị chiều sâu được suy luận từ camera stereo góc rộng. Tuy nhiên, khi áp dụng mô hình hiệu chỉnh, không chỉ loại bỏ được các sai số này mà còn đạt được hiệu quả giảm tỷ lệ lỗi trung bình của suy luận chiều sâu khoảng 50%. Do đó, tất cả các camera stereo của chúng tôi đều được hiệu chỉnh bằng mô hình hiệu chỉnh biến dạng tiên tiến do chính chúng tôi phát triển trước khi xuất xưởng. Qua đó, chúng tôi cung cấp công nghệ suy luận chiều sâu ưu việt, mang lại hiệu suất và độ tin cậy tốt nhất cho khách hàng.

Ưu điểm chính của Stereo Vision