AI가 CCTV를 대신 본다 — 영상 이벤트 감지 기술은 어디까지 왔을까?

공장, 물류센터, 병원, 그리고 도시 곳곳 — 우리 주변의 CCTV는 해마다 늘어나고 있습니다. 하지만 그 화면을 지켜보는 사람의 수는 그대로입니다. 관제 요원 한 명이 수십 개의 화면을 동시에 봐야 하는 현실에서, 사고의 결정적인 순간은 종종 아무도 보고 있지 않던 화면에서 일어납니다.

그래서 영상 보안과 산업 안전 업계의 오랜 숙제는 하나였습니다. "사람 대신 AI가 영상을 보게 할 수는 없을까?" 그리고 최근 1~2년 사이, 이 질문에 대한 답이 크게 달라지기 시작했습니다. 영상을 단순히 '보는' AI에서, 영상 속 상황을 '이해하는' AI로 — 비전 언어 모델(VLM, Vision Language Model)의 등장 때문입니다.

이번 글에서는 영상 이벤트 감지 기술이 어떻게 진화해 왔는지, VLM이 무엇을 바꾸고 있는지, 그리고 실제 현장에 도입할 때 무엇을 따져봐야 하는지 정리해 보겠습니다.

I. 규칙 기반 영상 분석, 무엇이 한계였을까?

지금까지의 지능형 영상분석(Video Analytics)은 대부분 '객체 탐지 모델 + 규칙'의 조합이었습니다. AI가 화면 속에서 사람, 차량, 지게차 같은 객체를 찾아내면, 미리 정해둔 규칙 — 가상의 선을 넘으면 침입, 지정 구역에 들어오면 경보 — 에 따라 이벤트를 판정하는 방식입니다.

이 방식의 장점은 분명합니다. 밀리초 단위로 동작할 만큼 빠르고, 비교적 저렴한 장비에서도 실시간 분석이 가능합니다. 하지만 치명적인 약점이 있습니다. AI가 '상황'을 이해하지 못한다는 것입니다.

규칙 기반 시스템에게 바닥에 앉아 부품을 조립하는 작업자와 쓰러진 작업자는 구분하기 어려운 대상입니다. 바람에 흔들리는 그림자가 침입 경보를 울리기도 합니다. 이런 오탐(false alarm)이 반복되면 어떤 일이 벌어질까요? 현장은 알람을 무시하기 시작합니다. 알람이 신뢰를 잃는 순간, 시스템 전체가 무용지물이 됩니다.

또 하나의 문제는 확장성입니다. "안전모 미착용"을 감지하던 시스템에 "안전 고리 미체결"을 추가하려면, 해당 장면의 데이터를 수집하고 모델을 다시 학습시켜야 합니다. 짧게는 몇 주, 길게는 몇 달이 걸리는 일입니다.

II. VLM, 영상을 '이해'하는 AI의 등장

VLM(비전 언어 모델)은 이미지·영상을 언어와 연결해 이해하는 AI입니다. 화면 속 객체를 찾는 데서 그치지 않고, "작업자가 가동 중인 설비에 기대어 있다", "지게차가 보행자 통로로 진입하고 있다"처럼 장면의 맥락을 문장으로 설명할 수 있습니다.

이 차이는 현장에서 세 가지 변화를 만듭니다.

1. 오탐이 줄어듭니다. 규칙만으로는 구분할 수 없던 상황 — 앉은 사람과 쓰러진 사람, 정상 작업과 위험 행동 — 을 맥락으로 판단합니다. 실제로 2025년 한 경계보안 분야 조사에서는 VLM 검증 계층을 더한 시스템에서 오경보가 약 30% 줄었다는 결과도 보고됐습니다.
2. 새 이벤트를 말로 정의합니다. "지게차 3m 이내에 안전모를 쓰지 않은 사람이 접근하면 알림" — 이런 문장이 곧 설정이 됩니다. 데이터 수집과 재학습 없이, 프롬프트만으로 새로운 감지 항목을 추가할 수 있습니다.
3. 감지 결과를 설명합니다. 단순히 '이벤트 발생'이 아니라, 무슨 일이 왜 위험했는지를 자연어 리포트로 남길 수 있습니다.

이런 가능성 때문에 글로벌 보안 업계는 빠르게 VLM으로 이동하고 있습니다. 해외에서는 물리보안 특화 VLM을 자체 개발한 기업이 등장했고, NVIDIA는 영상 분석 파이프라인에 추론형 VLM을 결합하는 아키텍처를 공식 레퍼런스로 제시했습니다. 국내에서도 2025년부터 VLM 기반 관제 플랫폼이 잇따라 출시되고 있습니다. 시장조사기관 모르도르 인텔리전스에 따르면 글로벌 영상분석 시장은 2025년 약 124억 달러에서 2030년 337억 달러 규모로, 연평균 22% 안팔으로 성장할 전망입니다. 주목할 점은 성장의 무게중심입니다 — 클라우드로 영상을 보내 분석하는 방식보다, 현장 엣지 장비에서 직접 처리하는 방식의 성장률이 가장 높고(연평균 26%대), 정부·공공안전 분야와 아시아·태평양이 성장을 이끄는 축으로 꾽힙니다. 영상이 밖으로 나가지 않는 현장 처리가 예외가 아니라 흐름이 되고 있다는 뜻입니다.

III. 정답은 'VLM 단독'이 아니라 하이브리드

그렇다면 기존 영상분석을 전부 VLM으로 바꾸면 될까요? 그렇지는 않습니다. VLM은 아직 무겁습니다. 영상 클립 하나를 이해하는 데 수 초가 걸리기 때문에, 수십 대 카메라의 매 프레임을 실시간으로 전수 분석하는 용도로는 적합하지 않습니다. 또한 생성형 AI 특유의 환각(hallucination) — 장면을 보고 일어나지 않은 일을 서술하는 현상 — 도 안전이 걸린 영역에서는 반드시 관리해야 할 리스크입니다.

그래서 업계가 수렴한 구조는 하이브리드입니다. 빠르고 가벼운 탐지 모델이 실시간으로 이벤트 후보를 골라내면, VLM이 그 장면만 정밀하게 검증하고 설명하는 방식입니다. 교통경찰에 비유하면, 도로 전체를 훑는 순찰차(경량 탐지 모델)와 정황을 판단하는 조사관(VLM)이 역할을 나누는 셈입니다.

구분	규칙 기반 (전통 방식)	VLM 단독	하이브리드 (업계 방향)
반응 속도	밀리초, 실시간	클립당 수 초	실시간 탐지 + 비동기 검증
신규 이벤트 추가	재학습 필요 (주~월)	자연어로 즉시	자연어로 정의
맥락 이해	불가	상황·의도 추론	VLM이 맥락 판단 담당
오탐	많음	감소, 대신 환각 리스크	상호 검증으로 보완
결과 설명·보고	불가	자연어 리포트 생성	탐지 기록 + 자연어 설명 병기

IV. 현장 도입 전 따져봐야 할 3가지

1. 영상 데이터가 어디로 가는가. 현장 영상은 민감한 데이터입니다. 클라우드 분석은 강력하지만, 보안 정책상 영상 반출이 불가능한 공장·공공시설도 많습니다. 최근에는 소형 VLM이 현장의 엣지 장비에서 직접 구동될 만큼 경량화되어, 온프레미스로 영상이 외부로 나가지 않는 구성이 현실적인 선택지가 됐습니다.

2. 오탐과 환각을 어떻게 관리하는가. VLM도 틀립니다. 좋은 시스템은 VLM에게 자유로운 서술 대신 명확한 판정을 시키고, 탐지 모델의 근거 데이터와 교차 확인하며, 불확실한 이벤트는 사람이 확인하는 경로를 남겨둡니다. 도입 검토 시 "AI가 얼마나 잘 맞히는가"만큼 "틀렸을 때 어떻게 걸러지는가"를 물어야 합니다.

3. 감지 이후가 더 중요하다. 알람 한 번으로 끝나는 시스템은 반쪽짜리입니다. 어떤 이벤트가 언제 어디서 발생했고, 당시 화면은 어땠는지 — 기록으로 남고 검색되어야 합니다. 특히 중대재해처벌법 시행 이후, 위험 상황을 감지하고 조치한 이력은 안전관리 의무 이행의 증적 자료로서의 가치가 커지고 있습니다. VLM이 만들어내는 자연어 상황 기록이 여기서 힘을 발휘합니다.

마치며

AI가 CCTV를 대신 보는 시대는 이미 시작됐습니다. 관건은 '어떤 AI가, 어디서, 어떻게 판단하고 기록하는가'입니다.

ORBRO의 AI Event Manager는 이런 방향 위에서 만들어진 제품입니다. 현장에 설치되는 온프레미스 엣지 장비가 카메라 영상을 VLM 기반으로 분석해, 이벤트 감지부터 실시간 모니터링, 분석, 로그 기록까지 하나의 흐름으로 처리합니다. 영상이 외부로 나가지 않고, 감지된 이벤트는 검색 가능한 기록으로 남습니다. 나아가 ORBRO의 RTLS(실시간 위치추적 시스템)와 결합하면, 카메라가 놓치는 사각지대를 위치 데이터로 보완하는 이중 안전망을 구성할 수 있습니다 — 영상만 다루는 솔루션이 제공하기 어려운, 위치추적 기업 ORBRO만의 접근입니다.

현장의 눈을 AI에게 맡기는 일, 어디서부터 시작해야 할지 고민된다면 ORBRO에 문의해 보세요. 현장 환경에 맞는 구성을 함께 검토해 드립니다.