비가시 영역 영상복원기술 개발

국방·소방·보안 등 수요 많아

개발 난이도 최상 도전적 연구

슈퍼맨처럼 영웅(히어로)이 주인공인 영화나 애니메이션을 보면 벽뒤에 있는 악당들 상황을 투시안을 통해 확인한 뒤 정확하게 공격하는 장면이 나온다. 이 같은 투시기술이 존재한다면 무척이나 다양하게 쓰일 것으로 예상된다.

우선 영화에 나오는 것처럼 군사·치안·보안 등에서는 적군이나 위험물질 인질 등의 존재나 위치를 파악하는 데 사용할 수 있다. 소방분야에서는 건물에 갇힌 사람의 위치를 파악하거나 탈출경로 등을 확인할 수 있다. 최근 기술개발이 활발한 자율주행자동차 분야에서는 가려서 보이지 않는 영역의 사람이나 차량을 인식해 충돌을 방지하는 시스템을 구축할 수 있다.
허재필(왼쪽) 성균관대 소프웨어학과 교수가 연구원들과 함께 비가시 영역 영상 복원에 사용하는 장비를 점검하고 있다. 사진 성균관대 제공


이 같은 필요성 때문에 세계 각국 정부와 학계는 사람 눈으로 보이지 않는 영역의 사물이나 사람을 인식하는 기술에 대한 관심이 뜨겁다. 연구에 대한 투자도 이뤄지고 있다. 하지만 기술적으로 구현하기 힘들기 때문에 아직 초기단계다.

현재 MIT 스탠포드대 프린스턴대 등 미국을 중심으로 몇몇 집단이 연구를 진행하고 있다. 이들 연구도 제한적인 실험실 환경에서 단일 센서를 기반으로 가능성을 검증하는 단계다.

이런 가운데 국내 대학에서 레이저 전파 등 이종 기술을 융합해 사람 눈으로 볼 수 없는 영역을 영상으로 구현하는 기술개발에 도전하고 있어 눈길을 끌고 있다.

성균관대 소프트웨어(SW)학과 허재필 교수 연구팀이 그들이다.

허 교수 연구팀은 정보통신기획평가원이 공모한 '가상·증강현실(VR·AR) 콘텐츠 비가시 영역 영상복원 기술개발'과제를 지난해부터 수행 중이다.

연구팀은 MIT 등에서 진행하고 있는 단일센서 기반이 아닌 이종복합센서 기반 기술을 개발 중이다. 보이지 않는 사물의 위치와 상태를 카메라와 전파를 이용해 영상으로 복원하겠다는 계획이다.

연구팀은 이를 위해 약간의 틈이 있는 벽을 실험실에 설치했다. 틈이 있는 쪽 벽면을 통해 RGB레이저 빔을 쏜 뒤 반사돼 돌아오는 빛을 플렌옵틱 카메라를 이용해 촬영하고 있다. 플렌옵틱 카메라는 일반 카메라처럼 빛의 양만 기록하는 것이 아니라 빛의 방향과 거리까지 기록하는 카메라다. 무수히 많은 촬영을 진행한 뒤 실제 영상과 비교하는 실험을 진행 중이다. 첫해 연구에서 카메라를 이용한 실험은 물체에 따라 다르지만 평균 86.554%의 정확도로 사물 존재여부를 맞췄다.

RGB레이저 빔과 카메라를 이용해 확보하는 데 한계가 있는 위치정보는 전파를 이용해 보완하고 있다. 전파를 발생시켜 돌아오는 신호를 센서를 통해 수집해 위치정보를 파악하는 방식이다.

그 후 카메라로 촬영한 데이터와 전파를 이용해 확보한 데이터를 융합해 AI 딥러닝을 통해 영상을 만들어내고 있다.

기자가 연구팀 실험실을 방문해 확인한 결과, 연구팀이 측정과 AI 딥러닝을 통해 복원한 영상은 아직 형태를 정확히 알아볼 수 있는 수준은 아니었다. 하지만 위치와 크기는 실제 영상과 흡사한 수준이었다.

허재필 교수는 "아직 초기단계라 영상을 복원하는 수준은 부족하지만 가능성은 충분히 확인했다"며 "실험 데이터 축적과 분석 알고리즘 고도화를 통해 활용 가능한 수준의 기술개발을 위해 노력할 것"이라고 말했다.

한편 연구팀은 올해부터 실험에 음장 센서를 추가했다. 컴퓨터 등에서 쓰는 스피커를 이용해 음파를 발생시킨 뒤 사물에 부딪혀 돌아오는 음압과 위상정보를 이용해 복원 영상 정밀도를 향상시키기 위한 방안이다.

고성수 기자 ssgo@naeil.com

고성수 기자 기사 더보기