딥러닝 기반 영상복원...영화처럼 CCTV 화면 크고 선명하게 본다

첩보영화 ‘600만불의 사나이’ ‘마이너리티 리포트’ ‘미션 임파서블’을 보면 공통으로 나오는 장면이 있다. 뿌옇던 폐쇄회로 TV(CCTV) 화면을 유심히 보던 주인공이 무언가를 발견하고 화면을 손으로 확대하거나 버튼을 누른다. 그 순간 작은 사이즈의 물체가 커지며 세밀하면서도 선명하게 나타난다.

예전에는 영화에서나 볼 수 있던 기술이었지만 이제는 인공지능(AI) 딥러닝 기법을 활용해 지능형 CCTV를 통해 과학수사나 보안감시·교통단속이 가능해진 것은 물론 의료진단, 군사용 경계 분석, 우주에서 본 지구영상 판독 등 다양한 분야에서 질 높은 영상정보를 얻게 됐다.

과학기술정보통신부가 주최하고 한국연구재단과 서울경제신문이 공동 주관하는 ‘이달의 과학기술인상’ 2월 수상자로 선정된 이경무(56) 서울대 전기정보공학부 교수가 개발한 ‘딥러닝 기반 초해상도 알고리즘’을 적용하면 저화질 영상을 최대 8배까지 확대한 후 원본 영상에 가깝게 복원할 수 있다. 그는 “영상화면을 확대할수록 화질이 떨어지는 게 아니라 오히려 기존 기술에 비해 획기적으로 초해상도 영상을 복원하는 것이 강점”이라며 활짝 웃었다.

그 비결은 세계 최초로 20개 층의 매우 깊은 컨볼루션신경망(Convolutional Neural Network·CNN)과 잔류연결(Residual Connection) 개념을 사용한 고심층 초해상도네트워크(VDSR) 시스템에 있다. 컨볼루션은 ‘합성곱’을 뜻하는데 신경망의 컨볼루션 층이 깊을수록 입력 영상의 넓은 맥락정보를 활용할 수 있어 의미 있고 유용한 특징을 추출할 수 있다. 입력값은 그대로 출력하고 출력값과 입력값의 차이만을 학습하는 잔류연결이라는 신개념을 통해 빠른 딥러닝 속도와 안정된 성능을 끌어냈다. 확장심층 초해상도네트워크(EDSR)와 다중심층 초해상도네트워크(MDSR)를 통해 성능과 수행속도를 대폭 높였다.





이 교수는 “기존 기술과 달리 빅데이터로 다양한 실제 영상의 특징을 네트워크에 잘 학습시킬 수 있는 방법을 개발했다”며 “뉴럴네트워크 층을 60층까지 깊게 만들어도 학습이 가능한 알고리즘을 개발했다”고 특징을 설명했다.

이에 따라 저가의 카메라로 촬영한 저해상도의 사진을 소프트웨어적으로 업그레이드해 해상도를 크게 높일 수 있다. 카메라가 흔들리거나 물체가 움직여 발생하는 영상 흔들림(blurring) 문제도 해결해 깨끗한 영상을 복원할 수 있다.

영상 초해상도 기술은 영상의 질을 높여야 하는 곳이면 모두 사용할 수 있다. 우선 CCTV에서 멀리 떨어진 사람이나 자동차를 구별하기 힘들 때도 영상을 확대해 세밀하게 볼 수 있다. 야간에는 사람 얼굴이나 차량 번호판을 확인하기 어려운데 크게 확대하면 가능하다. 차량 블랙박스 영상의 화질도 잘 볼 수 있다. 범죄 과학수사에도 요긴해 국립과학수사연구원이나 검찰·경찰 등에서 활용할 수 있다. 이 교수는 “도로나 건물 내부 등에 CCTV가 많지만 10~20m만 떨어져도 작게 나오고 해상도도 높지 않아 확인하기 어렵다”며 “그렇다고 비싼 고해상도 카메라로 바꾸는 것도 쉽지 않은데 딥러닝 기반 알고리즘 소프트웨어를 활용하면 세밀하게 확대할 수 있다”고 설명했다. 그는 이어 “영상 용량이 커 저장할 때 크기를 줄여 압축하는데 이미 줄여놓으면 크게 볼 수 없지만 소프트웨어적으로 원본에 가깝게 복원할 수 있다”고 덧붙였다.





자기공명영상(MRI)과 컴퓨터단층촬영(CT) 등 의료용 영상에도 적용 가능해 정밀 판별을 할 수 있다. 초고화질 TV(UHD TV)의 고해상도 영상 변환이나 스마트폰 화질 개선, 반도체와 부품 결함 검사 등에도 유용하다. 위성영상에 작게 보이는 자동차도 확대할 수 있다. 이 교수는 “위성사진을 고해상도로 보려면 비싼 장비를 써야 하고 UHD TV 역시 고가의 UHD 카메라를 써야 하지만 저해상도 영상을 소프트웨어적으로 컴퓨터가 고해상도 영상으로 변환시켜 비용을 크게 줄일 수 있다”고 말했다.

4차 산업혁명의 핵심 분야로 꼽히는 드론·지능형로봇·자율주행차의 영상 분석에도 필수적인 기술로 부상할 것으로 전망된다. 물론 CCTV나 자율주행차 등 각종 카메라에 이 기술을 내장하면 소프트웨어로 구동할 수 있지만 각자 하드웨어나 칩으로 만들 수도 있다. 이 교수는 마지막으로 “알고리즘 소프트웨어를 산업적으로 각 분야에 적용하기 위해 기술이전도 활발하게 할 계획”이라며 활짝 웃었다. /고광본 선임기자 kbgo@sedaily.com