CSI 시리즈와 같은 과학수사대 드라마에서 종종 폐쇄회로TV(CCTV)로 찍은 희미하거나 작은 영상을 확대해 범인 얼굴이나 자동차 번호판 등을 식별하는 장면이 나온다. 이처럼 저해상도의 영상을 세세한 부분까지 생생하게 살리며 고해상도로 확대하는 기술을 ‘초해상도(super-resolution)’라고 부르며 의료영상, 보안이나 관제처럼 실제로 응용되는 분야가 넓다. 특히 해상도에 따라 가격이 기하급수적으로 증가하는 열화상 분야나 작은 유튜브 동영상을 TV 등에서 볼 때 매우 유용하다.
드라마에서는 초해상도 기술을 적용하면 원하는 결과를 척척 얻기 때문에 쉬워 보이지만 실상은 그렇게 간단한 문제가 아니다. 다수의 고해상도 영상이 동일한 저해상도 영상으로 변환될 수 있기 때문에 단지 저해상도 영상만 주어진 상태에서 원래의 고해상도 영상을 얻어낸다는 것은 매우 도전적인 문제이며 수학적으로는 1개의 유일한 정답이 존재하지 않는 ‘불량조건 문제(ill-posed problem)’가 된다.
영상을 확대할 때 사용하는 가장 기본적인 방법은 영상이 부드럽게 변한다는 가정하에 확대할 화소의 값을 가장 가까이 있는 화소들의 평균값으로 추정하는 방법이다. 이 방법은 구현이 간단하고 쉽지만 영상의 경계면이나 세세한 패턴들이 많은 경우에는 가정이 맞지 않으며 일반적으로 영상을 흐릿하게 만들기 때문에 생생한 영상과는 거리가 멀다. 좀 더 수학적으로 복잡한 방식이 있기는 하지만 그 결과 역시 만족스럽지 못하기 때문에 초해상도는 어려운 문제로 간주돼왔다.
하지만 딥러닝 기술이 발전함에 따라 2~3년 전부터 뛰어난 초해상도 기법들이 속속 발표됐다. 딥러닝 기반 방식들은 기존의 컴퓨터 비전 방식들과 달리 학습을 통해 화소값들을 추정한다. 고해상도 영상으로부터 저해상도 영상을 만들고 그 저해상도 영상을 이용해 원래의 고해상도 영상에 근접한 영상이 나오도록 심층 신경망을 학습시킨다. 사람도 비슷한 패턴을 많이 보면 저해상도 영상으로부터 고해상도의 영상을 추정할 수 있는 것처럼 인공지능(AI)을 통해 이런 작업이 가능해진다. 단순히 주변에 있는 몇 개의 픽셀만 고려하던 방식이 아니라 맥락 이해에 기반하기 때문에 훨씬 자연스럽고 생생한 결과를 얻을 수 있다.
이처럼 맥락 이해에 기반한 방법은 영상을 확대하는 초해상도 분야뿐 아니라 전체 영상에서 일부 영상 데이터가 통으로 사라진 경우에 빈 영역을 그럴듯하게 채우는 ‘부분 채우기’ 분야에도 적용 가능하며, 그림에서 글씨나 특정 패턴을 깔끔하게 지우거나 오래된 사진에서 접히거나 긁혀 사라진 부분들을 깔끔하게 복원하는 ‘인페이팅(in-painting)’ 분야 등에도 사용할 수 있다.
물론 딥러닝 방식에 기반한 초해상도 방식도 실제 적용 시 만족스럽지 못한 결과를 내는 경우도 왕왕 있지만 연구 추세를 고려하면 앞으로가 기대된다.
