삼성전자가 2억 화소 카메라를 탑재한 갤럭시 S23 울트라를 내놨다. 프리미엄 스마트폰 성능의 기준을 제시하겠다는 야심찬 포부를 내놓은 만큼 일반 이용자들은 이 같은 고화소 카메라로 얻게 되는 혜택이 무엇인지 궁금증이 커졌다. 삼성전자에서 19년 간 카메라 개발에 몸 담은 ‘카메라 장인’으로부터 직접 이야기를 들어봤다.

지난 2일(현지 시간) 미국 샌프란시스코 니코 호텔에서 조성대 삼성전자 비주얼 솔루션 팀장(부사장)은 "2억 화소 이미지 센서로 끝나는 게 아니라 그 밑바탕에 있는 인공지능(AI) 기반의 딥러닝 솔루션 개발에 중점을 뒀다"며 "이번 카메라 작품은 하드웨어와 소프트웨어를 고도화하는 데 신경을 많이 썼다"고 강조했다. 특히 그는 "화소 갯수를 늘리는 것보다 이 카메라 센서를 통해 어떤 가치를 제공할 수 있을 지 고민했다"고 덧붙였다.

“낮이든 밤이든 결과물에 차이 없게”

가장 크게 신경을 쓴 부분은 조도(단위 면적당 빛의 양)별로 제공할 수 있는 최적의 화질 제공이다. 이 과정에서 지난해 내놓은 '나이토그라피' 기술을 고도화했다. '어댑티브 픽셀' 센서를 이용해 실내에서 빛의 양이 줄면 4개 화소를 하나의 픽셀로 묶고 더 어두운 상황에서는 16개 화소를 하나의 픽셀로 묶어서 조도에 따라 선명한 화질의 결과물을 낼 수 있도록 했다. 때에 따라 5000만 화소, 1250만 화소로 동작하는 것이다. 이에 따라 픽셀이 결합하면서 더 선명한 화질을 낼 수 있다. 이 역시 딥러닝 기반 AI 솔루션을 기반으로 한다.

또 야간 촬영을 할 때도 퀄컴 스냅드래곤 8세대 2의 이미지 시그널 프로세서(ISP)를 통해 여러 프레임을 놓고 각 프레임 별로 최상의 결과를 뽑아내 노이즈를 최소화할 수 있게 됐다. 물체 인식 엔진을 활용해 피사체 간의 거리를 분석하고 사람의 눈썹을 비롯해 이목구비를 각각 인식해 별도로 화질 개선을 진행한다. 머리와 눈썹은 더욱 선명하게 하는 방식으로 야간 환경에도 선명한 인물 사진을 찍을 수 있다.

뛰면서 영상 찍어도 빛번짐, 흐림 없어

영상 촬영도 한 단계 진화했다. 영상을 찍는 환경이 다양한 만큼 그에 따라 움직임을 보정하기 위해 사람의 움직임을 네 가지로 분류했다. 멈춰서 찍는 상황을 비롯해 걸음도 느린 걸음과 빠른 걸음으로 나누고 뛰면서 찍는 영상까지 적응형 VDIS를 적용했다. 원래 걸으면서 영상을 찍으면 밝게 빛나는 쪽에 빛 번짐이 있거나 일부 피사체가 흐리게 나타날 수 있는데 이런 부분 없이 안정적인 영상 촬영이 가능하다.

이번에 나홍진 감독이 갤럭시 S23 울트라로 영화 '신념(Faith)'을 촬영할 때는 HDR10+ 60FPS 모드만 이용했다. 조 부사장은 "'나 감독이 전문 장비를 촬영하는 것과 차이가 없다'고 언급했다"며 전문 영상 촬영을 진행하면 만족도가 높을 것이라고 언급했다. 영화 신념에서 촬영을 맡았던 정정훈 촬영감독은 “스마트폰을 이용해 촬영을 할 때는 기기에 한계가 있어 조명을 더 밝게 한다”며 "그렇게 찍다 보면 분위기가 많이 무너지기 마련인데 일반 영화를 찍을 때처럼 조명을 줄이고, 어두운 부분을 부각하는 시도를 했는데 아주 놀랍도록 그러한 디테일이 많이 살아있었다"고 말했다.

뜻밖에 조 부사장이 가장 신경을 많이 쓴 부분은 두 가지였다.

하나는 셀피 모드다. 그는 "이제 사진을 찍을 때 거의 50% 가량을 셀피를 찍는 데 활용한다"며 "피부톤과 피부의 질감을 좀 더 부드럽게 보일 수 있도록 많이 연구했다"고 말했다.

이를 위해 가장 신경을 쓴 부분은 전면카메라 이미지 센서에 쓰인 ISP다. 각각의 이목구비를 구분해 인식하고 머리카락과 눈썹을 더 선명하게 표현하고 인물과 뒷배경의 선명도 차이를 만들어내 더욱 또렷한 사진을 찍을 수 있게 됐다.

또 그가 발견한 건 한국인의 웜톤 사랑이다. 전작의 경우 셀피 모드에 '내츄럴 모드', '브라이트 모드' 두 가지를 제공했는데 사람들이 따뜻한 색감을 원한다는 것을 설문을 통해 알게 됐다. 특히 연령대가 낮을 수록 웜톤에 대한 선호도가 높았다. 이번에 웜톤을 도입하면서 한국 시장에만 셀피 기본 설정을 웜톤으로 지정하기도 했다.

두 번째로 전문가용 하이퍼랩스 기능이다. 전문가용 사진 앱인 엑스퍼트 로우(Expert RAW) 앱에 대해 고객들의 의견을 받던 중 천체 사진 하이퍼랩스가 가능하도록 서비스를 제공해달라는 요구가 있었다. 전문가들은 보통 천체 사진을 찍을 때 적도의라는 장비를 이용해 한곳에서 계속 찍어서 합성을 통해 결과물을 얻는다. 다만 문제는 별자리가 움직인다는 점이었다. 이에 따라 합성을 할 경우 배경이 뿌옇게 흐려질 수 있다. 이에 하이퍼랩스 모드를 통해 여러 프레임을 계속 찍으면서 배경을 따로 인지하게 하고 별의 움직임도 따로 추적을 했다. 이를 각각 합성하니 배경도 별도 선명하게 나왔다는 설명이다. 그는 "국내 별자리 동호회와 함께 평창에서 하이퍼랩스로 천체 촬영을 했는데 다들 놀랐다"며 반응을 전했다.

카메라 기능을 전문가 수준으로 높이면서 새로운 유입 이용자도 생겼다. 조 부사장은 "카메라를 아주 초보자들부터 전문가까지 사용하게 하고 싶은데 해마다 전문가용 모드를 사용하는 비중이 늘어난다"며 "특히 젊은층이 카메라 설정을 자세히 조절하며 사용하고 싶어하는 만큼 갤럭시S 시리즈 선호도가 높아지고 있다"고 말했다.