"아이폰 프로보다 낫네"…전문가 수준 '흑백사진 보정법' 나왔다

연구팀이 개발한 알고리즘과 기존 사진 보정 어플리케이션의 필터들과의 비교 사진. 컬러 이미지(a)가 주어졌을 때 각각 아이폰(b), 갤럭시(c), 인스타그램(d), 틱톡(e), 포토샵(f), 사진가의 카메라(g)에서 지원하고 있는 각 흑백 필터를 적용한 결과와 본 연구의 알고리즘을 통해 보정된 결과(h)./사진=GIST

국내 연구팀이 AI(인공지능)를 활용해 컬러 사진을 전문 흑백사진 작가가 찍은 것처럼 흑백으로 보정하는 알고리즘을 개발했다. 이 알고리즘을 적용한 흑백 사진은 사진 평가에서 아이폰 14프로 촬영본을 제치고 가장 높은 점수를 받았다.

GIST(지스트)는 전해곤 AI대학원 교수 연구팀이 흑백 사진작가들의 포트폴리오를 학습해 사진을 흑백으로 보정하는 AI 알고리즘을 개발했다고 15일 밝혔다. 연구 성과는 6월 개최되는 컴퓨터 비전 분야 학회 'CVPR'에서 발표할 예정이다.


컬러 사진과 달리 색이 없는 흑백 사진은 피사체의 질감, 선, 패턴, 대비 등에 초점을 맞춰 표현한다. 심미적 효과를 살린 흑백 사진을 얻으려면 일반 카메라보다 훨씬 값비싼 흑백 사진 전용 카메라를 구입하거나 전문가에게 보정을 의뢰해야했다. 작가 수준의 흑백 사진을 얻으려면 일반적인 컬러 사진보다 더 많은 시간과 비용이 드는 것으로 알려졌다.

디지털 이미지 기술을 개발하는 컴퓨터 비전(computer vision) 연구에서도 컬러 사진이나 영상을 흑백으로 변환하는 과정은 그간 심미적 완성도를 높이기 위한 것보다는 다른 과업을 수행하기 위한 '중간 과정'의 형태로만 다뤄졌다. 변환 과정에서 사진에 담긴 정보를 잃지 않는 것에 초점을 맞췄다.

이 점에 착안해 연구팀은 컬러 사진에서 전문 사진사의 미학적 요소를 매우 정밀하게 재현하는 흑백 사진 생성 알고리즘을 개발했다. 먼저 학습 데이터를 구축하기 위해 국내 전문 사진작가 3명을 섭외해 그들 고유의 스타일로 컬러 사진을 흑백으로 변환하는 작업을 의뢰했다. 이를 통해 작가 특유의 개성이 담긴 총 1만 5000장의 흑백 사진 데이터세트를 구축했다. 모은 사진 데이터세트를 각각 어느 작가가 보정했는지 분류하고, 작가별 사진도 대상 피사체의 종류에 따라 세부적으로 나눴다.

이어 '딥매트릭러닝(Deep Metric Learning)' 기반의 인공신경망을 적용해 흑백 사진을 생성했다. 이 알고리즘은 작가의 포트폴리오로부터 작가 고유의 스타일 특징을 추출하는 '제1신경망'과, 실제 전문가의 보정 방법과 매우 근접한 수준으로 미학적 요소를 재현하는 '제2신경망'으로 구성됐다.


제1신경망이 작가 고유의 스타일 차이를 분류하면, 신경망 속 내부 군집이 각기 다른 피사체별로 보정 스타일을 반영하도록 설계했다. 이를 제2신경망으로 전달하면 스타일에 맞는 흑백 영상이 추출됐다. 사용자가 개인적으로 선호하는 사진 스타일에 맞춰 제1신경망의 변수값을 조정, 보정 방법을 미세하게 조정할 수도 있다.

개발한 알고리즘을 통해 얻은 흑백 사진과 갤럭시, 아이폰, 인스타그램 등이 제공하는 흑백 필터를 씌운 사진을 20~50대 남녀 80명에게 보여준 결과, 알고리즘으로 보정한 흑백 사진이 가장 높은 점수를 얻었다. 아이폰 14프로의 필터를 씌운 사진은 4.12점을 받았지만 연구팀의 사진은 4.58점을 받았다.

또 영화 '기생충'과 '매드맥스'의 컬러판을 흑백으로 재생성했다. 이를 두 영화의 원본 흑백판과 비교해 어떤 영상을 더 선호하는지 물었다. 마찬가지로 연구팀이 생성한 결과물에 대한 선호도가 더 높았다. '매우 그렇다(5점)'에서 '매우 아니다(-5점)' 사이에서 점수를 부여하게 한 결과, 연구팀의 결과물은 평균 2.36점을 받았다.

연구를 이끈 전 교수는 "사진에 대한 배경지식과 고가의 카메라를 사용해야 얻을 수 있던 미학적인 흑백 사진을, 알고리즘을 활용하면 누구나 쉽게 얻을 수 있게 됐다"며 연구의 의의를 밝혔다.

이번 연구는 과학기술정보통신부의 'AI혁신 허브' 과제 및 '지역의 미래를 여는 과학기술 프로젝트'사업과 과학기술정보통신부(연구개발특구)와 광주광역시의 지원으로 GIST가 주관하는 '인공지능 기반 메타버스 구현을 위한 융·복합 문화 가상 스튜디오' 과제의 지원을 받았다.