[칼럼] 마술은 과학을 낳고, 과학은 마술을 낳고

박평종 중앙대 인문콘텐츠연구소 HK연구교수

마이 헤리티지(My Heritage)에서 개발한 딥 노스탤지어(Deep Nostalgia)는 ‘살아 움직이는 인물사진’을 제공하는 인공지능 알고리즘이다. 마이 헤리티지는 세계 각지에 흩어져 있는 가족이나 친인척 등을 찾아주는 이스라엘의 인터넷 플랫폼으로, 오래된 기념사진이 주요 자료로 활용되고 나아가 DNA 검사키트도 동원된다. 사용자가 여기에 사진을 업로드하면 마치 비디오 영상처럼 10-20초가량 인물에 일정한 동작을 부여해 준다. ‘살아있는 사진’이 탄생하는 셈이다.

딥 노스탤지어는 바로 이 ‘낡은’ 기념사진에 담긴 가족의 ‘죽은’ 이미지에 움직임을 부여함으로써 고인의 살아생전 모습을 회상할 수 있게 해준다. 물론 이 움직임은 비디오로 촬영한 것이 아니기에 실제 현실은 아니다. 말하자면 사진 속 인물의 동작은 허구다. 사용자들은 당초 가족사진을 대상으로 살아있는 사진을 만들었으나 이 기술은 ‘누구에게나’ 적용 가능하기에 ‘저명한’ 역사적 인물을 비롯하여 과거 인물들의 사진도 업로드 됐다. 그렇게 해서 마리 퀴리와 찰스 다윈, 에이브러햄 링컨, 오스카 와일드 등 수많은 ‘죽은’ 자들의 ‘산’ 사진이 탄생했다. 어떻게 이 살아있는 사진이 가능할까?

딥 노스탤지어를 구현하기 위해 사용된 기술은 여러 가지다. 우선 낡고 빛바랜 사진을 복원하여 고해상도 이미지로 바꾸기 위한 각종 소프트웨어가 바탕에 깔려있다. 사진 복원 앱인 언페이드(Unfade) 스캐너나 포토글로리(PhotoGlory) 등이 그것이다. 가장 중요한 기술은 컴퓨터 비전 분야에서 눈부신 성장을 거듭하고 있는 GAN의 변형모델들이다. Few-Shot Adversarial Learning과 MoCoGAN이 여기에 사용된 대표적인 GAN 알고리즘으로 ‘살아있는 사진’을 구현하는 핵심 기술이다. 전자는 한 장의 인물사진에서 여러 장의 유사 이미지를 추출해 내는 기술로 이른바 ‘살아있는 초상(Living portrait)’ 생성에 널리 활용되고 있다. 후자는 기존의 비디오 영상에서 동작과 내용물을 추출하여 학습시켜 유사 비디오 영상을 생성해 내는 GAN 알고리즘이다.

이 ‘살아있는’ 사진은 마치 마법처럼 해리포터에 나오는 <예언자 일보>의 사진을 연상시킨다. 빗자루를 타고 날아다니는 마법의 세계에서는 종이에 인쇄된 사진 속 인물이 영화처럼 생생하게 살아 움직여 놀라움을 선사한 바 있다. 실상 마술과 과학은 아주 다르지만 원리를 모르는 이들에게는 둘 다 경이롭다는 점에서 같다. 예컨대 자력의 원리를 몰랐던 시대에 검은 돌에 쇠붙이가 달라붙는 현상은 경이로운 ‘마법’이었다. 이 당연한 과학이 마술이었던 까닭은 그저 몰랐기 때문이다. 그런 점에서 과학은 마술을 정복해나간다고 할 수 있다. 실제 17세기의 과학혁명은 16세기의 이른바 ‘자연마술(Magia Naturalis)’ 전통을 극복하는 과정에서 시작됐다.

마술사상은 고대부터 존재했으며 르네상스 시대에 서구에서 다시 부활한 전통이다. 메디치가의 메세나였던 코시모는 플라톤 아카데미를 설립하여 그리스의 고문헌을 라틴어로 번역하는 과업을 피치노에게 맡겼는데, 그 과정에서 신플라톤주의나 헤르메스주의 등 마술사상의 전통이 부활하여 자연마술로 승계된다. 자연마술은 한마디로 자연에 숨겨진 신비한 힘을 찾아내려는 ‘학문’이다. 연금술과 점성술이 대표적이다. 중력의 발견으로 연결되는 자력 연구도 자연마술에 속한다. 실상 16세기의 ‘불완전한’ 과학은 이 자연마술에 뿌리를 두고 있다. 갈릴레오는 자연마술의 신봉자였으며, 뉴턴은 30년 동안이나 연금술을 연구했던 장본인이다. 케플러 역시 자연마술을 연구했던 사람이다.

그렇다면 자연마술은 마술일까, 과학일까? 지암바티스타 델라 포르타(Giambattista della Porta)가 저술한 <자연마술>(1558)은 뷔퐁의 <박물지>나 디드로의 <백과전서>처럼 당대의 ‘최신’ 과학지식을 모아놓은 책이다. 포르타의 책은 초판 4권으로 출간되었다가 1589년에 총 20권의 개정증보판으로 확장됐으며, 라틴어를 비롯하여 이탈리아어, 프랑스어, 독일어, 영어 판본으로 번역되어 널리 읽혔다. 이 책의 성격은 오늘의 관점에서 보면 백과사전에 가까웠고, 케플러와 뉴턴, 프란시스 베이컨 등 과학혁명의 선구자들 사이에서 널리 회자됐다. 포르타에 따르면 마술이란 “숨겨진 자연의 사실에 대한 특성과 자질, 자연 전체에 대한 지식을 제공”하는 것이다. 말하자면 초자연적인 현상을 만들어내는 ‘기적’이 아니라 “자연의 이치에 따라 자연의 기능을 인위적으로 실현하거나 촉진, 성숙시키는 기술”이다. 예를 들면 거울이나 렌즈로 광학원리를 실험하듯이 자연의 힘을 응용하는 것, 증류를 통해 자연의 물질에서 순수한 성분을 분리, 추출하는 것, 접목을 통해 동식물의 품종을 개량하는 것 등의 인위적 조작이 여기에 해당한다. 그리고 이 ‘실험마술’로부터 근대의 ‘실험과학’이 탄생한다.

물론 이 시기의 자연마술에는 미신과 주술적 사고가 섞여있어 오늘의 자연과학과는 거리가 있다. 예컨대 마늘이 자력을 없앤다는 터무니없는 생각이 그것이다. 또한 마술은 비밀스럽게 전수되어 정식화된 방식을 따르지도 않았다. 연금술이 오랫동안 과학의 이름으로 통용되어 왔던 이유다. 그럼에도 불구하고 근대과학의 다양한 분과학문은 이 자연마술의 전통에 크게 빚지고 있다. 화학은 연금술에, 천문학은 점성술에, 물리학은 자력연구에서 시작됐다고 해도 과언이 아니다. 조금 과장하여 말하자면 과학의 뿌리는 자연마술에 있다. 그런 점에서 마술과 과학의 거리는 생각처럼 멀지 않다. 딥 노스탤지어가 제공하는 사진은 최첨단 과학기술, 요컨대 AI의 산물이나 그 효과는 마술적이다. 과학의 마법이라고나 할까. 그렇게 보면 마술이 과학을 낳고, 그 과학은 다시 마술을 낳은 셈이다. 과학을 신봉하면서도 마법을 동경하는 인간의 욕망 때문일지도 모르겠다.

비하인드 인터뷰

칼럼을 읽은 후 칼럼니스트에게 질문 혹은 반문하는 것은 다소 귀찮거나 힘든 일이다. 독자를 대신해 AI타임스가 여전히 남은 궁금증을 풀어봤다. 조금은 매울지도.

Q. 자연마술이라는 단어의 뜻이 궁금하다. 무엇인가.

물리적 법칙을 연구하는 고대 자연학이 중세시대 때 금서가 된다. 르네상스 시대가 도래하면서 자연학을 연구하려는 시도가 부활하는데, 이때 자연학이 중세 때 있었던 마술사상과 결합되어 자연마술이라고 불리기 시작했다.

Q. AI라는 현대 최고의 첨단과학을 오래전 자연마술과 연결시킨 점이 흥미롭다.

인공지능 유래에 대해 어떤 사람들은 튜링머신이나 다트무스 컨퍼런스를 떠올릴 것이다. 그러나 저는 인간의 삶을 유용하게 변화시키기 위해 과학기술을 써오기 시작한 무렵부터 AI 기획이 시작됐다고 본다.

Q. 그 시작이 칼럼에서 언급한 17세기부터인가.

17세기는 과학혁명이 일어난 때다. 이즈음 데카르트가 동물기계론을 주장했고, 18세기에 들어서서는 오늘날 로봇의 원형인 오토마타가 만들어진다. 이런 기획들에서부터 이미 인간의 사고(thinking)와 동작, 감각을 모방하는 AI가 태동하고 있었다.

Q. 그렇다면 17세기 과학혁명의 시작도 자연마술과 밀접한 관계가 있겠다.

그렇다. 과학혁명도 갑자기 튀어나온 게 아니다. Natural Science는 아리스토텔레스의 Physica, 자연학에서 유래된 것이다. 서양에서는 기독교 문명과 더불어 맥이 끊겼다가 16세기 르네상스 시대 때 부활하게 된다. 이때 자연학이 자연마술이라는 이름으로 대체되고, 17세기 자연철학이 오늘날 자연과학이 되는 것이다.

칼럼에 썼듯 구체적인 과학적 탐구와 더불어 진행됐던 시기는 17세기 과학혁명이지만 그 중심에 있었던 데카르트나 케플러, 뉴턴은 자연마술의 전통 속에서 내려온 사람들이다. 마술이라는 명칭에 거부감을 느낄 수도 있겠지만, 오늘날 자연과학을 지칭했었던 16세기식 용어라고 생각하면 이해가 쉬울 것이다. 데카르트, 케플러, 뉴턴은 모두 자연마술사인 셈이다.

Q. 현재 AI 개발이나 AI를 활용한 기술도 자연마술의 산물이라고 보는가.

좀더 정확하게 말하자면 자연학의 산물이라고 본다. 자연학이나 자연마술이나 이름만 다를 뿐 같은 맥락을 띠고 있다. 16세기의 전통을 빗댄다면 자연마술, 고대 그리스 시대 방식이라면 자연학이라고 부를 수 있겠다.

Q. ‘딥 노스탤지어’도 또다른 자연마술의 형태라고 말할 수 있을까.

그렇다. ‘딥 노스탤지어’ 외에도 고대 로마 황제 조각상을 학습시켜 얼굴 이미지를 구현해낸 GAN 기반 아트브리더 알고리즘도 있다. 이런 것들을 처음 본다면 첨단 시대를 사는 우리 눈에도 마술처럼 보인다. 마치 몇백 년 전 사람들이 검은 돌에 쇠붙이가 달라붙는 현상을 보고 마법이라며 놀라워했던 것처럼. 원리를 모른다면 과학은 여전히 마술처럼 보일 수 있다.

Q. 딥페이크(Deep Fake)라는 단http://어에서 오는 부정적인 선입견이 있다. 교수님처럼 오랫동안 사진학을 연구한 전문가 관점에서 이 같은 AI 작업을 어떻게 보는가.

동전의 양면이지 않을까. 실제로 가장 우려하는 AI 기술이지 않나. 위험성은 누차 경고돼왔고, 관련 법적 제도 장치도 마련돼야 한다고 생각한다.

영화를 예로 들어 설명해보자면, 볼드모트 손이 부리는 마술은 위험하다. 하지만 그렇다고 해서 해리포터 같은 선한 마법사들이 마술을 포기할 순 없다. 이렇듯 딥페이크 기술 역시 유용성이 더 큰 경우도 존재한다. 아무리 우리가 사용하고 있는 AI나 딥페이크가 위험한 측면을 갖고 있다 할지라도 사용자가 ‘잘 닦아 써야 하는’ 책임이 있다.

[기사원문보기]

+PDF 전문 다운로드 : 마술은 과학을 낳고, 과학은 마술을 낳고