ChatGPT에게 AI 할루시네이션이 무엇인지 물어보았다. “인공 지능(AI) 모델이나 시스템이 실제로는 존재하지 않는 데이터를 생성하는 현상”이라 답했다. 그 원인과 관련해서는 자기와 같은 “생성 모델들이 훈련 데이터에서 배운 정보를 기반으로 패턴을 찾고, 이를 토대로 새로운 콘텐츠를 생성하는 과정에서 발생”한다고 알려주었다. 

Google Bard에게도 물어보았다. “인공지능이 실제가 아닌 것을 실제처럼 인식하는 현상”이라는 답하면서 이는 “실제와 구분할 수 없는 가짜 데이터”를 생산할 수 있다고도 덧붙혔다. 한편 위키피디아는 이를 “학습 데이터로부터 정당화되지 않은 것처럼 보이는 확신적 답변”으로 요약하며 ChatGPT가 있지도 않은 뉴욕 타임즈 기사를 요약하는 것을 그 예로 든다. 유사하게는 세종대왕 맥북 던짐 사건이 있다. 이는 “세종대왕의 맥북프로 던짐 사건은 조선왕조실록에 기록된 일화로, 15세기 세종대왕이 새로 개발한 훈민정음(한글)의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북프로와 함께 그를 방으로 던진 사건”이다. 

이상 세 가지의 논조는 조금씩 다른 것 같다. ChatGPT의 답변을 긍정적으로 해석해 주면 AI 할루시네이션은 ‘새로운 콘텐츠’의 일환일 수 있다. 조금 까다로운 시선으로 평가해도, 이를 새로운 콘텐츠를 만드는 과정에서 생성되는 부작용 정도로 이해해 줄 수 있다. Bard는 조금 차갑게 말하는데, 이에 따르면 AI 할루시네이션은 ‘가짜 데이터’이다. 할루시네이션을 경험(?)하는 기계 주체들의 자기 평가는 이와 같았다. 한편 삼인칭 집단지성인 위키피디아는 이를 ‘거짓말에 대한 확신적 답변’으로 평가한다. 

어떻게 그럴 수 있을까? 알지도 못하는 사실을 한치의 말설임도 없이 계속 이어 말한다. 거짓말도 한 두마디이지 하다보면 부끄럽거나, 그것도 아니면 흥미가 떨어져서 안할 법도 한데 얼굴 두꺼운 말하기 기계들은 온갖 상상력을 보태어 태엽을 감아놓은 자동인형처럼 계속 친절한 어조로 답을 냍어낸다. 우리 인간은 이를 꼬투리잡아 압도적인 위용을 자랑하는 맘모스의 치명적 약점을 발견했다며 유레카를 외칠 때도 있고, 이에 대비한 인간의 탁월함을 재확인한 듯 멋진 걸음 걸이를 고쳐 걸어 갈 때도 있다.       

원래 할루시네이션은 감각하지 않은 것을 감각했다고 인지하는 경험을 뜻한다. 보다 정확히 말하자면, 감각대상이 부재한 감각경험이다. 할루시네이션을 말할 때, 우리는 통상 두 가지 다른 인식 경험도 함께 말하는데, 하나는 지각이고 다른 하나는 착각이다. 지각은 감각한 것을 감각한 것으로 인지하는 것을 말하고 착각은 감각한 것을 다른 것으로 인지하는 것을 말한다. 다시 말하면 a를 보고 a라 말하면 지각이고, a를 보고 a’를 말하면 착각이고 아무 것도 안보고 a를 봤다고 말하면 할루시네이션, 즉 환각이다. 이 기준에 따르면 AI 환각은 AI가 세종대왕이 맥북을 던지는 것을 본 적이 없는데도 보았다고 인지하는 것이라 할 수 있다. 더 정확히 말하면 우리는 AI가 인지하였는지 그렇지 않은지를 알 수 없으므로 AI가 경험한 적이 없는 사실을 마치 경험한 것처럼 문장화하여 표현한 것을 AI 할루시네이션이 할 수 있을 것이다. 두 가지 의문이 든다. 첫째, AI의 경험은 어떤 것일까? 보고, 듣고, 맛보고, 감촉한 결과를 기억하는 것이 상식적 의미의 경험일텐데 삶이 없는 AI가 한 경험은 무엇일까? 경험을 문자 그대로 해석한다면, AI에게는 경험이 없다. 그런데 AI와 관련된 모든 말들이 그러하듯 적당한 수준의 유비는 용인되고 있는 분위기를 생각해보면, AI의 경험의 의미 폭을 확장시켜 볼 수도 있겠다. 그것은 눈은 없지만 접수된 이미지, 문장들을 학습했다. 그것의 메모리에 저장된 이  데이터들을 경험의 산물이라 해석할 수 있다면, AI에게 경험은 저장, 나아가 학습이다. 물론 여기서 학습의 의미 적용이 정당한 것인가라는 물음을 제시할 수도 있고, 그 역시 진중한 논의의 대상이지만, 그렇게 되면 검토해 보아야 할 산적한 문제 속에 침잠해 갈 길이 예상되기에 ‘경험’ 확대의 용인 가능성에 대한 허락만을 구하는 것이 현명할 듯하다. 

AI는 경험한다. AI는 센서와 인코더로 경험한다. 그리고 표상한다. 데이터의 이합집산을 통해 표상한다. AI의 환각은 사실 착각이다. 왜냐하면 AI의 환각, 즉 우리가 할루시네이션의 표현이라고 말하는 것은 대상이 없지 않기 때문이다. 다만 그 조합에 맥락이 부재하기에 키메라와 같은 기형이 뱉어질 뿐이다. 그러나 AI 경험의 근거가 되는 데이터는 분명히 존재한다. AI 할루시네이션은 없다. AI 일루션, 즉 착각만 존재할 뿐이다. 

  그럼, 둘째. 인간의 할루시네이션은 정말 할루시네이션인가? AI의 관점에서 생각해 보자. 위에서 살펴보았듯, 우리가 AI 할루시네이션이라 칭한 것은 어불성설이지만 대상이 존재한다. 다만 대상의 비맥락적 부조화 결합이 표출될 뿐이다. 이를 인간의 할루시네이션에 적용해도 설명이 된다. 만약 내가 돌아가신 할머니가 너무 그리운 나머지, 할머니의 형상을 환각하고 있다고 해보자. 지금 내가 환각하고 있는 할머니의 형상은 그 분이 살아 계실 때, 내가 지각하여 기억의 저장고에 쌓아두었던 데이터들의 조합이다. 물론 여기서 맥락의 의미는 다르다. 나의 환각의 맥락은 세상과 경험의 일치를 전제하나, AI 환각의 맥락은 데이터 간 부조화 결합을 추가적으로 전제하고 그 위에 이에 따른 생성물과 사실 세계와의 일치도 전제한다. 그러나 이는 인간과 AI의 차이 규명에 결정적인 역할을 하지 못한다. 황금산을 생각해 보자. 내가 황금산을 환각하고 있다고 생각해 보자. 나는 황금산을 떠올릴 수 있지만 사실 황금산은 없다. 황금산은 황금과 산의 부조화 결합으로 이루어져 있고, 따라서 사실 세계와 일치하지 않는다. 이러한 이중 오류 장치, 즉 데이터간 부조화 결합, 결합 결과의 표상과 사실 세계와의 불일치는 인간의 할루시네이션을 가능하게 한다. 말하고자 하는 요점은 인간의 환각도 기억에 의존하는 바, 온전히 새로운 환각의 표상은 없다는 것이다. 다시 말해 철학이 말하는 할루시네이션은 잘 따져보면 불가능하다. 하늘 아래 새것이 없듯, 우리의 기억과 말에도 새것은 없기 때문이다.  

그럼 이제 황금산 말고, AI 광고 모델 로지(rozy)도 예로 들어보자. 로지는 말 그대로 미증유의 얼굴이다. 그러나 로지의 뒷면에는 우리에게서 기인했고 그래서 우리가 본 수많은 존재얼굴이 숨어있다. 황금산과 다를 바 없는 환영(幻影; hallucinated image)이다. 보았지만 본 것을 안 만들고 보암직한 것을 만들었다. 그런데 환영 로지에게는 우리가 언어모델에 부여한 할루시네이션의 부정적 의미는 사상(捨象)된다. 할루시네이티드 로지는 위키페디아가 규정한 “거짓말에 대한 확신적 답변”도, Bard가 말한 “가짜 데이터”도 아니다. ChatGPT가 자랑한 “새로운 콘텐츠”이다. 살아 돌아온 프레디 머큐리, 김광석도 환영(幻影)이다. 그런데 이 환영은 환영(歡迎)받는다. 

우리는 ChatGPT, Bard와 같은 언어마술사에게는 우리 자신의 말을 입혀놓고 갖은 비난을 쏟아 놓는다. 그들은 양심없는 거짓말쟁이이다. 말은 사실을 담고 있어야 하기 때문이다. 그러나 우리의 말과 지각과 생각에는 언제나 명확한 하나의 대상이 일대일로 대응되는가? 일상어는 언젠가는 거짓말이 된다. 세상은 변하기 때문이다. 이미지의 세계에서는 사랑받는 AI 할루시네이션. 언어모델의 세계에서는 축출대상이다. 언어강박. 놀기 좋아하는 자아(entertaining I)와  로고스적 자아 사이의 분열을 살피는 거울이다. 

김형주 (중앙대학교 인문콘텐츠연구소 HK교수)