인공지능에 대한 논의에서 항상 뜨거운 논쟁의 대상이 되는 것은 바로 자율성(autonomy)이다. 여기서 말해지는 자율성은 무슨 자율성인가? 자율성은 한 덩어리인가 아니면 정도 차이를 갖고 펼쳐지는 스펙트럼인가? 인공지능과 관련된 철학적, 윤리학적 논의에서는 거의 예외 없이 자율성이 정도 차이를 가진다고 전제한다. 자동차와 결합한 인공지능, 즉 소위 ‘자율주행차’도 마찬가지일 것이다. 자율주행차를 통제하는 인공지능 시스템을 자율주행시스템(automated driving system, ADS)이라고 하는데, 운전에서 인간이 부담하는 비율이 낮고, 반대로 ADS가 담당하는 비율이 높을수록 자율주행차의 자율성은 높아질 것이다. 실제로 업계를 넘어 학계에서도 널리 통용되는 국제자동화기술협회(Society of Automotive Engineers, SAE)의 분류에 따르면, 자율주행차는 그 자율성의 정도에 따라 6단계로 나누어 진다. 0단계에서는 인간 운전자가 운전을 전적으로 도맡는다. 1단계에서는 자동차의 우수한 운전보조체계(advanced driver assistant system, ADAS)가 속도조절과 방향전환과 같은 운전 활동을 때때로 보조할 수 있지만, 두 활동을 동시에 보조할 수는 없다. 2단계에서는 ADAS가 두 활동을 동시에 보조할 수 있다. 이 때 운전자는 주의를 기울여 주위 환경을 모니터하면서 운전에 필요한 나머지 활동을 할 수 있다. 3단계에는 ADS가 어떤 환경에서 모든 운전 활동을 담당할 수 있는데, 중요한 것은 이 때 운전자는 ADS가 ‘통제권 이전’을 통보할 경우 언제든지 통제권을 넘겨받을 수 있도록 준비가 되어있어야 한다는 것이다. 4단계에서는 ADS가 일부 환경에서는 환경을 모니터링하는 것을 포함한 모든 운전 활동을 수행할 수 있다. 5단계에는 모든 ADS가 모든 환경에서 모든 운전 활동을 전부 수행할 수 있다. BMW는 이미 시판되는 모든 자동차에 1~2단계 자율주행기능이 탑재되어 있다고 주장한다. 테슬라의 경우는 좀 애매하다. 일부 모델은 3단계로 알려져 있지만, 정작 현장의 엔지니어들은 2단계에 불과하다고 주장하는 경우가 있기 때문이다. 최근에는 혼다 등이 드디어 3단계 자율주행차의 대량생산에 들어갔다. 이 때문에 혹자는 이미 3단계는 개발되었으며 이제 4단계를 목표로 해야 한다고 주장하기도 한다. 인간이 운전할 필요가 아예 없는 5단계 자율주행차는 이론적으로 상상하고 연구할 수는 있지만, 기술적으로는 SF 영화에나 나올 법한 허구에 가깝다. 따라서 현재 유의미하게 논의할 수 있는 것은 현실화되는 중인 3단계와 4단계 자율주행차다. 개념적으로도 3~4단계 자율주행차를 논의하는 것이 맞을 것이다. 3단계 이상에서만 ADS가 일부 상황에서 제한적으로나마 모든 운전 활동을 담당하고, 따라서 진정한 의미의 자율주행이 이루어지기 때문이다. 3~4단계 자율주행차는 그 개념 정의상 ADS와 운전자 사이의 통제권 이전의 문제를 해결해야만한다. 자신이 다루기 힘든 위험 상황에 직면하면, ADS는 운전자에게 통제권 이전을 통보하고 운전자는 그것을 넘겨받아 정상적으로 운전을 해야 한다. 그런데 이 과정이 매끄럽지 않을 수 있다. 만약 ADS가 통제권 이전을 통보하지만, 운전자가 부주의하여 통제권을 제대로 넘겨 받지 못한다면 어쩔 것인가? 세계적인 인공지능 교과서의 저자로 유명한 스튜어트 러셀(Stuart Russell), 그리고 인지과학자 개리 마커스(Gary Marcus) 모두가 자신들의 저서에서 이 문제를 지적한다. 이들은 안전의 측면에서 통제권 이전의 문제에 접근하는데, 윤리적으로 문제가 되는 것은 안전이라기보다는 통제권 이전 상황에서 사고가 났을 때 잘못한 것은 누구인가이다. 즉 도덕적 책임 귀속의 문제가 제기되는 것이다. 통제권 이전 상황은 그리 단순치 않다. 왜냐하면 3~4단계 자율주행자의 정의상 ADS와 운전자 각각에 고유한 의무가 부과되기 때문이다. 3~4단계 자율주행차에서, 운전자는 명시적으로 주의 의무(attention duty)를 갖는다. 운전자는 ADS가 통제권 이전을 통보하면, 언제든지 통제권을 받아서 정상적으로 운전을 할 수 있도록 ‘정신을 차리고’ 있어야 하는 것이다. 반면에 ADS는 운전자가 통제권을 이전 받아 정상적으로 운전을 하는데 요구되는 최소 시간을 확보한 채 통제권 이전을 통보해야 한다는, 즉 ‘제때’ 통보해야 한다는 사전주의 의무(precaution duty)를 가진다. ADS가 너무 늦게 통제권 이전을 알린다면, 운전자는 아예 운전을 하지 못하거나 가까스로 운전을 하게 되더라도 위험 상황에 대응할 시간이 모자랄 것이다. 이런 양쪽의 의무가 제대로 지켜지지 않는다면, 통제권 이전 상황에서의 사고를 피할 수 없을 것이다. 통제권 이전 상황에서 사고가 날 경우, 운전자가 제대로 정신을 차리고 있지 않았다는 것이 확실하다면, 사고의 책임은 당연히 운전자에게 있을 것이다. 반면에 만약 ADS가 제때 통제권 이전을 통보하지 않았다면, 그 책임은 ADS에 있을 것이다. 정말 어려운 문제는 운전자와 ADS 모두가 자신의 의무를 다하지 않았을 때이다. 즉 운전자도 제대로 정신을 차리고 있지 않았지만, ADS도 사전에 제때 통제권 이전을 통보하지 않았다면, 그 때 일어난 사고는 어느 쪽의 책임인가? 운전자는 설사 자신이 주의를 기울였더라도 ADS가 늑장 통보를 했을 것이므로 어차피 사고가 났을 것이라고 주장하며 책임은 ADS에게 있다고 할 것이다. 그런데 이는 ADS에도 마찬가지다. ADS는 (만약에 그것이 말을 한다면) 설사 자신이 통보를 제때 했었더라도, 운전자가 정신을 차리지 않았기 때문에 어차피 사고가 났을 것이라고 주장하면서 책임은 운전자에게 있다고 할지 모른다. 이런 복잡한 문제들은 근원적으로 ADS와 운전자, 즉 비인간 기계와 인간 행위자가 하나라고 하기엔 너무 느슨하고, 그렇다고 완전히 둘도 아닌 관계에 있는 한 일어날 수밖에 없는 문제들로 보인다. 도나 해러웨이(Donna Haraway)는 "하나는 너무 적고 둘은 언제나 하나의 가능성일 뿐"이라고 한 바 있는데, 자율주행차가 딱 그런 상황인 것이다. 문규민 (중앙대학교 인문콘텐츠연구소 HK연구교수) | 
