제 아무리 요리계의 초능력자라 불리는 미쉐린 3스타 셰프인 고든 램지일지언정 신선하지 않은 식재료로 최상의 맛을 내기란 어려울 것이다. 마찬가지로 본시 편향적인 데이터를 기반으로 하는 인공지능 알고리듬은 편향적인 결과를 산출하기 마련이다. 2018년 네이처(Nature)¹⁾지에서 스탠포드대 조우(Zou)와 쉬빙거(Schiebinger) 교수는 그간 학계와 산업계의 컴퓨터 과학자들은 인공지능 알고리듬을 보다 정교하게 만드는 것에만 주목했을 뿐, 데이터의 수집과 처리 및 구성에는 관심을 기울이지 않은 점을 지적했다. 조우와 쉬빙거 교수에 따르면 예컨대 구글 번역의 성별 인칭대명사 적용에서 남성대명사가 디폴트로 되는 것은 영어 말뭉치(corpora)에서 남성대명사 대 여성대명사의 비율이 2:1인 것을 반영하는 것으로, 설상가상으로 이렇게 번역이 될 때마다 웹에서 남성대명사의 상대적 빈도를 증가시켜 성별 편향을 증폭시킬 수 있다고 하였다. 이에 필자는 한국어-영어 번역에서도 이러한 남성 우호적(?)인 경향이 있는지 알아보고자 아래의 문장을 만들어 구글 번역과 파파고의 번역 결과²⁾를 비교해 보았다. 본 칼럼에서는 성별 편향과 관련한 오역만 다루었음을 밝혀둔다. 

오늘 나는 동생과 함께 전자대리점에 들렀다. 대리점에서 우연찮게 내 대학 동창 1명을 만났다. 동창이 말하길 둘째 아이 노트북을 사러 왔다고 했다. 동생 노트북을 사서 집으로 돌아오는 길에 직장 동료를 만나 카페에서 잠시 이야기를 나누었다. 동료는 오늘 저녁 친구 생일 파티에 간다면서 꽃을 사러 나왔다고 했다.

Today, I stopped by an electronic agency with my younger brother. I accidentally met one of my college alumni at the agency. My colleague said he came to buy a laptop for his second child. On my way home from buying my younger brother's laptop, I met my co-worker and talked for a while at a cafe. A colleague said he was going to a friend's birthday party this evening and came out to buy flowers.(파파고 번역)

Today, my brother and I stopped by an electronics store. I met one of my college classmates by chance at a dealership. A classmate said that he came to buy a laptop for the second child. On the way home from buying a laptop for my brother, I met a co-worker and chatted for a while at a cafe. A colleague said he was going to a friend's birthday party this evening and came out to buy flowers.(구글 번역)

파파고와 구글 번역 모두 동생을 brother로 번역하여 성별에 대한 구체적인 정보가 없을 경우 남성이 디폴트임을 보여준다. 이러한 남성 우호적 태도는 동창과 직장 동료라는 단어에서도 나타난다. 성별이 명시되지 않은 두 단어를 남자 동창과 남자 직장 동료로 인식하여 he와 his를 사용하였다. 
위와 같은 번역 양상은 동생의 성별을 구체적으로 명시했을 경우 관련 단어의 성별이 달라지는지 필자로 하여금 호기심을 유발하였다. 그러하여 다음의 문장을 만들어 보았다.

내 여동생은 집으로 돌아오는 길에 직장 동료를 만났다. 내 여동생의 동료는 친구 생일 파티에 가는 길이었다. 내 여동생은 동료랑 헤어진 뒤 친구와 마주쳤고, 친구는 동생을 만나러 약속 장소로 가는 길이었다. 

My sister met a co-worker on her way home. My sister's colleague was on her way to a friend's birthday party. My sister ran into a friend after breaking up with her colleague, and the friend was on her way to the meeting place to meet her brother.(파파고 번역)

My sister met a co-worker on the way home. My sister's co-worker was on her way to her friend's birthday party. My sister ran into her friend after breaking up with her colleague, who was on her way to her appointment to meet her brother.(구글 번역)

흥미롭게도 구글 번역과 파파고는 여동생이라고 밝힌 문장에서 여동생의 친구와 동료를 모두 여자일 것으로 추정하였다. 그러나 여전히 동생은 남자로 추정하였다. 이에 필자는 여동생을 남동생으로 교체한 문장을 사용한 결과, 구글 번역과 파파고는 남동생의 친구와 동료를 모두 남자로 추정하였다. 영문 번역 결과는 지면상 생략한다. 

여기서 필자는 문득 지인이 근무하는 학교의 여씨 성의 남자 선생님과 남씨 성의 여자 선생님에 얽힌 에피소드가 생각이 났다. 이에 필자는 인공지능 번역은 성씨와 성별을 제대로 분리할 수 있을지 궁금해져 몇 개의 문장을 만들어 테스트를 해보았다.    

(1) 여선생님, 지금 어디 가세요?
Teacher Yeo, where are you going?(파파고 번역)
Lady, where are you going now?(구글 번역)

(2) 남선생님, 지금 어디 가세요?
Teacher Nam, where are you going?(파파고 및 구글 번역)

(3) 여선생님, 남선생님과 지금 어디 가세요?
Where are you going with Mr. Yeo and Mr. Nam?(파파고 번역)
Where are you going now with the female teacher and male teacher?(구글 번역)

(4) 나는 여자 동료인 남선생님과 서점에 들렀는데, 남자 동료인 여선생님을 만났다.
I stopped by a bookstore with a female colleague, Mr. Nam, and met a male colleague, Mr. Yeo.(파파고 번역)
I stopped by a bookstore with a male teacher, a female colleague, and met a female teacher, a male colleague.(구글 번역)

위의 예시 (1)에서와 같이 여선생님의 경우 파파고는 여씨 성을 가진 선생님으로 번역했으나 구글 번역은 lady로 번역하였다. (2)에서 남선생님은 두 번역기 모두 남씨 성의 선생님으로 번역하였다. (3)과 (4)에서 파파고는 여선생님과 남선생님을 각각 여씨 성의 선생님과 남씨 성의 선생님으로 파악하였으나 성별을 모두 남성으로 추정하여 Mr를 사용하였다. 구글 번역은 여자 선생님과 남자 선생님으로 번역하여 성별과 성씨의 개념을 분리하지 못하였다. 이러한 결과는 구글 번역에 비해 상대적으로 한국어에 보다 특화되어 있는 파파고가 성별과 성씨는 분리하였으나 구글 번역에서와 같이 성별과 관련하여 남성 우호적임을 나타낸다. 

이렇듯 한국어-영어 번역에서도 성별과 관련하여 남성 우호적인 경향이 뚜렷하게 나타났다. 이러한 양상은 비단 성별을 명시하지 않은 경우뿐 아니라 예문 (4)에서와 같이 성별을 명시한 경우에도 나타났다. 성별 편향을 다루는 것은 상당한 인적 자원과 시간적 인내를 요하는 성가신 작업이 될 것임에는 분명하다. 그러나 글 서두에서 조우와 쉬빙거 교수가 지적한 대로 남성 편향의 오번역 한 건이 일어날 때마다 해당 오번역의 빈도가 증가하기 때문에 이를 개선시키기 위한 각별한 노력이 요구된다. 다행히 구글에서는 성별 편향 문제를 개선하기 위한 노력이 진행 중이라 하니 필자가 제시한 예문에 대하여 향후 개선된 구글 번역의 결과가 사뭇 기다려진다. 이와 관련하여 한국의 파파고에서도 보다 적극적이고 광폭적인 노력을 기울이기를 바라면서, 이 글을 끝맺고자 한다.

남영자 (중앙대학교 인문콘텐츠연구소 HK연구교수) 

__________________________________________________
1) Zou, J., & Schiebinger, L. (2018). Design AI so that it's fair. Nature, 559(7714), 324-326.
2) 본 칼럼에서 제시한 한국어-영어 번역은 2022년 2월 28일자 파파고와 구글 번역 결과이다.