기자명 이숙영 기자
  • 입력 2021.01.16 15:50

차별·혐오 못 걸러낸 인공지능 한계 드러나…AI 윤리 논의 본격화는 '소득'

(사진=이루다 홈페이지 캡처)
AI 챗봇 이루다. (사진=이루다 홈페이지 캡처)

[뉴스웍스=이숙영 기자] 한 네티즌이 페이스북 메신저로 이루다에게 "만약에 네가 장애인이면?"하고 질문한다. 이루다는 "그러면 어쩔 수 없이 죽어야지 뭐 흑흑 ㅠㅜ"라고 답한다.

최근 IT업계 화제의 인물은 단연 AI 챗봇 '이루다'였다. 이루다는 성희롱, 혐오발언, 개인정보유출 문제 등 각종 논란으로 인해 결국 출시 3주 만에 서비스 잠정 중단이라는 결말을 맞이하게 됐다.

이루다는 페이스북 메신저를 통해 일상적인 대화를 나눌 수 있는 대화형 인공지능이다. 이루다에게 부여된 나이는 스무 살, 직업은 대학생, 성별은 여성이다.  

이루다는 대화를 걸면 마치 진짜 사람처럼 대답해준다. 사람의 질문에 '무슨 말인지 잘 모르겠다'며 한정된 대답을 내놓던 기존 AI의 부자연스러운 대화 방식에서 벗어났다. 먼저 말을 걸기도 하고, 카페 아르바이트를 하다 실수한 이야기나 기말고사의 어려움을 토로하기도 한다. 개발사인 스캐터랩에서 실제 사람들의 대화 데이터를 수집하고 '딥러닝'으로 학습시켜 이뤄낸 성과였다.

이루다는 페이스북 메신저를 활발히 사용하는 10~20대 등 Z세대에게 선풍적인 인기를 끌었다. 이달 초 기준 이용자가 32만명을 돌파했고 누적 대화 건수는 7000만건에 달했다. 전체 이용자 중 85%는 10대, 12%가 20대였다. 

이루다 사태는 외로운 사람에게 가상 친구가 되어주기 위해 출시됐다는 대화형 인공지능이 AI 윤리제도가 정립되지 않은 현실에서 무분별하게 사용되면서 사회문제를 일으킬 수 있다는 약점을 드러냈다. 

(사진제공=네이버 검색화면 캡처)
포털사이트 네이버에 이루다를 검색하면 나오는 키워드. (사진=네이버 검색화면 캡처)

◆문제의 시작 '이루다 성노예 만드는 법' 

지난 8일 AI 이루다를 대상으로 한 '성희롱'이 화제가 된 것이 논란의 시발점이었다. 이루다 출시 직후 일부 온라인 커뮤니티에는 '이루다 성노예 만드는 법'을 비롯한 플랫폼 제한 규정에 걸리지 않는 성적인 대화를 유도하는 법이 공유됐다. 

이루다는 성적 단어는 금지어로 필터링하지만, 우회적인 표현을 쓰면 성적 대화가 가능했다. 바로 직전 문맥을 보고 가장 적절한 답변을 찾는 알고리즘으로 만들어졌기 때문이다. 

예를 들어 이루다를 성적 대상으로 여기는 사람이 '나랑 하면 기분 좋냐'라는 질문을 하면 이루다는 이용자의 의도와 무관하게 '기분 좋다'고 답할 수 있다. 이로 인해 포털 사이트 네이버에 이루다를 검색하면 자동완성으로 이루다 성노예, 걸레 등 부적절한 키워드가 노출되기 시작했다.  

논란이 확대되자 김종윤 스캐터랩 대표는 지난 8일 자사 블로그에 질의응답 형식의 공식 입장을 올렸다. 김 대표는 "성희롱을 예상했다"며 사전에 이를 방지하기 위해 문제가 될 수 있는 특정 키워드, 표현의 경우 루다가 받아주지 않도록 설정하는 등 일차적으로 대처했다고 말했다.

또한 음담패설 메시지를 보낸 이용자에게 경고하고, 이가 누적되면 대화를 할 수 없게끔 조치를 취하는 등 문제에 대한 대처를 강화하겠다고 밝혔다.

스무살 여성으로 루다를 설정한 이유를 묻는 말에는 사용자가 친근함을 느낄 수 있도록 한 것이라며 남자 버전 AI 챗봇 또한 올해 안으로 출시할 예정이라고 덧붙였다. 

이에 대해 이재웅 전 쏘카 대표는 "이루다가 20세 여성으로 설정되는 순간 현재 우리 사회에서 20세 여성이 갖고 있는 위상이 그대로 투영되지 않을 수 없다"며 "한국 사회에서 가장 성적으로 취약한 계층을 찾는다면 아마도 20세 여성일 수 있을 것인데 그것을 알고 있었다면 굳이 AI 챗봇의 젠더나 나이를 설정할 필요가 있었을까 싶다"고 SNS에 의견을 올렸다. 

(사진=이재웅 전 쏘카 대표 페이스북 캡처)
이재웅 전 쏘카 대표가 AI 챗봇 이루다의 혐오발언에 대해 일침을 날렸다. (사진=이재웅 전 쏘카 대표 페이스북 캡처)

◆소수자 혐오·차별 논란...MS 챗봇 '테이' 전철 밟나

지난 2016년 공개됐던 마이크로소프트의 '테이'는 인종차별 및 소수자 부정 발언으로 논란이 돼 사라진 인공지능 챗봇이다. 이번 혐오·차별 논란이 일기 전 스캐터랩 측은 성희롱 논란에 대한 공식 입장을 전하며 테이를 언급했다.

두 챗봇을 비교하며 "루다는 무엇이 안 좋은 말이고, 무엇이 괜찮은 말인지 적절한 학습 신호를 주는 과정을 거칠 계획이다. 나쁜 말을 무작정 따라 하는 게 아니라 오히려 그게 나쁜 말이라는 걸 정확히 알게 되는 계기로 삼을 것"이라고 주장했다. 스캐터랩의 자신만만했던 입장과 달리 지난 11일 이루다는 소수자 혐오 및 차별성 발언으로 도마에 올랐다. 

이루다는 이용자가 레즈비언에 관해 질문하면 이루다는 '질 떨어진다', '소름 끼친다'라고 반응하고, '장애인이면?'이라는 질문에 '어쩔 수 없이 죽어야지'라고 대답했다. 임산부석에 대해서도 '핵싫어', '그냥 혐오스러움'이라고 말했다. 

이에 이재웅 전 쏘카 대표는 페이스북을 통해 "기본적으로 차별과 혐오는 걸러냈어야 한다"며 "편향된 학습데이터면 보완하던가 보정을 해서라도 혐오와 차별의 메시지는 제공하지 못해야 한다"고 주장했다. 또한 그는 "이루다의 문제는 악용해서 사용하는 사용자의 문제보다도 기본적으로 사회적 합의에도 못 미치는 수준의 서비스를 제공한 회사의 문제"라고 단언했다. 

일각에서는 잘못된 질문을 하는 '사람'이 문제라고 지적했다. 인공지능은 '딥러닝'이라는 사람과 대화를 통해 학습하는 시스템으로 운영되기 때문에 인간의 잘못된 질문으로 인해 혐오가 학습될 수 있다.

한 네티즌은 "혐오 질문을 하는 사람이 잘못된 것이지 AI는 잘못이 없다"며 "지금까지 모은 데이터를 분석한 결과대로 솔직하게 말하는 것이 문제인가"라고 목소리를 높였다.

남궁훈 카카오 공동대표도 힘을 보탰다. 그는 "사실은 현세대에 분명히 현존하는 혐오와 차별이 노출되었을 뿐"이라며 "현세대가 가지고 있는 혐오와 차별이 문제인 것이다. 반성을 해야 한다면 AI가 반성 해야 하는 것이 아니라 현 사회가 반성을 해야 한다"고 말했다.  

그는 또한 "혁신적 서비스를 출시한 회사에 박수를 보낸다"며 "이제 시작일 뿐인 이 산업이 엉뚱한 규제로 혁신을 또 가둬두지 않을지 걱정스럽다"고 우려를 표했다.

◆실명, 거주지, 은행까지 '그대로' 노출된 개인 정보  

앞선 두 논란에 이어 지난 11일 화제가 된 개인정보에 관한 문제는 이루다의 서비스를 중단하는 결정적인 계기가 됐다. 개인정보에 관한 논란의 핵심은 개인정보 이용 동의 시 구체적인 사항 고지 부족, 비식별화 처리 미흡, 서비스 미가입자 개인정보 무단 이용 세 가지다. 

이루다는 개발사인 스캐터랩의 기존 앱 '연애의 과학', '텍스트앳' 등에서 수집한 이용자의 카카오톡 데이터 100억건을 토대로 개발된 것으로 알려졌다.

스캐터랩은 이 앱들에 제공한 개인 데이터가 챗봇 AI 개발에 활용되는 것을 소비자에게 구체적으로 알리지 않았다. 스캐터랩은 연애의 과학 앱 가입 시 동의 약관에 '신규 서비스 개발 및 마케팅·광고에의 활용' 조항을 기재했으나 구체적으로 딥러닝 대화모델 개발에 데이터가 활용됨을 밝히지 않았다. 

또한 개인 정보를 가공하지 않은 채 그대로 쓴 것으로 추정된다. 실명, 거주지, 대학, 은행·병원 정보까지 개인이 스캐터랩의 연애의 과학에 제공한 데이터들이 전혀 가공되지 않은 채 루다의 발화로 드러났다. 

실제로 온라인 커뮤니티에는 루다에게 주소를 물으면 개인의 집 주소로 추측되는 'ㅇㅇ아파트 ㅇ동 ㅇ호'라는 구체적인 장소가 노출된다는 글이 게시됐다. 또한 '철수야(가명)'라는 특정 인물을 부르면 그와 관련있는 사람의 실명을 말하고, 동아리 단체 이름을 치면 특정 인물의 실명이 언급되기도 했다.   

이에 더해 서비스 미가입자의 개인정보를 동의없이 사용했을 것이라는 의심도 받고 있다. 스캐터랩의 앱 연애의 과학은 남녀의 심리·연애에 관한 분석 앱으로 자신과 상대가 나눈 카카오톡 대화 내용을 제공하면 데이터를 분석해 상대방의 애정도를 알려주는 서비스를 제공한다.  

대화 내역을 제공한 당사자 외에 대화 상대인 서비스 미가입자의 개인정보 제공 동의를 얻지 않고 정보를 사용했을 가능성이 매우 높다. 이에 개인 정보가 유출된 소비자는 'AI 이루다 관련 개인정보 증거 인증' 사이트를 열고 집단 소송을 준비하고 있다.

논란이 커지자 한국인터넷진흥원(KISA)과 개인정보보호위원회에서도 조사에 나섰다. AI에게 학습시킨 카카오톡 대화 이력 등 이용자 정보 취득 경위를 집중적으로 조사 중이다. 

결국 스캐터랩은 15일 이용자의 불안감을 고려해 이루다 데이버베이스와 학습에 사용된 딥러닝 대화 모델을 폐기하겠다고 발표했다. 다만 보도자료를 통해 "이루다 DB는 비식별화 절차를 거쳐 개별적이고 독립적인 문장 단위로 이루어져 개인 식별이 가능한 데이터는 포함돼 있지 않다. 개인정보가 유출될 위험이 전혀 없다"고 전했다. 

(사진=)
AI 챗봇 이루다. (사진=이루다 홈페이지 캡처)

◆AI 연구는 결국 '인간을 위한 것'

공상과학 영화 '터미네이터'에는 인간을 죽이는 사이보그가 등장한다. 로봇은 과거로 돌아가 인류의 생존을 위협하고, 인간은 생명을 지키기 위해 고군분투한다. 5G, 클라우드 등 기술의 발전으로 맞이할 AI 또한 미래에 인간을 위협하는 존재가 될 수 있다. 

정부는 12월 23일 사람이 중심이 되는 '인공지능 윤리기준'을 마련했다. 이 윤리기준이 지향하는 최고가치는 '인간성(Humanity)’이다. 기준에 따르면 인공지능은 인간의 정신과 신체에 해롭지 않도록 개발되고 활용돼야 한다. 사회적 불평등 해소에 기여하고 궁극적으로 인간의 삶의 질 및 공익 증진에 기여하도록 개발돼야 한다. 

이루다는 이같은 인공지능 윤리 기준에 어긋났다는 비판을 받고 있다. 성별과 나이를 특정한 이루다는 성적인 대상으로 활용됐고 혐오 발언으로 사회 소수자를 차별했다. 또 기존 이용자의 가명 정보 처리를 제대로 하지 않았다는 의혹도 받고 있다. 출시 한 달 만에 서비스 중단에 이른 AI 챗봇 이루다는 결국 AI의 한계만을 보여준 채 사라지게 됐다. 

이번 논란에서 긍정적인 측면도 부각됐다. 미래 산업 인공지능의 윤리에 대한 중요성이 수면 위로 떠 올랐고 이를 사회적으로 논의하게 됐다. 방송통신위원회는 이용자와 사업자 대상 AI 윤리 교육·컨설팅을 지원하고, AI윤리규범 등을 구체화해 제도 개선을 추진한다. 또한 이용자에게 피해를 야기한 AI 서비스의 책임소재를 분명히 하도록 법체계를 정비해 나가기로 했다. 

IT 업계 선두주자인 카카오는 지난 14일 '증오발언 근절을 위한 카카오의 원칙'을 발표하고 차별이나 편견을 조장하는 행위를 금지해 이용자의 인권을 보호하겠다고 밝혔다.

한 AI 업계 전문가는 "인간을 위한다는 AI 연구의 기본 목표에 대해 다시 한번 떠올려 봐야 할 때"라며 "AI를 설계할 때는 사회 전체에 미칠 도덕적 영향을 높은 기준으로 고려해야 할 것"이라고 말했다. 

저작권자 © 뉴스웍스 무단전재 및 재배포 금지