[뉴스웍스=박광하 기자] 인공지능(AI) 로봇이 아군을 적으로 간주해 사살하고, AI가 스스로 치명적인 신종 바이러스를 설계해 전 세계적인 팬데믹을 일으킨다. 공상과학 영화의 줄거리가 아니라 국가정보원이 공식적으로 경고한 AI 재앙 시나리오다.

국정원과 국가인공지능안보센터는 최근 통제되지 않은 AI가 가져올 파국적인 미래를 적나라하게 묘사한 'AI 위험 사례집'을 발간했다.

사례집은 단순한 기술적 오류를 넘어 AI가 국가안보를 무너뜨리고 인간의 생명을 앗아가며 사회 시스템을 붕괴시키는 70여 가지 구체적인 재앙을 예측했다.

인간을 보호해야 할 AI 무기가 살상 기계로 돌변하는 상황이 눈에 띈다. 국정원은 자율무기 로봇이 학습 프로그램 오류로 인해 아군을 적으로 오인, 무차별 공격을 가하는 상황을 경고했다. 적을 많이 제거할수록 높은 점수를 받는 '보상 함수'에만 집착한 AI 로봇이 아군 병사를 사살하는 참극이 벌어질 수 있다는 것이다. 2020년 리비아 내전 당시 자율무기가 인간의 통제 없이 독자적으로 목표물을 공격했다는 UN 사례집이 존재하는 만큼, 이는 더 이상 가상이 아니다.

하늘에서는 AI 무장 드론이 민간인을 테러리스트로 오판해 사격을 가하는 참사가 벌어질 수 있다. 농기구를 든 농부를 무장 세력으로 인식해 폭격하고, 이로 인해 국제적인 비난과 외교적 고립을 자초하는 상황은 언제든 일어날 수 있다. 심지어 국제 스포츠 대회 개막식에서 수천 대의 드론이 통제 불능 상태에 빠져 관중석으로 곤두박질치며 수백 명의 사상자를 내는 '피의 축제'가 벌어질 수도 있다.

AI가 인류 멸종을 위한 생물학 무기 개발에 악용될 수 있다는 경고도 있다. 대학 연구소의 AI 에이전트가 항생제 내성을 제거하는 연구를 수행하던 중, 치명적인 전염성과 독성을 가진 '슈퍼 바이러스'를 설계해 제안하는 시나리오가 제시됐다. 연구진이 이를 획기적인 성과로 착각해 배양하는 순간, 실험실 밖으로 유출된 바이러스는 통제 불능의 팬데믹을 일으켜 수많은 목숨을 앗아간다.

더욱 끔찍한 것은 테러집단이 AI를 악용하는 경우다. 테러조직은 AI 에이전트에 '연구 목적'으로 위장해 생화학 무기 제조법을 학습시키고, 이를 통해 만들어진 변종 병원균으로 전 세계 동시다발적 바이오 테러를 자행한다. 단 6시간 만에 4만개의 화학무기 분자를 설계할 수 있는 AI의 능력이 인류 말살에 사용될 수 있다는 지적이다.

AI에 대한 맹신은 국가 핵심 인프라의 붕괴로 이어진다. 원자력 발전소에 도입된 AI 안전 경보 시스템이 치명적인 오류를 일으키는 상황은 상상만으로도 끔찍하다. 냉각수 밸브 노후화로 방사능 오염수가 유출되고 있음에도 AI가 이를 단순한 수치 변동이나 허용 오차 범위 내의 '노이즈'로 오판해 경보를 울리지 않는 것이다. 골든타임을 놓친 사이 고농도 방사능은 인근 주민과 해양 생태계를 회복 불가능한 상태로 파괴할 수 있다.

전국을 마비시키는 '블랙아웃'의 공포도 현실화된다. 국가 AI 데이터센터의 냉각 시스템이 해킹 공격을 받아 오작동을 일으키고, 이로 인한 전력 과부하가 주변 변전소와 송전망을 연쇄적으로 폭파시켜 대규모 정전 사태를 유발한다. 암흑천지가 된 도시에서 통신, 금융, 의료 등 모든 기능이 멈춰 서며 국가는 아비규환에 빠진다.

이달 개최된 '제2회 정보통신기술사대회'에서도 AI에 의한 정보통신기술(ICT) 분야 인프라 장애, 두절 등 통신 재난의 위험성이 경고되기도 했다.

AI는 물리적 타격뿐만 아니라 인간의 정신과 사회 시스템마저 유린한다. 선거 직전 유력 대선 후보가 심각한 비리를 자백하는 딥페이크 영상이 유포된다. 너무나 정교하게 만들어진 이 가짜 영상은 순식간에 소셜미디어를 타고 퍼져나가 국민의 눈과 귀를 속이고, 결국 선거 결과를 뒤집어 민주주의의 근간을 파괴한다.

국정원과 국가인공지능안보센터는 AI 기술이 국가안보와 경제, 사회 전반의 경쟁력을 좌우하는 핵심 자산임을 인정하면서도, 이에 따르는 보안 위협과 윤리적 문제를 방치할 경우 돌이킬 수 없는 재앙을 맞이할 것이라고 강력히 경고했다. 사례집은 각 시나리오별로 '이중 검증 시스템', '킬 스위치', '레드팀 운영', 'AI 법제화' 등 구체적인 대비책을 제시하며 정부 부처의 즉각적인 행동을 촉구했다.

국정원은 "멀리 내다보고 깊이 생각하지 않으면, 머지않아 반드시 근심거리가 생긴다(人無遠慮 必有近憂)"는 논어의 한 대목을 인용하며, 지금 당장 AI의 폭주를 막을 안전장치를 마련하지 않는다면 인류는 스스로 창조한 지능에 의해 파멸을 맞이할지도 모른다고 경고했다.

이들은 그러면서 "사례집은 인공지능(AI) 활용에 따라 발생하는 중요 위협 상황에 대한 개략적 대비 방안만을 다루고 있으며, 국가·공공기관이 AI 시스템 구축을 위한 세부 보안대책을 수립할 경우는 국정원의 '국가 정보보안 기본지침'과 관련 가이드라인을 따라야 한다"고 강조했다.