급속히 발전하는 인공지능(AI) 기술은 아마겟돈(선과 악의 세력이 싸울 최후의 전쟁터)으로 이어지지는 않을까. 이같은 우려가 나오는 이유는 SF 영화 터미네이터에 등장하는 킬러로봇에서부터 테러리스트들의 치명적 생물학무기 개발을 돕는 데 이르기까지 AI로 발생할 수 있는 최악의 시나리오가 결코 상상만은 아닐 수 있기 때문이다.

26일(현지시각) 데일리메일은 리시 수낙 영국 총리가 11월 1, 2일 양일간 영국 버킹엄셔 블래츨리파크에서 열릴 국제 AI 안전 정상회담(AI Safety Summit)을 앞두고 AI 위험성을 경고한 것을 계기로 AI가 인류를 멸망시킬 수 있는 다양한 방법과 가능성 시나리오를 제시했다.

글로벌 AI 안전 정상회담 행사는 11월 1일, 2일 양일간 버킹엄셔 블레츨리 파크에서 열린다.

이 행사는 주요 7개국(G7, 미국·일본·독일·영국·프랑스·캐나다·이탈리아) 등 세계 주요국 고위 정부 인사, AI 기업, 전문가가 모여 AI 위험성을 공유하고 공동 대책을 논의하는 자리다.

블룸버그에 따르면 세계 각국 정상들 가운데는 에마뉘엘 마크롱 프랑스 대통령, 쥐스탱 트뤼도 캐나다 총리, 우르줄라 폰데어라이엔 유럽연합(EU) 집행위원장 등이 참석하며, 미국에선 조 바이든 대통령 대신 캐멀라 해리스 부통령이 참석해 연설한다. 우리정부에서는 이종호 과기정통부 장관이 참석할 것으로 알려졌다.

AI 기업인 중에는 샘 올트먼 오픈 AI 최고경영자(CEO)와 사티아 나델라 마이크로소프트(MS) CEO, 그리고 우리나라에서는 하정우 네이버클라우드 AI 이노베이션센터장, 전경훈 삼성전자 DX(디바이스경험)부문 최고기술책임자(CTO) 겸 삼성리서치장(사장)이 공식초청을 받아 참석한다.

행사가 열리는 블레츨리 파크는 영국 컴퓨터 공학의 발상지로서 2차 세계대전 당시 독일군의 암호 ‘에니그마’를 해독한 곳이다. 당시 블레츨리파크에서 암호해독가로 활동한 영국의 천재 수학자 앨런 튜링은 1950년 AI에 대한 논문(계산기계와 지능)을 통해 AI 기술을 고안하고 AI의 광범위한 활용을 예측한 바 있다.)

수낙 영국 총리는 26일 의료와 같은 분야에서 AI 기술의 긍정적 잠재력을 인정하면서도 “인류가 AI에 대한 통제력을 완전히 잃을 수 있다”며 “이는 믿을 수 없을 정도로 심각한 결과를 가져올 것”이라고 말했다. 이 중대한 메시지는 영국 정부 보고서 발간, 그리고 다음달 블레츨리 파크에서 열리는 세계 최초의 AI 안전 정상회의를 앞두고 나온 것이다.

이 행사에 참석할 많은 세계 최고의 과학자들은 가까운 미래에 이 기술이 우리를 죽이는 데 사용될 수도 있다고 생각한다.

데일리메일은 인간이 AI에 의해 제거될 수도 있는 5가지 방법으로 킬러로봇, AI 소프트웨어, 새로운 바이오 무기 개발, 자율주행 자동차, 공중보건을 꼽았다. 이를 소개한다.

킬러 로봇

주로 터미네이터(1984)와 같은 영화들 때문에 대중문화에서 흔히 볼 수 있는 ‘최후의 날’ 시나리오는 킬러 로봇들에 의해 인류가 멸망하는 것으로 묘사된다.

그들은 대개 무기를 장착하고 있고 침투할 수 없는 금속 외골격뿐만 아니라 거대한 초인적 팔다리를 갖추고 있어 인간을 쉽게 짓누르거나 목조를 수 있다.

데이터 회사인 프로퓨전의 나탈리 크램프 최고경영자(CEO)는 이러한 사건이 일어날 수 있지만 다행히도 우리가 살아있는 동안은 아닐 수도 있다고 생각한다.

그녀는 “로봇 공학이 터미네이터 같은 기계가 인류를 전복시킬 수 있는 로봇 공학 수준에 이르려면 멀었다”면서 “미래에는 어떤 것이든 가능하다...우리가 알고 있듯이, AI는 오류가 없는 게 아니다”라고 말한다.

일론 머스크의 테슬라와 같은 회사들은 집안일을 돕기 위해 고안된 휴머노이드 로봇을 개발하고 있지만 그들이 어떻게든 이상하게 행동한다면 문제가 생길 수 있다. (영화 ‘아이로봇’(2004)에서는 집안 일을 도와주던 휴머노이드 로봇이 갑자기 악당으로 변해 버린다.)

버밍엄 대학의 마크 리 교수는 터미네이터와 같은 킬러 로봇은 “급격한 AI 혁명에 힘입어 미래에는 분명히 가능하다”고 말했다.

맥스 테크마크 매사추세츠공대(MIT) 물리학자이자 AI 전문가는 인간의 죽음은 단지 이 행성의 생명체를 지배하는 규칙, 즉 ‘적자생존’의 일부일 수 있다고 생각한다. 역사는 지구에서 가장 똑똑한 종인 인간이 도도새와 같은 ‘덜 똑똑한’ 종들의 죽음에 책임이 있다는 것을 보여주었다. 테크마크 교수는 “더 강력하고 지능적인 AI로 작동하는 ‘종’이 탄생한다면 똑같은 운명이 우리를 쉽게 기다리고 있을 수 있다”고 경고했다. 게다가 덜 똑똑한 종은 (자신의 운명을)알 수 있는 방법이 없기 때문에, 우리는 우리가 언제 AI의 손에 의해 죽음을 당할지 알 수 없으리라는 것이다.

크램프 CEO는 “단기적으로 더 현실적인 형태의 위험한 AI는 군사용 응용을 위한 드론 기술 개발인데, 이는 AI로 원격 제어를 할 수 있고 ‘진짜로 피해를 주는 행동’을 할 수 있다”고 말했다.

AI 소프트웨어

영국 정부가 26일 내놓은 새로운 AI보고서(맨 아래)의 핵심 부분은 AI 기반 소프트웨어(SW)를 사용함으로써 중요한 의사 결정에 대한 ‘통제력을 상실’하게 되는 데 따른 우려를 공유하고 있다.

인간은 AI에 점점 더 중요한 결정 통제권을 주고 있다. 그것은 테니스 경기에서 아슬아슬한 판정 상황이기도 하고 중국에서 볼 수 있는 법정 판결처럼 같은 더 심각한 것이기도 하다.

중요한 것은 인간이 더 게을러지고, 업무를 아웃소싱하고 싶어하거나, AI의 능력에 대한 신뢰가 높아짐에 따라 이런 상황이 더욱 증가할 수 있다는 점이다.

새 보고서는 “전문가들은 ‘미래의 첨단 AI 시스템은 잠재적으로 재앙적인 결과를 초래하면서 스스로의 영향력을 높이고 인간의 통제를 줄이려고 할 것’이라고 우려하고 있다”고 쓰고 있다.

겉으로는 친절해 보이는 AI SW도 충분한 기술적 주의를 기울여 프로그래밍되지 않으면 인간에게 치명적일 결정을 내릴 수 있다. AI SW는 보안 장벽의 얼굴 인식에서부터 디지털 비서, 그리고 오답을 냈다는 비판을 받아온 챗GPT나 바드 같은 인기있는 온라인 챗봇에 이르기까지 이미 우리 사회에 보편화돼 있다.

크램프 CEO는 “챗GPT와 바드가 만들어 내는 것과 같은 환각과 실수는 AI 개발이 직면한 가장 시급한 문제 중 하나다”라고 지적했다.

AI 소프트웨어로 작동하는 거대한 기계들도 공장과 창고에 침투해 오작동을 일으켜 비극적 결과를 초래하기도 했다.

바이오 무기(생물학 병기)

바이오 무기(생물학 병기)는 질병과 사망을 유발하기 위해 생산되고 방출되는 독성 물질 또는 유기체다. 대량 살상 무기다. 분쟁 중 생물무기 사용은 1925년 제네바 의정서와 여러 국제 인도법 조약에 의거한 전쟁범죄다. 하지만 전문가들은 인공지능이 자율적으로 실험실에서 인간을 죽일 수 있는 새로운 생물무기를 만들 수 있다고 우려한다.

리시 수낙 총리는 26일 런던 연설에서 AI를 이용해 만든 화학무기와 생물무기도 특별한 위협으로 꼽았다.

AI 기반 약물 발견에 관련된 연구자들은 테러리스트들이 이 기술을 이용해 손쉽게 독성 신경작용제를 찾을 수 있다고 생각한다.

분자들은 1950년대에 영국 국방과학기술연구소가 개발한 근육마비로 사망을 가져오는 강력한 독성 신경작용제인 ‘VX’보다 더 독할 수 있다. 지난 2017년 북한의 김정남(김정일 맏아들이자 김정은 형)이 말레이시아 공항에서 북한의 사주를 받은 인도네시아와 베트남 여성에 의해 암살당한 후 시신에서도 신경성 독가스인 ‘VX’가 발견됐다. 이는 지금까지 알려진 화학무기용 물질 중 가장 독성이 강하다. VX는 대표적 신경작용제 독극물인 사린가스(GB)와 비교해도 피부 노출에 따른 독성이 훨씬 더 강하며, 흡입하는 경우에도 VX가 약간 더 높다고 한다.

영국 정부 보고서는 AI 모델이 이미 자율적으로 작동해 실험실 장비를 주문해 실험을 수행하고 있다고 밝혔다. 또 “AI 도구는 이미 단순한 단일 기능으로 새로운 단백질을 생성하고 원하는 특성의 조합으로 생물학적 제제의 엔지니어링을 지원할 수 있다”고 쓰고 있다.

생물학적 설계 도구는 종종 오픈 소스이므로 안전 장치를 구현하기가 어렵다.

자율주행차

나탈리 크램프 프로퓨전 CEO는 가까운 미래에 ‘불량’이 돼 먹통이나 오작동으로 우리에게 피해를 줄 가능성이 가장 높은 AI 기기로 전력망이나 자율주행차 같은 일상적인 사물과 인프라를 꼽았다.

자율주행차는 카메라와 거리와 물체를 감지하는 라이다 장치를 사용해 주변 세계를 보고 인식하며, SW는 이 정보를 바탕으로 결정을 내린다. 하지만 약간의 SW 오류로 인해 자율주행차가 보행자들 쪽으로 돌진하거나 빨간 신호등이 켜져도 달리는 것을 볼 수 있다.

지난 24일 미국에서는 GM이 투자한 크루즈 자율주행차가 샌프란시스코에서 그동안 인명 사고와 오작동으로 사람들에게 추가 피해를 주고 교통흐름을 방해했다는 이유로 하루 24시간 운행허가를 받은 지 두 달 만에 운행정지를 당했다. 이는 특히 지난 2일 밤 샌프란시스코 시내 한 교차로에서 한 여성이 크루즈 로보택시에 깔린 사고 조사 결과를 반영한 것으로 보인다. 당시 이 여성은 교차로에서 보행 신호가 바뀐 뒤 횡단보도를 건너던 중 사람이 운전하는 다른 차량에 치인 충격으로 몸이 튕겨 나가 다가오던 크루즈 차량에 깔리면서 6m 정도 끌려갔다.

영국 교통부에 따르면 2035년까지 자율주행차 시장은 영국에서 거의 420억 파운드(69조여 원)의 가치로 커지게 될 것이라고 한다. 이때까지 영국 신차 판매의 40%가 자율주행 기능을 갖출 수 있을 것으로 전망됐다.

그러나 자율주행차는 사람 운전자보다 더 안전하게 운전할 수 있다고 믿어질 때에야 비로소 널리 채택될 수 있다. 이들은 이미 여러번 조명돼 온 안전성에 대한 우려 때문에 개발과 시험 단계에 오랫동안 멏춰 있었다.

애리조나 여성 일레인 허즈버그가 차량공유업체 우버의 자율주행차 시제품에 치여 치명적인 충격을 받은 지난 2018년 3월 이후에도 상당수의 테슬라 차량을 포함한 자율주행차 부상과 사망 사건들이 속출하고 있다.

일론 머스크 테슬라 CEO는 가장 유명한 AI 기반 자율주행차 기업체 대표 중 한명이며 특히 AI의 힘과 위험성에 관해 믿을 수 없을 정도로 거침이 없다.

머스크는 지난 3월 다른 1000명의 기술계 지도자들과 함께 AI를 개발하기 위한 ‘위험한 경쟁’을 중단할 것을 요구했다. 그들은 AI가 ‘사회와 인류에 심각한 위험’을 초래하고 ‘파국적’ 결과를 가져올 수 있다는 우려를 내놓았다.

공중보건 위기

영국 정부 보고서에 따르면 AI가 단기적으로 야기할 또 다른 현실적 해악은 공중보건 위기를 악화시킨다는 점이다.

적절한 규제가 없다면 페이스북과 같은 소셜 미디어 플랫폼과 챗GPT와 같은 AI 도구는 온라인에서 건강에 대한 잘못된 정보가 유통되는 것을 도울 수 있다. 이것은 결국 살인 미생물을 전파하고 확산하게 돼 잠재적으로 코로나19보다 더 많은 사람들을 죽이도록 돕게 될 수 있다.

이번 보고서는 지난 2020년 연구 논문을 인용했다. 당시 논문은 공중 보건 지침을 무시하는 사람들을 상대로 코로나19 바이러스 확산을 돕는 ‘신뢰할 수 없는 출처’로부터 쏟아지는 정보의 폭격을 비난했다.

만약 AI가 사람을 죽이면, 그것은 그들이 본질적으로 사악한 의식을 가지고 있기 때문에 그러는 것 같지는 않으며, 오히려 인간 설계자들이 결함을 설명하지 않았기 때문이다.

크램프 CEO는 “우리가 AI에 대해 생각할 때 우리는 AI가 실제로 ‘생각’하거나 분별력이 있는 것과는 거리가 멀다는 것을 기억하는 것이 중요하다. 챗GPT와 같은 애플리케이션은 생각하는 것처럼 보일 수 있고 많은 결과물이 인상적으로 보일 수 있지만 알고리즘으로 데이터를 실행하고 분석하는 것 이상의 일은 하지 않는다. 이러한 알고리즘이 제대로 설계되지 않았거나 사용하는 데이터가 어떤 식으로든 편향돼 있다면 바람직하지 않은 결과를 얻을 수 있다. 앞으로 우리는 AI가 인식과 독립적이고 사려깊은 생각을 구성하는 모든 상자를 작동하는 시점에 이를 수 있으며, 강력한 안전장치를 구축하지 않았다면 매우 해롭거나 예측할 수 없는 일을 하고 있음을 알게 될 것이다. 이것이 지금 AI의 규제에 대해 진지하게 논의하는 것과 AI가 어떻게 윤리적으로 발전하기를 원하는지 매우 신중하게 생각하는 것이 중요한 이유다”라고 말했다.

마크 리 버밍엄 대학 교수는 AI에 대한 주요한 걱정은 로봇보다는 SW, 특히 챗 GPT와 같은 대형 언어 모델(LLM)을 실행하는 챗봇에 있다는 것에 동의한다.

그는 “우리는 로봇공학의 다른 발전을 보게 될 것이라고 확신하지만, 지금으로서는 진짜 위험은 본질적으로 온라인에 있다고 생각한다. 예를 들어 테러리스트들은 LLM을 폭탄이나 생물 화학적 위협을 만드는 법을 배우기 위해 사용할 수도 있다”고 경고했다.

아래에서 영국정부 보고서를 볼 수 있다.

https://www.gov.uk/government/publications/frontier-ai-capabilities-and-risks-discussion-paper