[사이언스프리즘] AI를 통제할 수 있는 미래가 올까

엄청난 발전 속도 자랑하는 AI
무기제어·군사작전 투입에 우려
인간보다 더 똑똑한 AI 개발 땐
우린 무지함을 감당할 수 있을까

올해 노벨 물리학상과 화학상이 모두 AI 연구자들에게 주어졌다. 이는 많은 이들을 놀라게 하기도 하고, 어느 정도 논란이 되기도 했지만, 앞으로 우리가 살게 될 세상에서 AI가 얼마나 큰 역할을 하게 될지 시사하는 바가 크다. ‘딥러닝의 아버지’이자 ‘AI계의 대부’로 불리는 제프리 힌턴 교수는 노벨 물리학상 수상 소식이 전해진 직후의 인터뷰에서 다음과 같이 말했다.

“AI 혁명은 산업혁명과 비견할 만합니다. 하지만 이 혁명은 인간의 물리적 능력을 뛰어넘는 것에 그치지 않고, 인간의 지능을 넘어서는 혁명이 될 것입니다. 문제는, 우리가 우리보다 똑똑한 존재와 함께 사는 것이 어떨지 한 번도 경험해 본 적이 없다는 것입니다.”

힌턴 교수는 오랜 기간 구글에서 일하다가 2023년 5월 퇴사했는데, 회사와 결별한 이유는 AI의 위험성에 대한 의견차 때문이라고 알려져 있다. 그는 AI가 우리 삶을 더 낫게 만들 가능성도 가지고 있지만, 결과적으로 AI가 인간보다 높은 지능을 가지고 인간을 완벽하게 제어하게 될 수도 있다는 두려움을 여러 차례 피력해 왔다.

실제로 AI를 사용해서 할 수 있는 일들은 놀라운 속도로 발전하고 있다. 글을 쓰거나 발표 자료 제작, 사진과 그림을 만드는 것은 이미 모두가 알고 있는 기능이고, 여러 음악 스타일을 취합해 작곡과 프로듀싱도 하며, 광고나 단편영화 제작도 해내고, 심지어 과학 실험의 디자인과 설계, 수행, 데이터 분석, 그리고 결과를 취합해 논문을 쓰는 일에까지 도전한다.

가장 최근에 출시된 AI 프로그램들의 경우는 이제 AI가 실제로 사용자의 컴퓨터를 제어하는 기능까지 제공하고 있다. 챗GPT를 만든 오픈AI의 최대 경쟁사로 꼽히는 Anthropic의 Claude 3.5 Sonnet는 개발자들을 위해 ‘Computer Use’ 기능을 새로 출시했는데, AI가 마우스 커서를 움직이기도 하고, 버튼을 누르기도 하며, 키보드로 텍스트 입력도 할 수 있고, 실제로 컴퓨터 모니터 화면에 보이는 내용을 인지하고 학습하도록 설계되어 있다.

챗GPT 가 출시된 후 나왔던 AutoGPT 같은 프로그램들처럼 사용자가 ‘상위목표’를 입력하면 AI 프로그램이 그 실행을 위한 ‘하위목표’들을 스스로 설정하고 실행할 수 있도록 되어 있다. 이러한 기능을 통해서 사용자들이 AI를 일상 속에서 훨씬 편리하게 쓸 수 있게 하기 위함이다. 예를 들어, “내 컴퓨터에 있는 이력서를 찾아서 새로 업데이트하고 온라인 구직 사이트에 올려줘”라고 하면, 온라인에서 나와 관련된 기사나 경력을 검색해서 최신 정보를 이력서에 업데이트하고, 다른 이력서를 참고해서 더 멋진 포맷으로 바꿔줄 뿐 아니라, ID와 패스워드를 직접 입력해 파일을 업로드까지 할 수 있는 단계로 가는 것이다.

그러나 이런 AI 기술의 엄청난 발전 속도와 더불어 AI의 위험성에 대해서 경고하는 목소리는 점점 더 많은 곳에서 나오고 있다. 특히 러시아·우크라이나와 중동 지역을 포함해 점점 더 많은 곳에서 일어나고 있는 군사적 갈등과 관련해 AI가 무기를 제어하고 군사 작전에 관여하는 부분에 대해서도 더 큰 경각심을 가져야 한다는 지적도 있다.

작년 5월에 열렸던 한 군사 분야 회의에서 한 미국 공군 장교가 AI 드론으로 실행했던 시뮬레이션을 언급했다가 큰 충격을 준 적이 있다. AI가 제어하는 드론으로 적의 주요 지점을 공습하도록 지시했는데, 최대한 신속하고 효율적으로 작전을 진행하라고 했더니, AI는 명령을 전달받아야 하는 아군 본부를 먼저 파괴해버리는 선택을 했다는 것이다. 인간의 지시와 명령을 받아서 움직이는 것이 가장 효율적이지 않기에 그 명령 자체를 받을 수 없는 상태로 만드는 선택을 한 것이다. 다시 아군 본부를 파괴할 수 없도록 강력한 조건을 코딩해서 넣었더니, AI가 명령을 전달받는 수단인 컨트롤타워의 안테나를 스스로 파괴하는 선택을 했다. 이 시뮬레이션이 뉴스와 미디어를 타면서 유명해지자, 이는 실제로 실행된 군사 작전이 아니라 가정된 상황이었을 뿐이라고 미 공군이 급히 해명하기는 했지만, AI는 우리가 지시한 명령을 수행하는 데 있어서 우리와는 다른 방식으로 사고하고 문제 해결법을 찾을 수 있다는 것을 보여주는 예다.

구글 출신의 엔지니어 모 가댓이 쓴 책 ‘AI쇼크, 다가올 미래’에서 저자는 AI의 위험성은 AI가 스스로 사고하고 인간에게 해로운 선택을 하기 때문이 아니라, AI를 사용하는 인간의 무지함과 우매함이 위험을 자초할 수도 있다는 경고를 던진다.

“우리 인간 중 바보 같은 누군가 한 명이 절대로 AI에게 시켜서는 안 될 일을 시키는 일이 과연 없을까?”

이 질문을 듣는 순간, 올해 노벨 물리학상을 받은 힌턴 교수의 걱정이 그 어느 때보다 와 닿긴 했다. 만약 어느 순간 정말 우리보다 더 똑똑해지는 AI가 세상을 움직인다면, 우리는 우리 스스로의 무지함을 스스로 감당할 수 있을까.

장동선 궁금한뇌과학연구소 대표