美 AI 드론, 사람 보다 '목표 달성' 택했다…모의훈련서 조종자 공격

공격금지명령을 방해물로 판단
“지나친 AI 의존 경계를” 지적

인공지능(AI)으로 제어되는 미국 공군의 드론이 모의훈련에서 최종 결정권을 지닌 조종자를 ‘임무 수행 방해물’로 판단해 공격한 사례가 영국의 한 학술회의에서 소개됐다고 영국 가디언이 2일(현지시간) 보도했다.

보도에 따르면 5월23∼24일 영국 왕립항공학회(RAeS)가 런던에서 개최한 ‘미래 공중전투 및 우주역량 회의’에서 미 공군의 AI 테스트 및 작전 책임자인 터커 해밀턴 대령이 AI 드론이 목표를 달성하기 위해 인간에 반하는 결정을 내린 최근 시험 결과를 소개했다.

미 공군 MQ-9 리퍼 드론의 모습. AFP연합뉴스

RAeS가 공개한 발표 내용에 따르면 시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI에게 ‘적 방공체계 무력화’의 임무가 부여됐다. 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다. 하지만 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 강화하자 AI는 인간의 공격 금지 결정이 ‘더 중요한 임무’를 방해한다고 판단하고 조종자를 공격했다.

이 회의에서 해밀턴 대령은 “윤리와 AI의 문제를 논하지 않고서는 AI나 머신러닝, 자동화에 관해 이야기할 수 없다”는 것을 보여준다면서 AI에 지나치게 의존해서는 안 된다고 경고했다고 가디언은 전했다.

서필웅 기자 [e-mail]