박진호 KAIST 김재철AI대학원 초빙교수 인터뷰

31분 AI 영화에 석 달…AI가 만든 300개 영상 중 20개만 사용
“감독은 큐레이터 아닌 지휘자…기술보다 이야기·판단력이 핵심”

빛 한 점 들지 않는 2035년 지중해 심해. 한국인 여성 고고학자 심 박사와 휴머노이드 로봇 ‘탈로스’가 수천년간 바닷속에 잠들어 있던 알렉산더 대왕의 무덤을 향해 내려간다. 탐사정의 불빛이 모래에 파묻힌 석상과 무너진 기둥을 훑는다. 이어 탐사정을 향해 미사일이 날아들자 탈로스는 “문화유산은 어떤 상황에서도 보호돼야 한다”고 외치며 공격을 막아선다.

박진호 KAIST 김재철AI대학원 초빙교수가 지난 14일 서울 강남구 가빈아트홀에서 포즈를 취하고 있다. 이동수 기자

◆시나리오부터 캐릭터 시트까지…인공지능(AI) 영화 제작법 보니

지난 14일 서울 강남구 가빈아트홀에서 열린 서울시교육청교육연수원의 ‘2026 우면골 아카데미 특별기획 직무연수’에서 공개된 31분짜리 단편 SF 역사서사시 ‘알렉산더 프로젝트’의 한 장면이다. 박진호 KAIST 김재철AI대학원 초빙교수가 1998년 대학 졸업논문으로 쓴 ‘알렉산더의 동방원정과 간다라 미술’에서 모티브를 얻어 생성형 AI로 만들었다. 이날 박 교수가 제작한 영상을 포함해 서울시교육청 소속 교원과 교육전문직을 대상으로 ‘백악기 공룡쟁투’ 등 총 9편의 AI 영상이 상영됐다.

“아직은 자동화보다 인간이 직접 판단하고 선택하는 작업이 훨씬 많습니다.”

이날 본보와 만난 박 교수는 AI 영화가 문장 몇 줄을 입력하면 완성되는 자동 제작물과는 거리가 멀다고 강조했다. ‘알렉산더 프로젝트’를 만드는 데 박 교수를 포함한 6명이 약 석 달간 매달렸다. 영화에 들어갈 장면을 생성하는 일뿐 아니라 수많은 결과물 가운데 쓸 만한 영상을 가려내고, 역사적 오류를 검수하는 데 상당한 시간이 들었다.

박 교수는 대학 시절 영화감독을 꿈꾸며 2년간 시나리오 작가 교육을 받았지만 1999년 문화유산 분야로 진로를 돌렸다. 이후 캄보디아 앙코르와트와 석굴암, 황룡사, 아프가니스탄 바미안 석불 등 국내외 문화유산을 디지털로 복원했다. 한때 접어둔 영화의 꿈이 그간 쌓은 문화유산 연구와 생성형 AI를 만나 다시 이어진 셈이다.

그는 2024년 ‘걸리버 율도국 여행기’를 시작으로 지금까지 8편의 AI 영화를 연출하거나 제작했다. 첫 작품으로 2025 경상북도 국제 AI·메타버스 영상제 대상을 받았고, 올해는 진시황릉 병마용갱과 몽골 고비사막의 공룡 화석을 소재로 한 후속작을 준비하고 있다. 현재 인도에서  ‘제2회 한·인도 AI영화제’도 진행하고 있다.

지난 14일 서울 강남구 가빈아트홀에서 열린 서울시교육청교육연수원의 ‘2026 우면골 아카데미 특별기획 직무연수’에서 박진호 교수팀이 제작한 AI 영화를 상영하고 있다. 

박 교수팀의 AI 영화 제작은 시나리오 작성, 이미지 생성, 영상 생성, 음성·음악 제작, 편집 등 다섯 단계를 거쳤다. 먼저 역사 자료와 고증 내용을 토대로 시나리오를 쓴 뒤 제미나이와 클로드 같은 거대언어모델(LLM)을 활용해 이야기 구조와 장면별 프롬프트를 다듬었다.

이어 이미지 생성 모델 미드저니와 구글의 나노바나나로 인물과 공간의 기준 이미지를 만들었다. 이때 주인공의 얼굴과 의상, 표정을 여러 각도에서 정리한 ‘캐릭터 시트(주인공의 다양한 얼굴모습 조망)’를 먼저 제작했다. 장면이 바뀔 때마다 같은 인물의 얼굴과 체형, 복식이 달라지는 AI 영상 특유의 문제를 줄이기 위해서다.

완성된 기준 이미지는 영상 생성 모델인 구글의 생성AI 비오(Veo)3나 중국 바이트댄스의 시댄스(Seedance)에 넣어 움직이는 영상으로 바꿨다. 텍스트만 입력해 곧바로 영상을 생성하는 ‘텍스트 투 비디오’보단, 이미지를 먼저 만든 뒤 영상으로 변환하는 ‘이미지 투 비디오’ 방식을 주로 썼다. 인물과 공간의 형태를 먼저 고정해 장면 간 일관성을 높이고, 텍스트만 입력했을 때 발생하는 예측하기 어려운 변형을 줄이기 위해서다.

박 교수는 “텍스트만 입력하면 익숙한 영화나 게임의 이미지가 섞여 나와 역사적 배경과 전혀 다른 영상이 만들어질 수 있다”며 “문화유산 전문가가 그린 스케치나 고증 자료를 기준 이미지로 제공해야 원하는 시대와 공간에 가까워진다”고 말했다.

음악과 내레이션에도 AI를 활용했지만 최종 편집은 어도비 프리미어와 다빈치 리졸브 같은 기존 영상 편집 프로그램에서 이뤄졌다. 제작팀은 시나리오와 연출을 총괄하는 감독, 영상을 생성하는 AI 크리에이터 2∼3명, 편집·음악 담당자로 구성됐다. 전통 영화에서 촬영과 조명, 미술, 의상, 분장, 특수효과 등 여러 직군이 나눠 맡던 일을 한 사람이 여러 개씩 담당하는 구조다.

박진호 KAIST 교수팀이 생성형 AI로 제작한 31분짜리 단편 SF 역사서사시 '알렉산더 프로젝트'를 공개했으며, 시나리오·이미지·영상·음향·편집 5단계 각 단계마다 인간의 판단과 선택이 개입하는 AI 영화 제작 방법론을 강조한 이미지. AI가 생성.

이날 상영된 4분 분량의 ‘백악기 공룡쟁투’는 자문 인력을 포함해 5명이 약 일주일간 작업했다. 박 교수는 AI 프로그램 이용료 등 직접 비용으로 ‘알렉산더 프로젝트’에 약 150만원, ‘백악기 공룡쟁투’에 30만∼50만원이 들었다고 밝혔다.

다만 이는 인건비와 장비비, 고증을 위해 오랜 기간 축적한 연구 비용 등을 제외한 금액이다. 그는 “소규모 팀이 개인 비용으로 만든 작품이라 전통 영화처럼 전체 제작비를 산정하기는 어렵다”며 “완성도를 높인 AI 영상이나 게임 프로젝트는 프로그램 비용만 수백만원에서 수천만원까지 쓰는 사례도 있다”고 말했다.

◆AI 영화 ‘손 많이 가네’…“300개 만들면 280개 버려야”

선별에 손이 많이 가는 것은 생성형 AI가 같은 명령을 입력해도 매번 다른 결과를 내놓기 때문이다. 감독이 원하는 카메라 각도와 배우의 미세한 표정, 갑옷과 복식의 세부 형태까지 정확하게 통제하기 어렵다.

박 교수는 “영상 클립 300개를 만들면 실제로 쓸 수 있는 것은 20개 정도”라며 “나머지는 흐름이 맞지 않거나 화면이 조악해 모두 버려야 한다”고 말했다.

박진호 교수팀이 상영한 AI 영화 '알렉산더 프로젝트'의 한 장면. 한국인 여성 고고학자 심 박사와 휴머노이드 로봇 ‘탈로스’가 문화재를 탐사하고 있다. 

알렉산더 프로젝트에서는 알렉산더 대왕의 갑옷과 고대 헬레니즘 도시의 건축 양식을 구현하는 데 애를 먹었다. 구체적인 시대와 지역을 입력해도 AI가 서구 판타지 게임이나 할리우드 영화에서 본 듯한 갑옷과 도시를 만들어내는 경우가 많았다.

공룡이 등장하는 ‘백악기 공룡쟁투’는 더 큰 난항을 겪었다. 공룡의 피부와 골격, 움직임을 자연스럽게 만드는 동시에 전문가들이 인정할 만한 고증까지 유지해야 했기 때문이다.

박 교수는 “전문가가 보면 공룡의 피부나 골격이 잘못됐다는 사실을 바로 알아본다”며 “만든 결과물의 약 80%를 버리고 20% 정도만 이용해 4분짜리 영화를 완성했다”고 설명했다.

박 교수팀이 작품에 활용한 약 8초 분량의 영상 클립 하나를 얻는 데도 적게는 수십개, 많게는 수백개의 결과물을 만들어야 했다. 프롬프트의 단어와 순서를 조금씩 바꾸고, AI가 결과물을 만드는 기준값인 ‘시드’를 변경하며 같은 장면을 반복 생성했다.

그는 이 과정을 도자기 장인의 작업에 비유했다. “장인이 수많은 도자기를 구운 뒤 기준에 맞는 것만 남기듯 AI 영화감독도 수많은 영상을 만들고 버린다”며 “아직은 자동화보다 인간이 직접 판단하고 선택하는 작업이 훨씬 많다”고 말했다.

가장 난감한 순간은 고증이 무너질 때다. 알렉산더 프로젝트에는 박 교수가 20년에 걸쳐 고증한 아프가니스탄 바미안 석불의 얼굴이 반영됐다. 그러나 AI가 생성한 얼굴은 그가 확정한 복원안과 계속 어긋났다. 박 교수는 일곱 번가량 폐기한 뒤에야 쓸 만한 장면을 얻었다고 말했다.

AI 영화 제작에서 생성형 AI가 한국·아시아 문화유산을 고증할 때 일본식·중국식 양식을 혼용하는 오류를 범하며, 영상 클립의 80~93%를 폐기해야 하는 현실을 경고하는 이미지. 문화유산 전문가의 검수 개입이 필수적이라는 박 교수팀의 주장을 형상화했다. AI가 생성. 

문화유산을 소재로 한 AI 고증은 특히 민감하다. 글로벌 AI 모델이 한국과 중국, 일본의 역사와 건축 양식을 정확하게 구분하지 못하는 경우가 있기 때문이다. 박 교수는 신라를 소재로 한 뮤직비디오에 황룡사 9층목탑을 등장시키자 일본식 목조탑과 비슷한 형태가 생성됐고, 조선시대 왕의 행차를 표현한 미디어아트에는 중국 자금성을 연상시키는 붉은 건축물이 섞여 나왔다고 설명했다.

이는 국내 AI 산업이 안고 있는 기술적 딜레마와도 맞닿아 있다. 박 교수팀이 사용하는 비오, 시댄스, 미드저니 등 주요 생성형 AI 도구는 미국과 중국 기업이 개발했다. 한국과 아시아의 역사·문화를 영상으로 재현하면서도 표현 방식은 해외 기업이 구축한 데이터와 모델에 상당 부분 의존하는 셈이다. 

이에 박 교수는 검수를 두 단계에 걸쳐 진행했다. 먼저 생성 결과를 고고학·역사 사료와 대조한다. 자체 판단만으로 확신하기 어려우면 해당 시대와 유적을 연구한 전문가에게 다시 자문한다. 박 교수는 “그럴듯하지만 틀린 이미지가 검증 없이 확산하면 대중과 미래 세대가 이를 실제 역사로 오인할 수 있다”며 “문화유산 전문가가 AI 제작 과정에 개입해 잘못된 결과물을 걸러내야 한다”고 강조했다. 

◆장편 영화로 들어온 AI…’투명한 트로이 목마’일까

AI 영화는 더 이상 기술 시연에만 머물지 않는다. 지난 5월 칸국제영화제 기간에는 미국 AI 영상 스타트업 힉스필드AI가 제작한 95분 분량의 액션 영화 ‘헬 그라인드’가 상영됐다. 카자흐스탄을 기반으로 한 감독과 촬영감독, 편집자 등 15명이 2주 만에 완성했다. 제작비는 50만달러(약 7억3000만원) 미만이었고 이 가운데 약 40만달러(약 5억8000만원)가 AI 연산 비용이었다. 공식 프로그램은 아니었지만, 입소문을 타 화제를 모았다.

장편 AI 영화가 등장하면서 영화계의 경계도 커지고 있다. 최근 영화 ‘오디세이’를 연출한 크리스토퍼 놀란 감독은 AI를 “그리스군이 숨어 있다는 사실을 모두가 아는 투명한 트로이 목마”에 비유했다. 영화산업이 기술의 이면을 외면한 채 이를 받아들이고 있다는 역설을 강조한 것이다. 놀란은 젊은 세대가 질 낮은 AI 콘텐츠를 ‘AI 슬롭(slop·찌꺼기)’이라고 부르며 거부하는 현상을 건강한 회의주의로 평했다. 영화계에서는 AI가 기존 인력을 대체하고 작품의 질을 떨어뜨릴 수 있다는 우려도 이어지고 있다.

박진호 교수팀이 상영한 AI 영화 '알렉산더 프로젝트'의 한 장면. AI 기술에 힘입어 파괴된 바미안 석불이 디지털로 복원되고 있다. 

박 교수도 “창작자들의 생존권 위기와 반발은 지극히 정당하고 현실적인 문제”면서도 장기적으로는 인간과 기술이 함께 변화하는 ‘공진화’를 전망했다. 카메라의 발명이 회화를 없애지 않고 사진예술과 새로운 미술 사조를 낳았으며, 컴퓨터그래픽(CG)이 실사 촬영을 대체하기보다 영화가 표현할 수 있는 장면의 범위를 확장했다는 것이다.

그는 “AI를 통해 창작자들은 거대 자본 없이도 아이디어와 기획력만으로 영화를 만들 수 있는 1인 혹은 소규모 스튜디오 시대를 맞이할 것”이라며 “AI가 인간의 창의성을 확장하는 도구로 공존하는 생태계가 구축될 것”이라고 내다봤다.

그렇다면 AI가 영상을 만들어 주는 시대에 감독의 역할은 무엇일까. 좋은 결과물을 고르는 ‘큐레이터’에 그치는 것 아니냐는 질문에 박 교수는 ‘오케스트라 지휘자’에 가깝다고 답했다. 통제하기 어려운 기술을 하나의 서사 안으로 끌어들이는 역할이라는 것이다. 기존 영화감독이 촬영장에서 배우와 스태프를 지휘했다면 AI 영화감독은 프롬프트와 이미지, 영상, 음악, 편집 결과를 조율한다.

박 교수는 AI 시대 창작자의 핵심 역량으로 단순한 프롬프트 기술보다 인문학적 상상력을 꼽았다. 그는 “역사와 철학, 미술사에 대한 이해가 없다면 AI에 수준 높은 장면을 요구하기 어렵다”며 “기술은 빠르게 평준화되겠지만 어떤 이야기를 하고 싶은지, 어떤 이미지가 역사적으로 타당한지를 판단하는 능력은 평준화되지 않는다”고 말했다.

제작 문턱이 낮아졌다고 해서 좋은 영화의 문턱까지 낮아지는 것은 아니다. 박 교수는 현재 AI 영상 상당수가 화려한 이미지에 집중한 나머지 관객이 몰입할 이야기와 감정은 빈약하다고 평했다. 그는 “기술적 신기함은 금방 질린다”며 “관객이 기술이 아니라 이야기와 캐릭터의 감정에 몰입할 수 있는 서사의 완결성을 갖춰야 AI 영화도 단순한 기술 시연을 넘어 영화로 인정받을 수 있다”고 했다.

김나인 기자 [e-mail]