AI와 영상 제작의 방법

AI로 누구나 영상을 만들 수 있다
인공지능이 영상 제작 전반을 어떻게 혁신하고 있는지를 심층적으로 탐구한다. 시나리오 작성, 캐스팅, 촬영, 편집, 시각 효과(VFX) 등 모든 과정에서 AI는 생산성과 창의성을 비약적으로 끌어올리고 있다. 또한 개인화 콘텐츠, 증강 현실(AR), 가상 현실(VR) 등 새로운 영상 체험을 가능하게 하며, 영상 산업의 지형을 바꾸고 있다.
이 책은 머신 러닝, 딥 러닝 등 AI 기술의 원리와 발전 과정을 짚고, 영상 제작에 어떻게 적용할 수 있는지 구체적 사례와 함께 설명한다. 특히 AI 기반 시나리오 생성, 데이터 분석을 통한 창작 지원, 자동화된 편집 및 스타일 실험 등 영상 제작자가 실질적으로 활용할 수 있는 방법을 체계적으로 소개한다. 인공지능 시대에 영상 제작자가 갖추어야 할 이해와 준비를 돕는 한편, 창작의 한계를 넓히고 혁신을 가속하는 미래 전략을 제시한다. 변화하는 영상 산업을 선도하고자 하는 모든 이들에게 필독서가 될 것이다.

인공지능이 시나리오 작성, 편집, VFX 제작 등 영상 제작 전 과정을 혁신하는 방식을 다룬다. 머신 러닝과 딥 러닝의 원리부터, AI 기반 콘텐츠 제작, 자동화 편집, 개인화 영상 기획까지 실질적 적용 방법을 소개한다.

진승현
호서대학교 문화영상학부 영상미디어트랙 교수이자 중앙도서관 관장직을 맡고 있는 현직 영화감독이다. 동국대학교에서 영화 연출 제작으로 석 · 박사 학위를 받았다. (주)진진엔터테인먼트필름 대표이사로도 활동하고 있다(1991∼ ). (주)TNT 프로덕션의 PD 및 제작 이사(1995∼ ), 대한민국대학영화제 이사장 및 집행위원장이다(2008∼ ). 영화진흥위원회 예술 영화인증위원(2015∼2018), KTV 독립 영화관 자문위원 등을 역임했다(2018∼2021). 현재 한국영상제작기술학회 회장(2024∼ ), 한국예술교육학회 부회장 겸 편집위원장(2022∼ ), 한국영화감독조합원(2013∼ )과 한국문화예술교육학회 회장(2017∼ ), DMZ 국제다큐영화제 조직위원을 맡고 있다. MBC드라마제작국과 예능국에서 근무했으며 영화 <7월 32일>, <전주에서 길을 묻다>, <어디로 갈까요> 등 다수의 작품에서 감독으로 활동했다. 또한 “아바타를 중심으로 본 3D 영화산업의 기술 동향과 발전 방향에 관한 연구”(2010), “AI 기술을 활용한 영상 제작 교육과 현재와 미래 전망에 관한 연구”(2024), “버츄얼 제작시스템을 기반으로 한 영상 제작 교육의 환경과 발전 방안 연구”(2024), “미디어아트가 예술교육에 미치는 영향 연구”(2024) 등 다수의 영상 분야를 연구했다. 영화 <진짜 사나이>로 대한민국영상대전에서 작품상(2006)을, 광주국제영화제에서 관객상(2005)을 수상했다.

영상 제작에서 AI 혁신과 미래 전망

01 AI 시나리오
02 AI 시나리오 쓰기
03 AI 배우
04 AI 아바타
05 AI 연출: 프리프로덕션, 프로덕션
06 AI 연출: 포스트프로덕션
07 AI 촬영
08 AI 편집
09 AI와 VFX
10 데이터 분석과 시뮬레이션

인공지능은 시나리오에 등장하는 캐릭터 창작 부분에도 큰 도움을 줄 수 있다. 갈등 상황에 있는 등장인물들이 어떤 방식으로 사건과 감정을 일으키고 동시에 어떻게 해결할 수 있는지 심리적 특성을 분석할 뿐만 아니라, 각 캐릭터의 특성에 맞는 대사와 행동을 생성할 수도 있다. 즉, 한 명의 작가가 하나의 생각으로 쓰기 어려웠던 특성을 인공지능이 보충해 준다면, 일관성이 있으면서 깊이 있는 캐릭터가 만들어진다고 본다. 함께 시뮬레이션을 해 가며 좋은 시나리오를 창작할 수 있다고 보고, 본격적으로 챗지피티(ChatGPT)를 통해 시나리오 창작을 진행해 보았다.
－01_“AI 시나리오” 중에서

인공지능 기술은 영화에 다양하게 사용돼 왔다. 특히나 영상 편집 및 후속 처리 부분에서 그 빛을 더욱 발휘했다. 편집 소프트웨어에서는 자동 색상 보정, 영상 안정화, 장면 탐지 등의 기능을 제공해 제작자가 더욱 빠르고 정교하게 영화를 편집할 수 있도록 도우며 특수 효과 측면에서도 많이 활용되었다. 딥 러닝을 활용한 이미지 생성 모델을 사용하면서 더 실감 나는 디지털 캐릭터와 배경을 만들 수 있었고 복잡한 특수 효과의 인공지능에 함숫값을 표현하거나 자동으로 생성할 수 있었다. 그렇다면, 영상 업계 내에서 어떤 일을 더 할 수 있을까? 먼저, 영화 캐스팅 및 역할을 선정하는 부분에서 도움을 줄 수 있다. 인공지능은 대규모 정보를 지니기 때문에, 데이터 분석을 통해 창작자의 분위기와 스토리에 맞는 최적의 캐스팅을 제안해 줄 수 있다. 배우 개인의 과거 작품의 성공 패턴과 지금까지의 연기력을 분석해 적절한 배역에 임할 수 있도록 할 수 있다.
－03_“AI 배우” 중에서

많은 작업이 요구되는 포스트프로덕션 단계에서 인공지능을 사용해 작업의 효율성과 세밀함을 향상시키는 움직임은 점점 늘어난다. 인공지능을 통해 자동으로 영상 편집을 어느 정도는 할 수 있다. 인공지능 알고리즘을 통해 대량의 촬영 데이터를 분석하고, 영화감독이 생각하고 있는 감정적 흐름과 이야기 구조에 맞게 컷을 자동으로 선택 및 편집할 수 있다. 영화의 분위기와 시나리오를 기반으로 최적의 컷 편집이 가능하다는 것이다. 인공지능의 도움을 받아 방대한 양의 편집 일의 무게를 덜 수 있다. 또한 컷 편집 이외의 후반 작업에서도 인공지능은 업무량을 줄여 주는 데 탁월하다. 아직은 인공지능이 단독으로 모든 후반 일을 처리할 수는 없겠지만, 특수 효과 부분이나 그래픽 처리, 색 보정 등의 영역에서 인공지능은 일관성 있는 영상미를 유지하며 영화에 맞는 작업을 진행한다.
－06_“AI 연출: 포스트프로덕션” 중에서

2020년 엠넷에서 방영한 은 ‘죽은 사람을 다시 무대에서 볼 수 있을까?’라는 질문과 함께 시작한 도전적인 프로젝트이며, 두 명의 인물(터틀맨, 김현식)로 구성되었다. 이 방송 프로젝트의 유튜브 조회 수는 1256만 회(2024년 5월 기준)에 달했다. 생전에 남긴 각종 오디오와 사진, 영상 자료를 이용해 인물을 복원했으며, 증강 현실(AR)을 이용한 홀로그램을 통해 무대 위 공연을 기획한 것이다. 이처럼 복원 능력은 인간과 시스템이 공존할 새로운 가능성으로 제시되었다.
－09_“AI와 VFX” 중에서