AI 커버 음악

음악 창작과 소비의 경계를 허물다
임재범의 목소리로 아이유의 〈좋은 날〉을, 브루노 마스의 목소리로 뉴진스의 〈하입 보이〉를 듣는 것이 가능해진 시대다. AI 커버 음악은 특정 가수의 음성을 학습한 인공지능이 다른 곡을 그 목소리로 재현하는 기술로, 기존 커버 음악과는 다른 새로운 음악 경험을 제공한다. RVC 같은 무료 플랫폼 덕분에 일반인도 손쉽게 AI 커버를 제작할 수 있어 팬들이 직접 아티스트의 새로운 노래를 만들어 공유하는 ‘프로슈머’ 문화가 확산되고 있다. 이 과정에서 장르·세대·언어를 초월한 실험이 가능해졌으며, 고인이 된 가수의 목소리를 다시 무대에 올리거나, 다국어 발매를 실현하는 등 음악의 경계를 넘어서는 사례도 등장했다. 동시에 저작권과 법적 분쟁, 윤리적 논란이 새롭게 제기되며, AI 커버는 단순한 기술적 현상을 넘어 문화적·산업적 변화를 이끄는 중요한 쟁점으로 부상했다. 기원과 기술, 팬 문화의 변화, 산업적 파급력, 저작권 이슈와 미래 전망까지 폭넓게 조망하며, 음악 창작과 향유의 방식을 바꾸고 있는 이 현상을 탐구한다.

AI가 만들어 낸 커버 음악의 기술과 문화적 파급력을 다룬다. 팬덤, 창작, 저작권까지 변화시키는 새로운 음악 생태계를 종합적으로 조망한다. 인공지능총서. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

김선영
홍익대학교 대학원 문화예술경영학과 교수다. 경희대학교에서 예술경영학 박사학위를 받았다. 예술경영지원센터 대표, 경기콘텐츠진흥원 산업본부장, EBS PD, 한국문화경제학회 회장·편집위원장, 한국지역문화학회 부회장을 역임했다. 주요 저서로 《예술시장 스케치북》(2023), 《4차 산업시대, 예술의 길》(2020), 《예술산업시대의 공연예술 유통》(2018), 《예술로 읽는 4차산업혁명》(2018) 등이 있다. “브랜드 아이덴티티 프리즘 관점의 케이팝 IP 활용 사례 분석: ‘뉴진스’와 ‘파워퍼프걸’ IP 협업을 중심으로”(2025) 등의 논문을 KCI와 SSCI에 게재했다.

김기창
성균관대학교 경영학과 및 성균관대학교 경영전문대학원 Global MBA를 졸업하고, 음악 산업 이해를 위해 호원대학교 실용음악학과에서 학사학위를 추가로 취득했다. 현재 홍익대학교 일반대학원 문화예술경영학과 박사과정 재학 중이다. 신한은행에서 근무했으며, 문화체육관광부 음악저작권신탁단체 한국음악실연자연합회에서 OTT, 쇼트폼 등 뉴미디어 음악 저작권 계약 업무를 수행하고 있다. 연구 분야는 K-팝, 뮤직비즈니스, SNS 콘텐츠로, “디지털 음원과 음악 NFT 유통시장 비교 분석 연구”(2024)를 비롯해 음악 테크, 문화자본 전환, 아이돌 문화, 케이팝 IP 관련 논문을 등재 학술지에 게재했다.

백지연
홍익대학교 일반대학원 문화예술경영학과에서 석사학위를 취득하고, 현재 동 대학원 박사과정 재학 중이다. 갤러리 대표이자 기획자로 활동 중이다. 김포, 제주, 전북 등 지역 문화재단과 음악 투자 플랫폼의 연구용역을 비롯해 전시 기획, 연구 사업, 콘텐츠 개발 등 다수의 문화예술 프로젝트를 수행해 왔다. 음악 산업을 비롯해 지역 문화, 문화 예술 경영 전반에 걸쳐 연구를 이어 가고 있으며, 최근에는 인공지능 예술과 국제 교류 전시 기획에 주력하고 있다. 2023년부터 “법정 문화도시의 지속가능성 고찰”, “느슨한 공동체에 의한 생활문화 공동체 활성화 사례 연구”, “해외 온천 예술관광 사례 연구”를 비롯해 체험 경제, 제3의 공간, 문화유산 관련 논문을 등재 학술지에 게재했다.

AI가 바꾸는 커버 음악 생태계

01 현대 팝을 노래하는 고인이 된 전설들
02 AI 커버 음악의 기원
03 AI 커버 기술과 음악의 민주화
04 AI 커버 음악과 전통적 커버 음악 수용의 경계
05 버클리 음대의 AI 커버 음악 정규 커리큘럼
06 AI 커버 음악과 라이선스
07 AI 커버 음악의 투명성 : 구글 딥마인드
08 드레이크와 위켄드 AI 듀엣의 교훈
09 AI 커버 음악 저작권 공유 모델
10 AI 커버 음악에 의한 문화적 전환

AI 음성 합성 기술은 기본적으로 세 단계로 작동한다. 우선 음성 인식 단계로 인간의 목소리를 음향 신호로 변환해 음소(말소리의 가장 작은 단위), 음절, 단어 단위로 분류한다. 다음은 음성 변환 단계로 인식된 음성 정보를 목표 목소리에 맞춰 변환한다. 마지막으로 변환된 음성 정보를 기반으로 새로운 음향 신호를 생성한다. 이 과정에는 구글 딥마인드가 개발한 음성 합성 기술인 웨이브넷(WaveNet)과 파라미터 기반 음성 합성 기술이 사용된다.
음원에서 목소리와 배경음악을 분리하는 과정에서는 ‘역위상(out of phase)’ 기술이 활용된다. 배경음악이 가지는 특정한 주파수와 반대되는 주파수를 입혀서 소리를 소거하는 방식이다. 배경음악이나 코러스 등의 주파수가 가수 목소리의 주파수와 유사한 경우에는 ‘딥러닝’ 기술이 사용된다. 인공지능에 사람의 목소리를 학습시켜 다양한 악기 소리가 섞인 배경음악에서 사람의 목소리만을 추출할 수 있게 하는 것이다.
－01_“현대 팝을 노래하는 고인이 된 전설들” 중에서

다오를 통한 거버넌스 모델의 작동 방식을 구체적으로 살펴보자. 모든 커뮤니티 구성원은 ‘홀리플러스’ 시스템의 발전 방향에 관한 제안을 할 수 있고, 이에 대한 투표권을 가진다. 투표권의 분배는 기여도에 따라 차등적으로 이루어지지만, 최소한의 참여만으로도 기본적인 의사 결정 권한이 부여된다. 아마추어나 신진 창작자들도 발언권을 가지게 되는 것이다. 특히 흥미로운 점은 커뮤니티가 ‘홀리플러스’ 기술의 상업적 활용 범위, 윤리적 가이드라인, 수익 분배 구조 등을 직접 결정한다는 것이다. 이는 기술 발전의 방향이 소수의 전문가나 기업이 아닌, 사용자 공동체의 필요와 가치에 의해 결정되는 새로운 모델을 제시하고 있음을 의미한다.
－03_“AI 커버 기술과 음악의 민주화” 중에서

실연권은 가수나 연주자 고유의 특성이 담긴 목소리와 연주의 소리를 보장하는 권리다. 국내의 경우, 문화체육관광부는 음악 실연자의 권리 관리 및 저작인접권료 분배 업무를 음악저작인접권 신탁단체이자 보상금 수령 단체인 (사)한국음악실연자연합회에서 처리하도록 위임한다. 즉 가수나 연주자의 목소리적 표현도 독자적인 자산권(재산적 가치가 있는 권리)이 발생하는 것이다. 따라서 AI가 특정 가수의 목소리를 모방하는 것은 해당 가수의 실연권과 재산권을 침해할 개연성이 크다.
－06_“AI 커버 음악과 라이선스” 중에서

2024년 7월, 크리에이트세이프는 그라임스의 AI 음성 프로젝트를 업그레이드했다. 무료 저작권 음악 라이브러리 플랫폼인 ‘슬립스트림(Slip.stream)’을 통해 그라임스의 AI 목소리로 만들어진 사운드 샘플을 일반 대중에게 제공하기 시작한 것이다. 크리에이트세이프의 CEO 다우다 레너드는 “음악가들은 슬립스트림을 통해 전례 없는 규모로 급성장하는 창작 경제를 경험할 수 있게 될 것”이라고 강조했다. 그라임스의 음성 라이선싱 모델이 일회성 프로젝트를 넘어서 연속적이고 확장 가능한 생태계로 진화하고 있는 것이다.
－09_“AI 커버 음악 저작권 공유 모델” 중에서