AI와 음악

음악과 기술, 그리고 인공지능
음악 분야에서 AI의 발전과 그 영향을 탐구한다. 음악과 기술은 오랫동안 상호작용해 왔다. AI 기술은 작곡, 음성 합성, 믹싱 및 마스터링, 음악 추천 시스템 등에서 중요한 역할을 하고 있으며, 기존 음악 제작과 감상의 방식을 혁신하고 있다.
이 책은 AI 기술이 음악 창작에 어떻게 적용되고 있는지, 그리고 AI가 음악 산업에 미치는 영향을 다룬다. 음악 기술의 역사와 AI가 그 안에서 어떻게 발전해왔는지, AI 기술과 딥러닝의 기본 원리는 무엇인지 설명한다. 작곡 인공지능, 작곡 보조 기술, 음성 합성 기술을 구체적으로 소개한다. 믹싱, 마스터링 및 음악 추천 시스템을 통해 AI의 음악 작업을 지원하는 방법을 설명한다. AI가 창작하는 음악은 이제 단순한 실험이 아니라 실제 음악 산업에 중요한 영향을 미치고 있다. 음악 분석에 활용되는 AI 기술부터 음악 AI의 미래와 윤리적 고려 사항까지 폭넓게 다뤘다.

인공지능 기술이 음악 창작과 산업에 미치는 영향을 탐구한다. AI는 작곡, 음성 합성, 믹싱, 마스터링, 음악 추천 등 다양한 분야에서 혁신을 이끌고 있다. AI와 음악의 만남이 창작과 감상의 방식을 어떻게 변화시키는지 살펴본다.

박재록
상명대학교 문화기술대학원 뮤직테크놀로지학과 부교수다. 서울대 음악학과를 졸업하고 한국예술종합학교에서 뮤직테크놀로지학과에서 전문사과정을 마쳤고, 서울대 언론정보학과 박사과정을 수료했다. 오디오비주얼 퍼포먼스 그룹 태싯(Tacit)의 창단 멤버(2008), 한국음악앙상블 바람곶 멤버(2009∼2012)였다. 개인 음반으로 국악 앰비언트 음반 (2012)를 발매했으며, 국립무용단 작품 <향연>(2018) 등 다수의 무용 작품의 음악감독을 맡았다. 서울대학교 예술과학센터 연구원(2012∼2013)으로 국악 가상 악기와 애플리케이션 개발에 참여했으며, 개인 개발자로 장단메트로놈 앱을 개발(2011∼)하였다. 주요 저서로는 『뮤직 테크놀로지의 이해』(2015), 『멀티미디어 프로그래밍을 위한 Max/Max for Live』(2020)가 있으며, 주요 논문으로는 “스트리밍 시대 미디어를 통한 한국인의 음악청취행태 분석”(2023), “음악제작에 도입된 기술과 인공지능에 관한 역사적 관점에서의 고찰”(2019), “스마트폰 시대 미디어를 통한 한국인의 음악청취행태 분석”(2017) 등이 있다.

음악과 기술, 그리고 인공지능

01 음악 기술의 역사
02 음악 인공지능의 역사
03 딥러닝 인공지능 기술
04 작곡 인공지능
05 작곡 보조 인공지능
06 보컬 연주 인공지능
07 믹싱과 마스터링 인공지능
08 음악 추천 인공지능
09 음악 분석 인공지능
10 음악 인공지능의 미래와 윤리

1990년대 들어 영상 매체인 DVD의 감상을 위한 5.1채널 시스템이 보급되면서, 이를 이용한 5.1채널 음반도 출시되었지만 마찬가지로 널리 보급되지는 못했다. 현재 소비자용 입체음향 기술은 멀티채널 시스템보다는 헤드폰을 이용한 바이노럴(binaural) 기술을 통해 다시 대중화를 시도하고 있다.
－01_“음악 기술의 역사” 중에서

딥러닝 아키텍처는 단독으로 사용되기도 하지만 복합적으로 사용되기도 한다. 딥러닝의 아키텍처는 레고를 조립하듯 여러 아키텍처를 조합하여 사용될 수 있는 유연성을 제공한다. 위의 예에서도 실제로 다양한 아키텍처들이 조합되어 음악 데이터나 음악 오디오를 생성하는 데 사용된다.
－03_“딥러닝 인공지능 기술” 중에서

보컬로이드의 가창 합성 기술은 전통적인 인공적인 음성 생성에 사용되는 기술 중 하나인 연결 합성(con- catenative synthesis)으로 분류된다. 연결 합성에서는 음소(phone)들이 결합된 다이폰(diphone), 트라이폰(triphone), 지속 모음 등의 목소리 샘플이 필요하다. 다이폰에는 최소 가능한 모든 음소 조합(자음ᐨ모음, 모음ᐨ자음, 모음ᐨ모음, 자음ᐨ자음)이 포함되어야 하는데 일본어 합성을 위해서는 약 500개의 다이폰이, 영어의 경우 약 2500개의 다이폰이 필요하다.
－06_“보컬 연주 인공지능” 중에서

딥러닝 기술은 믹스된 음원에서 각각의 악기별로 음원을 분리할 수 있게 해 주었다. 믹싱을 위한 딥러닝에서도 사용되는 모델인 웨이브유넷(Wave-U-Net)은 음원의 분리에 특화된 딥러닝 모델 중 하나이며, 스트리밍 서비스인 디저(Deezer)에서 공개한 스플리터(Spleeter)라는 모델도 있다. 딥러닝 기반의 음원 분리 기술의 개발에서 어려운 문제는 학습을 위한 데이터의 수집이다.
－09_“음악 분석 인공지능” 중에서