인공지능 생성 모델 예술

인공지능 생성 모델의 원리에서 발견하는 창작의 새로운 가능성

예술을 변화시키는 인공지능 생성 모델의 원리와 표현 탐구

‘잠재 공간’에서 가능한 새로운 예술 방식에 대한 기술적, 이론적 해석

협의의 의미에서 기계는 어떻게 생성물을 만들게 되었을까? 생성 모델의 기원을 살펴보면, 데이터로부터 학습해 새로운 예시를 생성하는 초기 알고리즘에서 시작해 통계와 확률 기반의 모델링으로 구축한 인공 신경망이 그 출발점이라 할 수 있다. 이러한 인공 신경망은 주어진 데이터를 학습하여 그 구조와 패턴을 이해한 뒤, 이를 바탕으로 새로운 데이터를 생성하는 모델로 발전해 왔다. 이 알고리즘은 이미지, 음악, 텍스트 등 다양한 유형의 데이터를 생성하는 데 사용되었다. 그 발전이 1980년대의 신경망 연구와 2000년대 초의 딥러닝 혁신에 지대한 영향을 미쳤다. 특히 2014년에 제안된 생성적 적대 신경망과 같은 혁신적인 아이디어가 이 분야의 성장을 가속화했다고 볼 수 있다.

생성 모델의 기본 원리와 작동 방식에 대한 이해는 기술 차원의 이해를 넘어 창의적 결과물을 도출하는 작동 원리를 고찰하는 것이다. 이 기술이 어떻게 데이터를 분석하고 이해하는지, 그리고 그 과정에서 어떻게 창의적인 결과물을 생성하는지 이해하면, 예술적 맥락에서 이 기술을 적용하는 다양한 방법론이 나올 수 있다.

이 책은 첫 장부터 마지막 장까지 생성 모델의 기능과 역할에 초점을 맞추었다. 1장은 생성 모델의 변화를 통해 이 기술이 어떻게 복잡하고 섬세한 예술 작품을 만들어 내는지 알아본다. 2장은 생성 모델을 어떻게 예술적으로 승화시킬 수 있는지 혹은 예술이 되게 할 수 있는지를 살펴본다. 인공지능이 창의적 과정에 참여하는 지점을 찾을 수 있다. 3장은 생성 모델 기술의 이해다. 기술 차원의 이해를 넘어 창의적 결과물을 도출 하는 작동 원리를 고찰한다. 4장은 생성 모델 기술과 창작의 관계다. 인공지능이 어떻게 개별 예술가의 창작 방식을 변화시킬 수 있는지, 그리고 이러한 변화가 예술계 전반에 어떤 영향을 미치는지 분석한다. 5장부터 7장까지는 기술 탐구 영역이다. 인공지능이 어떻게 시각, 문학, 음성, 영화 예술을 생성하는지 다양한 모델과 서비스를 통해 설명한다. 8장 9장은 AI 생성 모델로 만든 작품을 통해 생성 기술 방법을 알아본다. 10장에서는 인공지능의 창의성과 인간의 창의성을 비교하며 두 창의성 간의 경계와 상호 작용성을 살펴본다.

이 책은 복잡한 생성 모델의 원리를 공학적이고 수학적인 내용없이 예술의 관점에서 쉽게 이해하도록 풀어 썼다. 창작자가 인공지능을 이용하고자 할 때 활용 범위와 목표, 방법을 동시에 설계하는 데 필요한 지식을 한 번에 볼 수 있다.

아트코리아랩총서는 정보통신기술이 예술 생태계에 가져온 변화의 본질과 현상을 소개한다. 새로운 기술의 내용, 창·제작에 활용하는 방법, 유통과 향유의 변화, 기술이 낳은 여러 가지 쟁점과 해결 방안을 다룬다. 이 책은 총서 6권으로 인공지능 생성 모델의 원리와 예술적 응용을 탐구한다. 기술 발전의 흐름 속에서 생성 모델이 어떻게 예술 창작 도구로 자리 잡았는지, 생성적 적대 신경망(GAN)과 생성적 사전 학습 변환(GPT) 같은 모델의 작동 방식이 예술에 미친 영향을 알 수 있다. 시각, 문학, 영화, 사운드 예술에서 생성 모델의 구체적 활용 사례를 다루며, 창작자와 인공지능의 협력 가능성을 모색한다. 독자는 이 책을 통해 인공지능 기술은 언제, 어디에서 창작의 경계를 확장하는지 알고 그 원리를 작품 활동에 활용할 수 있다.

이수진

세종대학교 인공지능데이터사이언스학과 교수다. 고려대학교 응용동물과학과를 졸업하고, 이화여자대학교 디자인학과에서 석사 과정을, 서강대학교 미디어공학과에서 석사 및 박사 과정을 마쳤다. 전통적인 비전 기술 기반의 새로운 이미지 생성 알고리즘 개발 및 연구로 학위 논문을 썼다. 이미지 표상의 오랜 주제를 기반으로 메타버스와 현실 세계의 새로운 이미지 처리와 생성 알고리즘을 연구하며 다양한 국책 과제를 진행하고 있다. 기술과 콘텐츠 그리고 융합 교육 관련 논문을 다수 출판했다. 저서로는  『뉴미디어 아티스트, 기술을 활용한 예술가들』(2016)과  『예술가의 메타버스 사용법』(2023) 등이 있다.

기술이 예술이 되는 생성형 인공지능

01 생성 모델의 변화

02 생성 모델과 예술의 만남

03 예술을 가능하게 한 생성 모델 원리

04 생성 모델 기술과 창작

05 시각 예술 생성 기술

06 문학 예술 생성 기술

07 영화 예술 생성 기술

08 멀티모달 생성 기술과 예술

09 생성 모델 작품 생성 방법

10 AI 생성 모델 예술 대 생성형 AI 예술

GAN은 생성기(Generator)와 판별기(Discriminator)라는 두 개의 알고리즘이 경쟁하면서 개선되도록 설계한 모델이다. 생성기는 위조 예술품을 만드는 위조범과 비슷하다. 실제와 구별할 수 없는 이미지(또는 다른 유형의 데이터)를 생성하려고 시도한다. 생성기는 아주 처음에 무작위로 아무런 의미가 없는 숫자나 패턴, 즉 ‘노이즈’라고 부르는 랜덤 데이터를 입력받는다. 이 노이즈는 혼란스러운 데이터지만 생성기는 이 데이터를 조금씩 변형하면서 판별기로부터 진짜인지 가짜인지 피드백을 받는다.

머리말_“기술이 예술이 되는 생성형 인공지능” 중에서

생성 모델의 원리는 ‘잠재 공간(latent space)’이라 불리는 고차원 공간에서 이루어진다. 이 공간은 수많은 데이터 속에서 패턴을 발견하고, 이를 기반으로 새로운 이미지를 생성하는 과정에서 중요한 역할을 한다. 생성 모델은 특정한 잠재 벡터를 선택해, 새로운 결과물을 만들어내며, 이는 기존 데이터와는 다른, 그러나 유사한 특성을 지닌 창작물을 탄생시킨다

01_“생성 모델의 변화” 중에서

오토인코더(Autoencoder)는 신경망의 일종이다. 입력 데이터를 기계가 학습하고 활용할 수 있는 표현 방식으로 변환한다. 이것이 인코딩이다. 인코딩한 데이터가 있는 공간이 잠재 공간인데, 데이터의 복잡한 구조를 기계가 이해할 수 있게 단순하고 유의미한 형태로 표현한다. 이 공간이 핵심 정보를 담아내는 곳이다

02_“생성 모델과 예술의 만남” 중에서

인공지능이 안전한 방식으로 동작하도록 안내하는 새로운 접근 방식이 RBR 시스템이다. 기존의 강화학습 기반의 언어 모델은 인간의 의견을 반영하여 미세 조정하여 개발했다. 즉 인간 피드백을 통한 강화 학습(Reinforcement Learning from Human Feedback: RLHF) 모델이다. RLHF는 인공지능을 개선하는 데 더욱 안전한 인공지능을 만들기 위해 인간의 피드백을 모델 개선 방법으로 사용했다. 그러나 RLHF 모델은 지속적인 반복 작업으로 인간의 피드백을 수집해야 한다. 과거에 수집한 피드백이 새로운 안전 기준에 맞지 않거나 안전 정책이 바뀌면 이미 수집한 피드백이 유효하지 않게 되는 한계도 있다.

5장_ “시각 예술 생성 기술” 중에서

이안 굿펠로(Ian Goodfellow)가 제안한 생성형 인공지능의 선구 모델 GAN은 서로 대립적인 두 네트워크가 지속적으로 서로를 개선시키는 방식으로 학습한다. 이로써 매우 창의적이고 사실적인 이미지를 생성할 수 있는 능력을 갖게 된다. 이렇게 생성한 정지 영상에서 시간 개념을 더하면 동영상이 된다. 1초에 30장의 정지 영상을 보여 주면 1초의 동영상을 만든다. 동영상은 시간의 흐름에 따라 만들어지는 시간 예술이다. 그렇게 만들어진 시간 예술의 원천 데이터를 시계열 데이터라고 할 수 있다.

7장_ “영화 예술 생성 기술” 중에서

가상 아티스트 아이바(AIVA: Artificial Intelligence Virtual Artist)는 상업용 음악 생성에 특화된 인공지능이다. 작곡가와 협업하여 새로운 음악을 만든다. 웹 기반 인터페이스를 통해 사용자가 직접 작곡 요청을 하면 인공지능이 자동으로 음악을 생성하는 것이다. 아이바 웹사이트(https://www.aiva.ai)에 접속하여 계정을 생성한 후 지침 사항에 따라 생성 음악을 만든다. 트랙별로 음악을 생성하는데 각 스타일을 설계할 수 있다. 트랙을 수정하고 기존의 트랙과 혼합하여 음악을 생성하는 것도 가능하다. 무료 계정으로 음악 생성 서비스 경험이 가능하지만 15유로(약 2만2300원), 49유로(약 7만2700원)의 월 결제 서비스를 선택하면 더 많은 생성 음악 퍼포먼스를 경험할 수 있다.

9장_ “생성 모델 작품 생성 방법” 중에서

생성형 AI는 그를 이용해 새로운 콘텐츠를 생성(결과물)하는 데만 집중한다. 어떤 모델을 적용했는가, 그 모델이 의미하는 것은 무엇인가는 중요하지 않다. 반면 AI 생성 모델을 직간접으로 이용해 나오는 결과물은 과정이 중요하다. 의도가 무엇이고 무엇을 표현하고자 한 것인지에 따라 결과물이 달라지기 때문이다. 단순하게는 생성물 중심이냐, 알고리즘 중심이냐로 표현할 수 있다.

10장_ “AI 생성 모델 예술 대 생성형 AI 예술” 중에서