AI 산출물 표시 규제

생성 AI, 이제는 ‘표시’의 문제다
생성 AI 시대, 표현 주체가 불분명한 정보로 인한 혼란을 어떻게 막을 것인가에 대한 규범적 해답을 제시한다. 생성 AI가 만들어낸 텍스트·이미지·음성·영상 등의 산출물이 인간의 표현과 구별되지 않으며 정보 신뢰를 위협하는 지금, AI가 만든 결과물임을 ‘표시’하게 하는 규제가 왜 필요한지를 조목조목 설명한다.
자율규제와 강제규제 사이의 딜레마, 표시 대상과 주체, 표시 방식 설계의 쟁점들, 해외 주요국의 규제 사례, 기술적 한계와 사회적 부작용까지 깊이 있게 다루며, 한국형 규제 설계 방향을 모색한다. 단순히 규제를 위한 규제를 넘어, 정보 소비의 투명성을 높이고 민주주의 질서를 지키기 위한 필수적 장치로서 AI 표시 규제의 미래를 조망한다. 생성 AI의 편익을 누리되 위험은 최소화하고자 하는 이 시대에 필요한 안내서다.

생성 AI 시대, 인간과 AI 표현의 혼동으로 인한 정보 위기를 막기 위해 AI 산출물에 ‘표시’를 요구하는 규제의 필요성과 설계 방향을 제시한다. 국내외 논의와 쟁점을 폭넓게 다룬다.

류시원
전남대학교 법학전문대학원 부교수다. 서울대학교 전기공학부를 졸업하고 고려대학교 법학전문대학원에서 석사, 박사 학위를 취득했다. 소프트웨어 엔지니어, 변리사, 변호사 경력을 이어오면서 기술과 지적재산권의 관계와 상호 작용에 대한 관심을 발전시켰다. 법무법인(유) 광장, 법무법인(유) 세종의 IP 그룹에서 변호사로 일하다가, 2022년 전남대학교로 자리를 옮겨 지적재산권 연구와 교육 활동에 매진하고 있다. 광주 · 전남지식재산인력양성센터 참여교수, 공공데이터분쟁조정위원회 위원을 맡고 있으며, 한국지식재산학회, 한국저작권법학회, 한국사법학회에서 상임이사로 활동 중이다. 주요 논문으로 “생성형 AI 프롬프트 입력에 대한 저작권법상 평가”(2024), “인공지능 시대 저작권 정책 형성절차에 관한 제언”(2024), “저작권법상 텍스트 · 데이터 마이닝(TDM) 면책규정 도입 방향의 검토”(2023) 등이 있고, 그 밖에 20여 편의 논문을 등재학술지에 게재했다.

생성 AI가 가져온 변화

01 구체적 위험: 딥페이크와 권리 침해
02 추상적 위험: AI 기술 가치 원칙
03 AI 산출물의 보호와 표시
04 AI 산출물 생애주기의 이해
05 AI 산출물 표시 기술
06 자율규제와 강제규제
07 국내외 표시 규제 현황
08 AI 산출물 표시 규제의 설계
09 AI 산출물 표시 규제의 한계
10 AI 산출물 표시 규제의 미래

위험은 반드시 악의를 가진 사람에 의해서만 조장되는 것이 아니다. LLM이 환각(Hallucination) 작용으로 뱉어낸 그럴듯한 거짓말을 사람이 걸러내지 못해 잘못된 정보가 소셜네트워크(SNS)를 타고 급속하게 전파될 수 있다. 패러디나 밈(Meme)으로 쓰려고 장난 삼아 만든 딥페이크가 예상치 못한 파장을 낳기도 한다. 해악의 의도가 없는 허위정보(Misinformation)와 의도성 짙은 허위조작정보(Disinformation)를 개념적으로 구분하기도 하지만, 항상 후자의 폐해가 더 크다고는 말할 수 없다. 거짓정보 전달 경로에 있는 대다수는 보통의 대중이다. 따라서 위험의 규모는 악의의 유무보다도, 진실과 거짓을 구분하기 곤란한 정도에 더 크게 영향을 받는다. 그리고 이는 진실과 거짓을 각각 표상하는 매체의 외면적 동등성 수준에 좌우된다.
－01_“구체적 위험: 딥페이크와 권리 침해” 중에서

2018년 크리스티 경매에서 GAN 기술을 이용해 제작한 가상 인물의 초상화 <에드몽 드 벨라미(Edmond de Belamy)>가 43만 2500달러(약 5억 원)에 거래된 일이 AI 산출물의 최초 미술 경매 사례로 꼽힌다. 2024년 말에는 AI 로봇 아이다(Ai-Da)가 로봇 팔로 그린 작품이 소더비 경매에서 108만 달러(약 15억 원)에 낙찰된 일이 있다. 보다 최근엔 논란 속에서 2주간 진행된 크리스티의 AI 창작 작품 경매가 약 73만 달러(약 10억 5000만 원)라는 예상 이상의 실적을 거두며 2025년 3월 5일 마감되었다. 여전히 부정적 시선이 있지만, 경매 참가자의 다수가 MZ세대와 경매 경험이 없던 사람들이었다는 점에서 대중의 예술 시장 참여의 인상적인 성과로 남았다.
－03_“AI 산출물의 보호와 표시” 중에서

AI 산출물 표시 규제의 방법에 관해선 민간의 이해관계인들 사이에서도 입장이 나뉜다. 미국 저작권청이 2023년 8월부터 12월까지 실시한 공개의견수렴 과정에서 제출된 의견서들을 보면, 생성 AI로부터 크든 적든 타격을 입을 권리자(단체)들의 다수가 AI 산출물의 표시를 법으로 강제하는 데 찬성했다. 구글이나 스테이빌리티AI와 같은 AI 기업들은 법적 의무화를 서두르기보다 표준기술 개발과 시장의 자율적인 노력을 살펴 신중하게 대응하는 것이 바람직하다는 의견을 피력했다. 이처럼 자율규제를 선호하는 입장에선 AI 산출물 표시 분야에서 강제규제가 광범위하게 도입되면 기술 중립성의 원리를 해치고 표현의 자유와 경제활동을 위축시킬 수 있다는 우려를 표명한다.
－06_“자율규제와 강제규제” 중에서

한계와 부작용을 규제를 막는 원인으로서가 아니라, 규제를 형성해 가는 과정에서 이를 보완하는 계기로서 활용하기 위해서는 규제정책의 입안가들과 정부가 다음과 같은 측면에서 그 한계와 부작용에 대한 인식을 정책 활동에 반영해야 한다. 첫째, 지적된 한계를 극복하고 부작용을 최소화할 수 있도록 표시 요구사항의 세심한 설계에 힘써야 한다. 둘째, 규제의 필요성과 수준에 대한 국제적 공감대를 끌어내기 위한 활동이 전개되어야 한다. 셋째, 자율규제 및 기술표준화 동향에 관심을 기울이는 가운데 민관(民官)이 힘을 합쳐 조화로운 AI 거버넌스를 구축하기 위한 노력을 경주해야 한다.
－09_“AI 산출물 표시 규제의 한계” 중에서