LLM, 거대 언어 모델의 이해

현대 AI의 핵심, 거대 언어 모델에 있다
AI의 발전은 언어 처리 기술의 혁신으로 큰 전환점을 맞이했다. 초기 언어 모델은 음성 인식과 기계 번역에서 사용되었지만, 데이터의 양과 질이 늘어나면서 거대 언어 모델(LLM)이 탄생했다. LLM은 대규모 텍스트 데이터를 기반으로 언어 이해와 생성, 추론까지 가능하게 하며, 특히 딥러닝 기술과 결합하여 뛰어난 성능을 발휘한다. 단어 임베딩과 딥러닝 기반의 발전은 언어뿐만 아니라 이미지와 영상 생성에도 영향을 미쳤다. 텍스트를 통해 이미지를 생성하거나, 반대로 이미지를 설명하는 모델들이 등장하게 되었다. 이러한 기술은 인공지능의 영역을 크게 확장하며 인간의 인지 모델과 유사한 형태로 발전하고 있다.
그러나 거대 언어 모델은 실제로는 사전 학습된 데이터를 바탕으로 작동하는 예측 모델에 불과하다. 그럼에도 불구하고, 이 모델들이 인간처럼 사고하고 대화할 수 있는 능력을 가지면서 AI의 가능성과 한계에 대한 논의가 활발해지고 있다. 이 책은 LLM의 기술적 배경부터 작동 원리, 인공지능과 인간의 차이, 그리고 미래의 가능성까지 다양한 주제를 다룬다. 또한, LLM의 사회적, 윤리적 문제와 기술적 한계, 전기 소모와 같은 실용적 이슈도 심도 있게 논의한다. 이 책을 통해 독자들은 LLM이 가져올 미래의 변화와 현재의 문제점을 이해하고, AI 시대에 필요한 지식을 갖추게 될 것이다.

거대 언어 모델(LLM)은 대규모 텍스트 데이터를 기반으로 언어 이해와 생성, 추론을 수행하는 인공지능 기술이다. 딥러닝과 결합해 언어뿐 아니라 이미지와 영상 생성에도 활용되며, 인간과 유사한 대화 능력을 갖췄다. LLM의 기술적 배경, 작동 원리, 사회적·윤리적 문제를 다룬다.

김동성
이화여자대학교 인공지능대학교 컴퓨터공학 전공 특임교수(2022∼)다. 한국외국어대학교에서 영어로 학사, 뉴욕대학교에서 언어학(Linguistics)으로 석사학위를, 고려대학교에서 전산언어학 박사학위를 받았다. 고려대학교 언어정보연구소에서 연구교수(2007∼2016), 한국외국어대학교 언어학과에서 연구원(2008∼2010), 이화여자대학교 인문대학 특임교수(2016∼2021)로 근무했다. 자연 언어 처리, 음성 처리, 대화 시스템, 인공지능 분야에서 개발 관련 업무에 종사했다. 주요 저서는 󰡔언어 자료 처리를 위한 Perl󰡕(2008), 󰡔언어 자료 분석을 위한 통계학󰡕(2010), 󰡔인문테크놀로지 입문󰡕(2019), 󰡔언어지능󰡕(2022), 󰡔챗GPT 프롬프트 엔지니어링󰡕(2023)이 있다.

언어 모델의 탄생과 거대 언어 모델로의 발전

01 언어, 이미지, 영상을 생성하는 거대 언어 모델
02 거대 언어 모델과 프롬프트 엔지니어링
03 창발적 지능의 인지 체계 탄생
04 거대 언어 모델과 산업, 그리고 일상의 변화
05 일반 인공지능 = (또는 ≠) 거대 언어 모델
06 편향성, 이기심, 인간 적대적 위험들
07 리플리 증후군, 환영
08 법, 세계관, 윤리
09 거대 언어 모델과 전기세, 그리고 반도체
10 실시간 처리 양자 컴퓨팅의 도입과 미래

언어 처리에는 여러 개의 하위 분야가 있다. 문장 생성, 언어 간 번역, 문서 요약, 질의ᐨ응답 등 여러 작업이 있는데, 이러한 여러 작업에 범용으로 사용할 수 있게 튜닝이 가능하다. 일반적으로 비교적 적은 모델 데이터를 가지고도 여러 다른 막대한 작업 데이터에 적용해서 높은 성능을 발휘할 수 있는 효율성이 있다.
－01_“언어, 이미지, 영상을 생성하는 거대 언어 모델” 중에서

인공지능은 이제는 앨빈 토플러가 생각하는 미래의 충격으로 다가오지는 않는다. 현실에서 인공지능을 대하지만 우리는 인공지능이 우리를 완전히 대체해서 우리의 일자리를 뺏는 것을 원하지는 않는다. 우리는 현재 우리의 일상을 변모시킬 인공지능을 꿈꾸고 있다. 과거에 얻기 힘들었던 향유물을 일상에서 누리는 정도의 변화를 고민하고 있다. 인공지능의 미래도 무한하면서 지속 가능한 것을 바라고 있다. 이것이 우리가 인공지능을 설계하면서 꿈꾸면서 고민하는 것들이다.
－04_“거대 언어 모델과 산업, 그리고 일상의 변화” 중에서

편향성이 지니는 또 다른 문제점은 바로 다중 언어 모델에 대한 것이다. 거대 언어 모델의 출발점은 미국으로, 영어 텍스트를 중심으로 학습되었다. 초기 모델들은 영어 기반으로 작성되었으며, 이후 여러 다른 언어와 번역 모델을 결합한 형태도 있다. 이러한 경우에 영어에 기반을 두고 있어서 영어, 즉 미국과 영국적 사고방식이나 세계관이 많이 들어 있어서 다른 언어나 다른 세계관을 표방하기는 어렵다. 따라서 이러한 모델들을 그대로 차용하는 경우에는 영어를 사용하지 않는 다른 국가나 세계에서는 문제가 되기도 한다. 이를테면 과거 영국의 식민지였던 곳들에서는 식민지적 사고방식이 그대로 반영될 수도 있다. 이러한 이유로 제3세계나 인도, 중국 등에서는 거대 언어 모델의 주권화를 표방하기도 한다.
－06_“편향성, 이기심, 인간 적대적 위험들 중에서

거대 언어 모델은 인간 뉴런을 모사하는 딥러닝 아키텍처에 기반을 두고 있다. 따라서 전반적으로 인간 뇌와 어떠한 차이점이 있는지, 그리고 만약 인간 뇌와 유사하게 바꾼다면 어떠할 것인지도 논의할 필요가 있다. 생물체인 인간 뇌와 유사해지면 전기 소모량이 줄 것이라는 가능성도 커다란 관심 항목이다.
－09_“거대 언어 모델과 전기세, 그리고 반도체” 중에서