초거대 인공지능

‘거대하다’는 것의 새로운 의미
초거대 인공지능의 발전과 그 기술적 배경을 탐구한다. 인간의 지능을 넘어설 수 있는 인공지능의 가능성을 짚어보며 인공지능이 어떻게 진화해왔는지 설명한다. 초기 인공지능의 발전을 거쳐, 컴퓨터 성능과 데이터의 결합으로 대규모 학습이 가능해진 AI는 이제 사람의 일상 업무를 수행할 수준에 도달했다. 특히 GPT-4와 같은 초거대 인공지능은 놀라운 속도로 복잡한 작업을 처리하는데, 이를 가능하게 한 하드웨어 기술과 반도체 혁신을 분석한다. 또한 초거대 인공지능이 AGI로 나아갈 가능성 및 그로 인한 사회적 변화도 다룬다. 이 책은 AI의 기술적 발전과 미래를 탐구하고, 그 여정에서 인공지능이 어떻게 우리의 세상을 변화시킬 수 있는지에 대해 깊이 있는 통찰을 제공한다.

초거대 인공지능의 발전과 기술적 배경을 탐구한다. 초기 인공지능에서 GPT-4와 같은 초거대 AI까지 AI가 어떻게 발전했는지와 이를 가능하게 한 하드웨어 기술을 다룬다. AGI와 그에 따른 사회적 변화를 분석하며 AI가 미래에 어떤 영향을 미칠지에 대한 통찰을 제공한다.

전원
한국전자통신연구원 초거대AI반도체연구실의 선임연구원이다. 2014년 연세대학교 전기전자공학과에서 학사학위를 받고, 2021년에 “그래픽 처리 장치 메모리 시스템의 에너지 효율 향상을 위한 로우 버퍼 로컬리티 활용 기술 연구”로 박사학위를 받았다. 현재는 인공지능 프로세서의 아키텍처 설계, 인공신경망 연산을 위한 부동소수점 연산기 구조 등의 연구를 수행하고 있으며, 과거에는 그래픽 처리 장치의 메모리 시스템, 프로세싱 인 메모리 등의 연구를 수행해 왔다. 『Advances in Computers: Hardware Accelerator Systems for Artificial Intelligence and Machine Learning』(공저, 2021)의 “Deep Learning with GPUs” 챕터를 작성했으며, “XEM: Tensor accelerator for AB21 supercomputing artificial intelligence processor”(2024) 등 14편의 학술 저널과 학술 대회에 논문을 발표했다.

인공지능의 거대화

01 인공지능 규모 이해하기
02 시각 인공지능과 초기 언어 인공지능
03 거대 언어 모델의 등장
04 멀티모달 인공지능과 생성형 인공지능
05 초거대 인공지능이 바꾸고 있는 세상
06 슈퍼컴퓨터 규모의 인공지능 시스템 반도체
07 초거대 인공지능을 담는 메모리 반도체
08 인공지능 소프트웨어 패권
09 인공지능 하드웨어 개발 경쟁
10 인공지능 거대화의 지속 가능성

인공지능에서 말하는 ‘규모’는 무엇을 의미하며, 작은 인공지능, 큰 인공지능, 더 나아가 초거대 인공지능은 어떤 기준으로 결정될까? 인공신경망 모델이 설계되고 학습이 완료되면, 각 인공신경망 노드에는 가중치와 편향(bias) 등 해당 노드에서 필요한 연산을 수행하는 파라미터(parameter)가 저장된다. 앞서 소개한 어른 또는 어린이를 판단하는 인공신경망 노드에서 0.5의 값을 가진 가중치 값 등이 파라미터의 일종이다. 이러한 파라미터는 파일 등의 형태로 저장되며, 이후 추론 과정을 거칠 때 이 파라미터를 불러와 각종 연산을 수행한다.
－01_“인공지능 규모 이해하기 ” 중에서

2017년 구글이 제안한 트랜스포머 구조는 바다나우가 제안한 RNN 기반 구조와 달리, 기존 RNN을 완전히 배제하고 어텐션 기법만으로 모델을 구성했다. 해당 논문의 제목이 “어텐션만 있으면 돼”인 이유다. 트랜스포머에는 순방향 신경망(feed-forward network), 위치 인코딩(positional encoding) 등 다양한 요소가 존재하지만, 가장 중요한 요소는 기존 어텐션 기법을 기반으로 만들어진 셀프 어텐션(self-attention)과 이를 병렬로 수행하는 멀티헤드 어텐션(multi-head attention) 연산이다.
－03_“거대 언어 모델의 등장” 중에서

2024년 엔비디아에서 발표한 B100 칩 1개는 위와 같이 다양한 부동소수점 형태를 지원하여 16비트 데이터에 1.75페타플롭스(1015FLOPS), 8비트 데이터에 3.5페타플롭스, 4비트 데이터에 7페타플롭스의 성능을 제공한다(NVIDIA, 2024). 7페타플롭스라는 성능 수치는 비록 데이터타입이 다른 비교이지만, 1초에 23테라(1012)의 연산을 수행하던 구글 TPU 1세대와 비교해서 약 300배 증가한 성능이라고 볼 수 있다.
－06_“슈퍼컴퓨터 규모의 인공지능 시스템 반도체” 중에서

초거대 인공지능과 온디바이스 인공지능은 그 파라미터 규모의 차이만큼 언어 모델의 성능과 제공하는 기능의 차이가 매우 크다. 예를 들어, 구글 제미나이의 온디바이스 모델인 제미나이 나노(nano) 모델은 약 18억에서 32억 개의 파라미터를 갖는데, 이는 수천억 이상의 파라미터로 이루어진 거대 언어 모델과 비교하여 수백 배 작은 크기다.
－09_“인공지능 하드웨어 개발 경쟁” 중에서