GPT-3가 핫하다. 인기로만 따지면 인공지능 업계의 ‘아이돌’급이다. 전 세계 인공지능 개발자들이 너도나도 테스트를 위해 줄을 설 정도다. 8월 중순 이후엔 유료로 제공될지 몰라서다. GPT-3의 무료 테스트를 경험한 이들은 저마다 색다른 결과물을 내놓으며 한껏 실력을 뽐내고 있다. GPT-3가 작성한 시, 그래프, 이력서, e메일, 짧은 에세이에 이르기까지 활용 범위도 다채롭다.

짐작했겠지만 GPT-3는 기계다. 그것도 텍스트 생성에 탁월한 성능을 발휘하는 인공지능이다. 엄밀하게 분류하면 언어모델이라고 한다. 언어모델은 A라는 단어 다음에 등장할 또 다른 단어를 예측하는 알고리즘이다. 예측력이 뛰어날수록 인간과 기계의 언어는 가까워진다. 현재 언어모델은 이 전투를 위해 막대한 자원을 수혈받고 있다.

GPT-3가 세상의 주목을 받게 된 건 단순성 덕이다. 이전까지 다수의 언어모델은 모델 생성을 위한 1차 기계훈련 단계를 거친 뒤 미세조정 훈련을 추가로 시켜야 했다. 미세조정 훈련은 통상 특정 용도에 최적화하기 위한 과정이다. 예를 들어, 기사 작성을 위한 언어모델을 개발한다고 가정하면, 보편적 언어 이해를 위한 1차 모델을 개발한 뒤 기사 작성에 특화된 추가 훈련을 한 차례 더 시켜야 했다. 당연히 이 과정에서 많은 양의 기사 데이터를 추가로 집어넣어야 한다. GPT-3는 바로 뒷부분, 용도에 특화된 추가 훈련을 획기적으로 단축했다. 이를 ‘퓨샷러닝(few-shot learning)’이라는 짧고 간단한 입력 과정으로 대체한 것이다.

이를 위해 GPT-3는 실로 어마어마한 자원이 투입됐다. 1750억개의 매개변수가 사용됐고, 입력된 단어만 해도 4990억건이다. 뿐만 아니라 350기가바이트의 GPU 메모리까지 동원됐다. 평범한 클라우드 플랫폼에서 이 정도 자원으로 훈련을 시키려면 대략 300년이 넘게 걸린다고 한다. 상상하는 그 이상의 대규모 학습량이다. 흔히들 기계학습을 간단한 절차와 과정으로 이해하지만, 잘 정제된 ‘억 단위’의 데이터를 ‘억 소리’ 나는 하드웨어에서 효율적인 코드로 운영할 때만 최상의 결과물을 얻어낼 수 있다.

GPT-3 언어모델 개발에 소요된 비용은 1200만달러, 우리 돈으로 약 142억원이다. 여러 버전이 있긴 하나 GPT-3라는 하나의 언어모델을 선보이는데 이처럼 거대한 자본이 투입됐다는 사실은 상징하는 바가 크다. 인공지능 개발이 ‘머니게임‘으로 치닫고 있다는 메시지이기 때문이다.

GPT-3를 개발한 오픈AI는 비영리 조직이다. GPT-2 버전까지만 하더라도 오픈AI는 오픈소스 정책을 일관되게 유지하려 했다. 하지만 GPT-3 개발을 기점으로 오픈AI는 영리 자회사를 설립하고 유료화를 시도하고 있다. 결국 비영리와 오픈소스의 건강하고 발전적인 조화는 막대한 머니게임 앞에서 다시금 좌절된 듯하다.

GPT-3는 AI의 기술 패권이 ‘돈과 데이터 자원’에 의해 좌우될 것이라는 신호를 확실하게 내보냈다. 수십 수백억원을 쉽게 동원할 수 있는 거대한 기술 기업이 아니면, 이 시장에서 경쟁력을 갖추기란 점차 요원해지고 있다. AI 산업이 왜 빈익빈 부익부로 갈 수밖에 없는지 우리는 GPT-3를 통해 다시금 터득하고 있다.

<이성규 전 메디아티 미디어테크랩장>