[노벨상 다시 보기] 세상을 바꾸는 발견들 5편, 인공지능

사진출처 : openai.com

2022년 11월 30일, Open AI의 거대 언어 모델인 Chat GPT가 대중에게 무료로 공개되었습니다. 언론들은 세상이 크게 바뀔 변혁의 시작점이라고 앞다퉈 보도했고, 실제로 그날부터 지금까지 채 2년도 되지 않는 시간에 세상은 정말 많은 부분에서 변화했습니다. 온라인상 대부분의 작업에서 인공지능이 활용되기 시작했지요. 마이크로소프트의 워드, 파워포인트 등에서 인공지능을 활용하여 작업이 가능해졌고, 노션이나 슬랙스 등 노트 프로그램에서도 인공지능을 활용하기 시작했습니다. 문서 작업뿐 아니라 정보 검색, 연구 개발 등 인공지능의 도움을 받지 않는 영역은 이제 찾아보기 어려울 정도가 되었지요.

 

기업 역시 인공지능이라는 거대한 소용돌이를 만나며 큰 변화 속에 있습니다. 인공지능 학습의 핵심 장치 GPU를 생산하는 NVIDIA는 2024년 6월 18일 시가총액 약 4,600조 원을 돌파하며 처음으로 세계 1위에 올라섰습니다. GPU에 가장 중요하게 사용되는 부품, HBM 칩 생산의 선두주자인 대한민국의 SK하이닉스는 전년 대비 올 3분기 매출이 93.8% 신장하며 사상 최대 실적을 기록했습니다. Open AI의 최고경영자 샘 알트먼이 자체 AI 반도체 개발을 위해 한화로 9,300조 원에 이르는 천문학 규모의 투자금 유치 계획을 진행 중이라는 소식도 전해졌지요.

 

사진출처 : 어도비스톡

지난 10월, AI가 새 시대의 초석이 되리라는 사실을 다시 한번 확증한 사건이 있었습니다. 10월은 노벨상의 계절! 우리나라 최초로 한강 작가의 노벨문학상을 수상하면서 더욱 이슈가 됐던 올해 노벨상은 사실 또 하나의 커다란 변화를 보여주었습니다. 이번 노벨화학상과 노벨물리학상은 모두 인공지능 모델을 개발하고 연구한 학자들에게 수여되었기 때문입니다. 노벨화학상은 단백질 구조 설계와 예측 프로그램을 만든 공로로 이세돌과 세기의 대결을 만들어낸 알파고의 개발 회사 딥마인드의 CEO인 데미스 허사비스, 존 점퍼, 그리고 워싱턴 대학의 데이비드 베이커 교수에게 수여되었고, 신경망 연구로 강력한 기계학습 기법의 기초를 마련하였다는 공로로 프리스턴 대학의 존 홉필드 교수와 토론토 대학의 제프리 힌턴 교수에게 노벨물리학상이 수여되었습니다.

 

AI 연구에 크게 관심이 없던 사람들에게는 인공지능 모델의 개발로 노벨물리학상을 받는다는 사실이 조금 의아할 수도 있습니다. 노벨화학상의 경우, 실제로 폭넓은 화학 분야에서 중요하게 사용되고 있는 프로그램이라는 점에서 의문이 적지만, 물리학상은 인공지능과 물리학의 직접적인 상관관계를 이해하기에는 조금 어려움이 있을지도 모르겠습니다. 하지만 그들의 연구가 어떻게 활용되고 있고 어디서 시작되었는지를 조금만 살펴본다면, 그들이 왜 노벨물리학상을 받았는지 납득하게 될 것입니다.

 

존 홉필드 교수와 제프리 힌턴 교수, 이 두 명의 학자가 성취한 수많은 업적 중에서도 이번 노벨물리학상 수상의 홉필드 네트워크(Hopfield network)와 제한된 볼츠만 머신(Restricted Boltzmann Machine, 이하 RBM)은 상당히 의미 있는 성과입니다. 노벨위원회는 이들의 연구가 현대 머신 러닝의 강력한 기반을 마련하였고, 특히 물리학의 도구를 사용하여 정보 내의 패턴을 찾는 방법을 개발함으로써 오늘날의 인공신경망과 딥러닝 기술의 발전에 크게 기여했다고 소개하였습니다.

 

사진출처 : https://github.com/nosratullah/hopfieldNeuralNetwork?tab=readme-ov-file

존 홉필드 교수는 홉필드 네트워크를 개발하기 이전에 이미 고체와 빛의 상호작용으로 1969년에 올리버버클리상을 수상한 저명한 물리학자입니다. 당시 그는 뇌의 작동원리와 뉴런 간의 상호작용에 관심이 있었습니다. 이 시스템을 어떻게 수학적 구조로 표현할 수 있을까 깊이 고민했지요. 그리하여 탄생한 것이 바로 ‘홉필드 네트워크’입니다. 홉필드 네트워크는 ‘연상 기억’이라는 개념을 컴퓨터 과학과 신경망 연구에 도입하여 인간의 기억과 비슷한 방식으로 정보를 처리할 수 있도록 한 모델입니다. 예를 들어, 우리가 평소에 쓰지 않던 어려운 단어를 생각해낼 때 그와 비슷한 단어로 추론하는 과정을 갖는 것이 홉필드 네트워크와 비슷하다고 볼 수 있는데요,

 

인공지능이 정보를 불러오는 것은 일반적으로 우리가 떠올리는 컴퓨터의 저장장치에서 정보를 가져오는 개념과는 조금 다릅니다. 우리가 컴퓨터에서 정보를 불러올 때는 정확한 주소를 가지고 그 주소에 있는 정보를 불러오게 됩니다. 하지만 홉필드 네트워크에서는 불완전한 정보나 왜곡된 정보가 주어지면 그것을 원래의 정보로 복원해줍니다. 여기서 주목하여 볼 것은 홉필드 네트워크의 구동 방식입니다. 홉필드 교수는 이러한 네트워크를 구성하기 위하여 응집물리학에서 자성재료에 스핀이 불규칙하게 배열된 상태를 설명하는 스핀 유리 이론을 도입합니다.

 

Energy landscape에 비유한 Hopfield network의 작동원리 (사진출처 : Popular Information. The Nobel Prize in Physics 2024 https://www.nobelprize.org)

스핀 유리 이론에 대해서 조금 더 설명해보자면, 스핀 유리는 스핀이 무질서하게 배열된 상태에서 여러 가지 에너지 최소점(준안정 상태)을 가지는데, 홉필드 네트워크에서도 학습된 각 패턴이 에너지 지형의 최소점에 해당하게 되어 불완전한 입력이 주어졌을 때 가장 가까운 안정 상태(저장된 패턴)로 네트워크가 수렴되어 패턴 복원이 가능해집니다. 학습이 완료되고 네트워크가 불완전한 특정 입력을 받았을 때 가장 가까운 안정 상태로 수렴하는 방식입니다. 그렇다면 학습하는 과정은 그 지형을 만들어내는 과정이라고 볼 수 있지요.

 

제프리 힌턴 교수는 공학 분야에 몸 담고 있는 사람이라면 한 번쯤 들어본 적이 있는 인물일 것입니다. 인공지능의 아버지라고 불리는 그는 RBM뿐 아니라 사전 학습(Pre-Training)을 통한 딥러닝으로 인공지능의 빙하기를 극복해낸 것으로도 잘 알려져 있습니다. 사실, 인공지능은 제프리 힌턴 교수의 연구가 활발하게 진행되기 전까지 한계점을 보이며 진척이 없었지만 힌턴 교수의 연구가 궤도에 오르며 인공지능의 역사가 급물살을 타게 되었다고 할 수 있습니다.

 

사진출처 : https://eastgate-software.com/what-is-unsupervised-learning

힌턴 교수의 RBM 또한 통계 물리학에서 영감을 받은 모델입니다. RBM은 입력값에 따른 별도의 레이블링 없이 데이터들을 있는 그대로 학습하여 데이터들이 가지고 있는 패턴들을 추출하여 학습하는 모델입니다. 여기서 별도의 레이블링은, 예를 들어, 강아지의 사진에 ‘강아지’, 고양이의 사진에 ‘고양이’라고 알려주는 과정을 말합니다. RBM은 생성형 모델(generative model)의 원형으로, 생성형 모델은 주어진 정보의 특징을 학습하여 이와 유사한 정보를 생성하는 것이 목적입니다. 최근 ChatGPT나 유튜브에서 볼 수 있는 생성형 이미지와 영상도 이러한 생성형 모델에서 비롯된 것이지요. RBM은 간단히 데이터들이 가지고 있는 패턴을 학습하는 모델이라고 할 수 있습니다.

 

Hopfield network, (unrestricted) Boltzmann machine, restricted Boltzmann machine 간 도식적 비교 (사진출처 : Popular Information. The Nobel Prize in Physics 2024 https://www.nobelprize.org)

그렇다면 그 패턴들을 어떻게 추출하는 지가 궁금해지지요? 여기서 먼저 볼츠만 머신에 대해서 알아야 할 필요가 있습니다. 볼츠만 머신의 학습 목표는 주어진 입력 데이터를 에너지 함수에 따라 가장 높은 확률로 나타낼 수 있도록 하는 것입니다. 확률에 따라 나타낸다는 것은 데이터의 특징을 잡아낸다는 것이라고 볼 수 있는데요, 이때의 확률 분포는 볼츠만 분포를 통해 정의됩니다.

 

여기서 볼츠만 분포는 열평형 상태에서 에너지가 낮을수록 해당 상태의 확률이 높아지는 분포를 설명하는 확률 분포입니다. 볼츠만 머신에서 각 노드의 상태는 에너지 함수에 따라 특정 확률로 결정됩니다. 그리고 에너지가 낮은 상태일수록 더 높은 확률을 가지게 되지요. 볼츠만 머신은 데이터를 학습하는 과정에서 노드의 상태와 가중치를 조정하여 데이터의 특정 패턴이 에너지가 낮은 상태로 수렴하도록 유도합니다. 즉 학습된 가중치가 데이터의 특징을 반영하게 되는 것이며, 이 가중치를 활용하여 데이터의 패턴을 다시 생성하거나 인식할 수 있게 되는 것입니다. 하지만 볼츠만 머신은 계산이 복잡하고 효율성이 떨어지는 문제가 있었고, 이를 해결하기 위해 ‘제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM)’이 도입되었습니다.

 

사진출처 : www.nobelprize.org

RBM은 볼츠만 머신의 일종이지만, 노드 간의 연결을 제한하여 계산 효율성을 높였습니다. RBM에서는 가시층(Visible Layer)과 숨겨진 층(Hidden Layer)으로 노드를 구분하고, 가시층과 숨겨진 층 간에는 연결이 있지만 같은 층 내에서는 노드 간의 연결이 없습니다. 이 제한 덕분에 계산이 훨씬 간단해지고 학습 속도가 빨라졌습니다. 이렇게 학습한 RBM은 새롭게 주어지는 데이터에 대하여 이전의 학습된 데이터와 얼마나 유사한지에 대한 평가가 가능하게 됩니다.

 

홉필드 네트워크의 연상 기억 개념은 현대 인공지능이 패턴 인식과 기억을 수행하는 방식의 기초가 되었습니다. RBM은 데이터의 내재된 패턴과 특징을 학습하는 학습 기법의 초기 형태이며 최근 생성형 AI 모델 등에 영향을 주었지요. 또한, 혹독했던 인공지능의 겨울을 봄으로 나아가게 한 딥 러닝의 사전 학습(pre-training)으로 활용할 수 있게 됩니다. 우리가 넷플릭스나 왓챠와 같은 영상 매체에서 다음 영상을 추천받는 것도 RBM에서 시작된 것이고요.

 

홉필드 네트워크와 RBM로 날개를 달게 된 인공지능은 우리 삶뿐만 아니라 수많은 학문 연구 분야에도 도움을 주고 있는데요, 한 예로, 우주가 처음 태어났을 때 몇몇 소립자에 질량을 부여한 것으로 알려진 신의 입자인 힉스 입자를 발견하기 위한 연구에 사용되어 방대한 데이터를 처리하고 선별하는 데 활용되었습니다. 또한, 금년 노벨 화학상의 단백질 분자 구조를 계산하거나 그 기능을 파악하는 모델에도 활용되었지요.

 

한편, 홉필드 교수와 힌턴 교수는 인공지능의 위험성에 대해서도 경고하고 있습니다. 노벨 물리학상 온라인 소감에서 홉필드 교수는 물리학자로서 통제할 수 없고 한계를 파악할 수 없는 것에 큰 불안감을 느낀다고 밝혔고, 힌턴 교수는 AI가 지적 능력에서 인간을 넘어서게 될 것이며 이를 통제하는데 더 많은 연구가 이루어져야 한다고 밝히기도 했지요. 인간의 상상보다 더 빠르게 발전해가고 있는 인공지능의 놀라운 진보에 경이로움을 느끼는 동시에 인간의 통제를 벗어난 인공지능을 상상하는 것만으로 섬뜩한 미래가 그려지는 것은 기우일까요? 여러분은 어떻게 생각하시나요?

 

By 강형욱  | SF 영화의 무모한 도전이 섬광처럼 빛나 보이던 순간, 공학도를 꿈꾸었고 복잡한 물리 공식과 새로운 이론 너머로 그 섬광은 가능성(星)의 빛이라는 것을 깨달았다. 그 두근거리는 순간을 독자들과 함께 나누고자 한다.

 

※ 외부필자에 의해 작성된 기고문의 내용은 앰코인스토리의 편집방향과 다를 수도 있습니다.