ChatGPT가 보여주는 AGI의 가능성은?

OpenAI가 최근에 블로그에 AGI(Artificial General Intelligence, 범용 인공 지능)에 대한 내용을 발표하였다.

 

https://openai.com/blog/planning-for-agi-and-beyond/

Planning for AGI and beyond

 

 이 글에는 AGI가 다가오리라는 전제하에 여러가지 이야기를 하고 있다. 필자도 chatGPT로 대화를 나누면서, 아직은 부족한 챗봇이지만 마치 사람처럼 간주되기도 하는 이녀석에 대해서 여러가지 생각이 들었다. 다양하게 틀린 말과 적절한 말을 출력하는 프로그램에 불과하지만, 다양한 사용자들이 이 프로그램에 권위를 부여하고 의지하고 만약에 openAI에서 어떤 의도를 가지게 되면, 많은 사람들에게 심리적 인지적인 영향을 끼칠 수 있게 되는 점에 대한 우려가 우선 그렇다. 예컨데 중간에 무엇인가를 구매하라고 넌즈시 이야기하던가, 무언가 나쁘다고 이야기해주면 지금의 광고나 개인적인 험담과는 차원이 다르게 전체적으로 영향을 줄 수 있지 않겠는가.

 왜냐하면 다양한 지식배경(이 챗봇의 한계를 아는 엔지니어와 그렇지 않은 사람)과 연령(어린이부터 노인까지)의 사람들이 chatGPT를 사용하고, 어느 수준 이상의 믿음이 있는 이라면 프로그램이라도 의인화하여 대할 수 있고, 마치 타인에게 직접 의견을 들어 행동하는 것처럼 영향을 받을 수 있기 때문이다. 실제로는 전혀 AGI가 아닌데도, 마치 그렇게 느껴지면서 사람들에게 영향력을 끼칠 수 있다는 말이다. 그래서 윤리적인 답변이나, 이를테면 어린이들에게 교육적이고 심리적으로 안정된 답변을 하는 것이 중요할 수 있다. 아마도 이 블로그 글은 이런 부분도 염두하고 조심스레 이야기를 하고 있을 것이다.

 

 그런데 더 궁금한 것은 과연 이 언어 통계 기계로 AGI가 가능한가이다. OpenAI는 기술발전에 기대를 꽤 하고 있는것 같지만 사실 필자는 이 언어모델만으로는 어렵다고 지금도 생각한다. 즉, 이런 방식으로만 모델이 커지고 학습을 늘려봐야 한계가 있다는 말이다. 왜냐하면 앞서 밝혔듯이 이 언어 모델의 현재 기능은 인터넷의 문서들을 머리속에 가득 연결해서 가지고 몇가지 전개하는 전략을 가진 똑똑한 앵무새 정도가 되기 때문이다. 내부의 구조적 한계 때문에 여러가지 장점에도 불구하고, 몇가지 모순적인 사실을 관찰하여 기존 지식 전체를 다시 바꾼다던가, 어떤 미묘한 사실들에 대한 앞뒤 관계를 정확히 고려해서 이야기한다던가 하는 많은 일들이 쉽지 않다. 조금 다르게 표현하자면 그런 것들을 가르치려면 그때그때 필요한 데이터가 상당할 것이다. 인간처럼 몇가지 증거만으로 자신을 효율적으로 바꾸어 나가는 과정이 쉽지 않다.

 

 하지만 어떤 면에서는 고무적이다. 그리고 돌이켜보면 이 시사점은 과거 알파고('16년)의 강화학습에서 이미 처음 봤었고, chatGPT는 한번더 그 가능성을 업그레이드 시켰다고 말할 수도 있지 않은가. 알파고도 chatGPT도 딥러닝과 대량 데이터 기반의 가능성을 지속 보여주고 있는 점이다.

 

 바둑의 엄청난 조합을 기계가 잘 추상화하여 인간을 뛰어넘는 전략을 펼칠 수 있다는 사실을 알파고가 증명했다. 즉, 문제가 복잡하면 신경망의 크기를 키우면 되고, 강화학습이라는 방법으로 데이터를 생성하여 학습시킬 수 있다는 사실이다. 이 방법으로 그대로 인간의 기보를 학습데이터에서 지우고, 기계끼리 서로 게임을 하면서 강화학습만으로, 인간을 뛰어넘는 알파제로를 만들 수 있다는 실증으로 이어졌다.

 

 그것이 어떤 문제이든 이렇게 대량의 데이터를 생산하고 대규모 계산을 통해 대형의 인공신경망을 학습(딥러닝)시키면 기존에 기계가 인간을 능가하기 어려운 문제를 풀어낸다는 점이다. 여기서는 강화학습이 대량의 데이터를 생산하는 빠른 방법인 셈이다. 그렇게 바둑이라는 게임은 컴퓨터를 통해 빠르게 진행시키면서 이기고 지는 과정을 알아낼 수 있기 때문에 데이터를 무한히 생산할 수 있다. 이를 지속 신경망 학습에 실시간 반영하는 것이 일반적으로 대량의 데이터를 넣고 반복학습하는 방식과는 다른, 강화학습만의 방식이라고 할 수 있다. 그렇게 데이터만 충분히 공급할 수 있으면, 인간을 뛰어넘는다는 간단한 과정을 보여줬다.

 

 chatGPT는 이 과정을 조금더 확장해서 대화라는 주제에 대한 증명을 한 셈이다. chatGPT는 또 한번 신경망의 크기를 키웠고, 대화를 대량 생산할 수 없다보니 인터넷의 텍스트 문장들을 대규모 사전 학습(pre-train)하고 이어서 특정 분야별로 소규모의 학습을 추가(fine-tuning)하는 형태로 진행했다. 만약에 대화에서도 인간이 정답을 가이드하는 방법이 아니라, 알파고의 강화학습처럼 대화의 정답을 자동으로 빠르게 얻는 방법이 있다면 인간을 능가하는 방법도 찾아낼 수 있다는 이야기가 되어 버린다. 지금도 우수한 자원봉사자가 chatGPT의 fine tuning을 대규모로 진행할 수 있다면 훨씬더 나은 성능을 보여줄 수 있다. 그것이 "대화"같은 어려운 문제라도 말이다.

 

 따라서 인간이 가진 많은 지능의 문제를, 이제 데이터와 신경망의 크기 및 그것을 대량 연산하는 기술을 통해 통해 상당부분 풀어나갈 수 있다는 확신을 주고 있는 셈이다. 이제 남은 것은 어떻게 빨리 데이터를 확보할 것인가. 자원봉사자를 얼마나 빨리 협업시켜서 대화의 정답지를 얻을 수 있는가 혹은 사전학습/튜닝의 형태로 이런 과정들을 더 축소할 수 있느냐, 혹은 시뮬레이터를 잘 구성해서 자동으로 이러한 데이터를 무한히 빨리 뽑아낼 수 있는가 이런 문제들로 바뀐다는 뜻이다. 물론 모든 인간 지능 문제를 해결할 수 있느냐는 두고 봐야겠으나 이미지 합성 분야도 마찬가지고 심지어 "대화"까지 많은 분야에서 이런 것들을 해내고 있지 않는가.

 

 이 틀에서는 이미 AGI로의 일반적인 방법론 하에서 경주가 시작되었다는 의미가 될 수 있다. 사람이 가진 추론의 몇가지가  이미 넘을 수 없는 벽은 아니었다는 사실을 알파고와 chatGPT가 보여주었다. 딥러닝과 데이터 그리고 연산력에 의해서 지속 확장 가능하다고 말하고 있다. 그리고 이제 이런 유사한 노력과 대량의 훈련이 더욱 진행될 수 밖에 없겠다. 그리고 인간의 고유의 "지능"이라고 생각되었던 것들이 확실히 대규모 자본의 개입을 통해 더 구현가능해 질 태세다.

 어떤 문제가 이런저런 아이디어를 통해 비교적 더 작은 크기의 신경망으로 해결될지, 데이터를 빨리 모을 수 있거나, 데이터를 적게 모아도 학습이 가능한 분야가 어디인지 그리고 이것들을 어떻게 합쳐나갈지, 경쟁이 시작된 모양새이다. OpenAI의 이 블로그 글은 바로 그런 세상을 염두해둔게 아닌가.

 

 그리고 이제 우리는 위에서 언급된 이 각 분야(어떤 문제를 풀지, 데이터를 어떻게 하면 최대한 작게 써서도 할지, 얼마나 크게 연산하고 그것을 실행할지, 얼마나 적은 데이터로도 이것들을 튜닝할지, 이것들을 어떻게 합쳐나갈지 등등)별로 투자금과 인력이 모이면서 다양한 일이 벌어지는 세상을 목격하는 시기에 살게 된게 아닌가.