정보엔지니어 (맥스웰의 도깨비, 양자컴퓨터)

 ChatGPT에 대한 다양한 전문가의 반격이 이어지고 있다. "이 녀석은 진짜 사람같은 인공 지능이 아니다. 인터넷의 거대한 문장들을 흉내내는 데이터 앵무새일뿐이다"가 바로 그것이다. ChatGPT에 대한 맹목적인 추종이 인터넷 전반을 휩쓸기 시작하자, 이를 시니컬하게 바라보는 전문가들도 영상에서 많이 보았다. 그들에게 ChatGPT는 흥미롭지만 그렇게 이해못할 정도는 아니다. 대표적인 언사로는 딥러닝으로 유명한 제프리 힌튼 교수의 유명한 제자이자, 메타의 딥러닝 전문가 Yann Lecun이다. 그는 지속적으로 Facebook을 통해 LLM(Large Language Model)이 그렇게 추앙받을 정도는 아니라고 밝히고 있다. 오히려 LLM의 범용 인공지능으로 가는 샛길이라고 주장하기도 한다. 그외에도 수많은 유명 인사들의 LLM에 대한 경고가 이어지고 있다. LLM에는 여러가지 한계가 존재하기 때문이다.

 그러나 사실은 이런 평가는 또다른 조심스러운 부분이 존재한다. 그리고 그 역사는 좀 길다.

 ChatGPT는 인공신경망에 근거한다. 이것은 소위 인공지능 분야의 오래된, 1950년대부터 이어지는 "연결주의(Connectionism)"의 꿈이었다. 단순한 신경세포를 흉내낸 하나의 기본 단위가, 수없이 다수가 연결되면 결국에는 지능이 하는 일을 대신할 수 있다는 믿음이다. 얼마나 멋지고 단순한 꿈인가. 지능의 본질이 사실은 단순한 원자같은 인공 신경망 노드들 다수의 연결로 구현되다니! 그리고 이는 이 반대에 있는 것으로 평가된 그 복잡한 기호주의(Symbolism)에 한동안 밀렸던 방법이기도 하다.

 다르게 말해보자. 뇌를 하나의 블랙박스라고 생각해볼 수 있다. 그것은 단순히 f(x)라는 함수, 입력을 무언가 변형해서 출력하는 존재라고 할 수 있다. 여러가지 시각이나 청각이 입력되면 그저 말을 출력 하는, 그런 입력과 출력의 블랙 박스가 사람이라고 볼 수 있다. 그리고 이 블랙박스는 아직은 완전히 밝혀지지 않았으나, 무언가 수많은 신경망 연결로 규정된다.

 사실은 인공신경망의 연결과는, 더 다른 구조의 신경세포로 인간의 뇌는 이루어져 있다(신경과학자는 그 둘이 사실은 아예 다르다고 말하기는 한다). 인간의 뇌 속에는 약 1천억개의 신경세포가 존재하고 각각은 평균 1천개의 연결을 가지고 있어서, 결국 곱하면 100조개의 총 연결을 가지고 있다는 이야기는 유명하다. 인간의 신경망 파라메터는 이렇게 100조개인 셈이다. ChatGPT의 1,750억개에 비하면 좀더 많긴 하다. 그러나 사람의 DNA의 대부분이 실제와 관여하지 않다고 주장되듯이 이 인간의 뇌 모든 연결에는 수많은 중복(redundancy)이 있을 것이다. 잘 최적화하면 1조개 정도로도 충분할지 모른다. 그래서 ChatGPT의 1750억개도 각 연결가중치만 적당히 최적화해서 조절하면, 결국은 좀 낮은 수준이라도 사람이라는 지능이 탄생하게 된다고 간단히 말해 볼 수 있다(물론 좀더 복잡한 논증이 필요하겠지만 여하튼 단순히는 그렇다고 우겨볼 수 있다).

 ChatGPT를 어느정도 아는 사람은 그것이 데이터 앵무새라고 말하고 싶고, 현실적으로도 사실이기는 한데, 이 신경망이라는 구조의 녀석은 좀 복잡한 특성을 갖는다. 바로 신경망이 매우 복잡한 인과 관계를 그 연결을 잘 학습시킴으로 인해서 다양하게 추상적으로 각인시킬 수 있다는 점이다. 그리고 이론적으로 이것의 가능성은 잘 증명되어 있다. 학습시키는 것은 어려울 수 있지만 신경망은 다양한 인과 관계를 나타내는 가능성을 갖고 있다. 따라서 신경망이라는 녀석은 단순히 "데이터의 평균을 지향한다"고 단언하기는 어렵다. 입력들의 수많은 복잡한 패턴을 스스로가 나름대로 신경망의 연결을 통해 수용할 수 있다. 즉 데이터들을 학습시켰을때, 그게 무슨 형태로 이 연결가중치에 각인될지는 사실 알 수가 없다.

 그래서 제프리 힌튼 교수의 딥러닝 이전에는 이 신경망이 별 인기가 없었다. 학습시킬때마다 결과가 다르기 때문이고 성능이 들쑥날쑥했기 때문이다. 물론 지금의 딥러닝에서도 이런 들쑥날쑥함이 종종 발생한다. 거대 신경망을 다루는 연구자들은, 과거와 비교해서는 훨씬 더 나아졌을지라도, 이 딥러닝 학습이 늘 잘되는 것은 아니라는 것을 알고 있다. 수십 수백억원의 컴퓨팅을 써서 학습 시켰는데, 전혀 엉뚱한 방향으로 학습되어 다시 처음부터 해야 하는 경우도 흔하다. 수많은 시행착오가 필요하다. 전보다는 훨씬 나아졌지만 아직도 불확실성의 세계가 이 연결주의 기술에는 잠재하고 있다.

 더듬어보면 어찌보면 사람의 지능수준의 신경망을 구현하는데 성공한 유일한 존재는 자연이라고 볼 수도 있다. 아직 진화론을 믿지 못하는 사람이 있을 수도 있고, 실제는 조금 다를 수도 있으나, 이 지구라는 시뮬레이터에서 다양한 유전자 교환과 강화학습(?)을 통해 자연은 인간이라는 지능을 탄생시켰다고 보는 것이 지금의 과학계 정설과 크게 배치되지 않는다.

 그렇게 생각해보면 이 인간 지능의 탄생도, 어느 단계의 디지털 앵무새가 결국 여러가지 시행착오와 진화를 거쳐, 자기가 무슨 말을 하고 있는지 아는 진화된 chatGPT가 된 셈이 아닌가 말해볼 수 있다. 그래서 확률은 아마도 매우 희박할테지만, 결국 이 연결주의 기술은 인간의 지능을 따라잡을 가능성이 있다. 어떻게 진화시키고 다시 학습시키느냐에 따라 결국에는 사람처럼 되지 않겠는가? 지금의 ChatGPT학습은 문장들의 연결 구조에 대해서만 학습하기 때문에 이런 "범용 인공지능"이 탄생하지는 않겠으나, 연결주의 기술 자체는 이런 열린 가능성을 갖고 있다.

 그래서 이 대중에 의해서 부질없이 추앙받고 있는 ChatGPT에 대해서 전문가들이 딱히 디지털 앵무새라고 어느정도 기대를 낮춰주고 싶어도, 마음 한구석에는 아주 작은 가능성이, 정말 무언가 어떤 단어의 의미에 대해서는 이해를 하고 있을지 모른다는 생각이 들 수 있다. ChatGPT의 신경망 어딘가에는 인간의 뇌처럼 "동물"에 대한 영역이 있을지도 모른다. 신경망이라는 구조의 연결주의 기술이 가지고 있는 신기한 가능성 중의 하나이기 때문이다. 아직은 그 학습방법의 구조가 데이터 앵무새를 지향하고 있지만, 그래서 위와 같은 일이 일반적이지는 않을 수 있겠지만, 이 ChatGPT가 또 무언가 다른 학습 방법으로 가는 다리가 될 수도 있지 않겠는가. 그리고 그 새로운 학습은 또 거대 신경망으로 들어가게 될 가능성이 매우 높지 않겠는가. 그러다보면 사람의 지능처럼 안되리라는 보장이 딱히 있는 것은 아니다.

 그래서 이걸 현실대로 그저 데이터 앵무새라고 말하는 것이 조금은 마음에 걸리는 상태.. 이것이 나름 그 구조를 어느정도 이해하는 이들의 고민이 아닐까싶다. 단순히 단어의 관계를 학습하는 방법론이 범용 인공지능으로 가는 길과는 거리가 있지만, 그렇다고 아예 무언가 범용 인공지능으로 가는 길과는 아예 무관하다고도 할 수 없는 것이 딜레마가 아닐까.