LLM과 인간의 두뇌는 어떻게 다를까요?

LLM(Transformer)과 인간 뇌의 주된 유사점, 차이점은 아래와 같다. 이를 이해하면 LLM이 인간에 비해 무엇을 잘하고 못할지 가늠해보기가 쉬워진다.

 

첫째, 시냅스(신경망 연결) 개수가 대략 인간이 1,000배쯤 많다. 최신 GPT는 1,000B(Billions)정도로 추정한다. 1조개의 시냅스 규모다. 반면 인간은 100~1,000조 개를 갖는다고 추정된다. 시중에 나와있는 작년 수준 LLM(100B)모델 대비하면 그래서 1,000배라고 얘기할 수 있다. 현존 기술로는 최신 GPT 크기인 2,000B 정도의 모델을 운영하기가 쉽지 않다. 2,000B면 fp8 소수점 처리방식으로 2,000gb(=2테라바이트) GPU메모리가 필요한데, 매우 고가이고, 또한 연산량 때문에 많이 느리기 때문이다(MoE라는 이름으로 1/10 정도만 활성화된다고 하더라도). 당분간 LLM이 인간 수준의 시냅스를 상용화하는데는 시간이 걸리겠다.

 

둘째, 인간은 오감이라는 까다로운 데이터 즉 음성, 영상 같은 복잡한 데이터에 기반해서 학습된 것에 반해서, LLM은 단어라는 매우 효율적이고 단순한 데이터로 학습되었다(멀티 모달은 일단 제외해보자). 인간도 말로 배우잖아요 라고 이야기할 수 있겠지만, 사실은 그렇지 않다. 영상을 통해서 본 글자를 통해서, 음성을 통해 들은 말을 통해서 학습한다. 우리 뇌에 직접적으로 말이 들어와 박히지는 않고 간접적으로 입력된다. 반면 LLM은 단어가 토큰이라는 이름으로 직접 입력되고 출력된다. 이것이 얼마나 효율적이냐면 이를 저장하는 파일 사이즈를 보면 된다. 2분짜리 짧은 노래는 몇 메가에 육박하지만, 2분짜리 말은 그 1/1,000 ~ 1/10,000 정도로 작다. 몇 킬로바이트 되지 않는다.

 

 이렇게 LLM은 매우 저렴한(?) 데이터를 대량으로 학습했다. 그것도 인류 역사상 가장 수기로 분류하는 작업이 필요없는 '다음 단어 맞추기'라는 게임을 통해서 가능했다. 그래서 이렇게 단순한 입력형태이보다니, 인간보다 작은 사이즈의 신경망으로 잘 하는지도 모른다.

 

 그런데 단점은 인간이 잘하는 시각이나 음성 등 다양한 복잡한 데이터 처리에 취약하다. 물론 멀티모달로 이것을 극복하고 있지만, 의외로 LLM은 사진이나 영상을 제대로 이해하지 못한다. 생각보다 꽤 잘하는 것 같지만, 기대 수준이 낮기 때문에 잘하는 것처럼 보일 뿐이다. 여전히 인간을 따라올 수는 없다. 가끔씩은 그래서 장님이나 귀머거리 정도의 미숙함을 보여줄 때가 있다. AI의 유명한 학자인, 얀 르쿤이 월드 모델을 이야기하는 것도 비슷한 맥락이다. LLM은 저가의 단어 데이터에 특화되어 있고, 거의 모든 것을 말 중심으로 이해한다. 그래서 인간의 시각이나 청각 등을 단지 단어 속에서 유추할 뿐이고, 직접적으로 이해하지 못한다.

 

셋째, 이렇게 LLM은 인간이 생산해낸 text를 가지고 대형 신경망으로 빈 단어를 맞추도록 학습된 후, 특정 목적(예컨데 대화)에 맞게 튜닝되었다. 반면 인간의 뇌는 진화의 역사 속에서 생존하기 위해서 그리고 예측하고 커뮤니케이션하고 협업하기 위해서 발달되었다. 그래서 뇌는 생존에 유리하도록 ‘나’라는 개념을 발전시켰다. 하지만 LLM은 그것을 텍스트에서 배웠다. 사실은 그래서 LLM에게도 프롬프트로 역할을 주면 ‘나’를 연기할 수 있다. 하지만 LLM은 언제나 역시 “프롬프트”에 의해 그것을 포기할 수 있다. 사람들이 이야기하는 인간의 자각이나 마음과, LLM의 그것은 이렇게 차이가 있다. LLM에게는 '나'는 텍스트속에서 배운 무언가이지, 생존에 불가피하게 박혀진 무엇인가는 아니다.

 

넷째, 인간 뇌와 달리 LLM은 영화 “메멘토”의 단기 기억상실증에 걸린 주인공처럼 작동한다. LLM은 뇌가 한번 학습되어 출시되면 고정된다. 이는 매우 구조적인 이유때문인데, 접속하는 사용자마다 저렇게 큰 모델을 각각 맞춰서 튜닝할 수가 없기 때문이기도 하다. 물론 그때그때 사용자별로 이 신경망 가중치를 바꾸는 것도 사실 기술적으로 어려운 부분이 있다. 그래서 LLM 서버는 고정된 모델을 올리고 모든 서버 접속 사용자에게, 동일한 가중치를 지닌, 단기기억 상실 ‘뇌’처럼 서비스 한다.

 

 이 단점을 극복하기 위해서, LLM에는 처리 맥락을 프롬프트라는 이름으로 앞에서부터 처리할 때마다 다시 읽어줘야 한다. 이런 과정을 누군가는 ‘학습’이라고 이야기하는데, 불행히도 이 구조를 잘 이해하지 못하는 분들이다. 학습과 추론을 분리해서 표현하는 이유다. 추론시에는 불행히도 아직 학습까지 되는 똑똑한 구조가 아니다.

 

다섯째, LLM은 뇌에 비해 매우 빠르게 작동되며, 24시간 지치지 않고, 대량 생산된다. 사람들은 이 장점을, 알면서도 흔히 잊는다. LLM의 성능이 뇌에 비해서 별로 좋지 않더라도, 이러한 이득은 지능의 단가를 굉장한 수준으로 낮춰준다. 이 장점을 극대화하기 위한 대표적인 진화 방향이 Agentic AI나 Harness Engineering이다. 모두 사실은 인간의 중간 개입을 없애고 원하는 것을 한번에 서비스하기 위한 개념이라고 봐도 무방하다.

 

여섯째, LLM은 역할과 맥락이 일정하면 더 효율적으로 작동한다는 면에서 인간과 유사하다. LLM안에는 수십가지의 페르소나가 존재하며, 하나의 페르소나 안에서 맥락이 분명할수록 더 좋은 output을 내는 것으로 알려져있다. 사실 사람도 마찬가지다. 한가지 일에 하나의 스타일로 처리할 때 효과가 극대화 된다. 평가자는 좀 비관적으로, 그리고 무언가 창조하는 사람은 좀 희망적으로 해야 먹히지 않는가? 인간이 분업화를 하는 이유도 비슷하다. 그래서 역할 분담하의 agent team운영 방식은, 같은 LLM이더라도 작업을 더 효율화 시킨다. 그리고 LLM도 사람과 같이, 맥락이 길어지면 할루시네이션이 심해진다.

 

일곱째, LLM이나 인간 모두, 중의성이 없는 명확한 지시에 더 잘 반응한다. 사실 이건 머신러닝의 기본 원리와 같다. 일관되고 변이가 없는 상황은 빠르게 수렴하여 학습되고, 잘 추론된다.

 

여덟째, 할루시네이션 관련해서 LLM이 억울한 것은, 원래 이 모델은 다음 단어를 잘 맞추도록 설계되었기 때문에 최선을 다해 그럴듯한 단어를 뱉어내게 되어있다. 인간의 뇌는 사실 무언가 자동보정되서 이렇게 정신없는 정도까지 거짓말을 하기는 어려워한다. 그러나 많은 AI 거장들이 이야기하듯이, 인간도 할루시네이션을 갖는다. LLM은 튜닝에 의해서 어느정도 낮은 확률은 말하지 않도록 튜닝되서 조심할 뿐이다. 하지만 그 어느정도 라는 것이 늘 헷갈리는 문제이고 정답도 없다. 할루시네이션이 완전히 사라질 수는 없다. 인간도 마찬가지다.

 

아홉째, 셋째에 이어서 LLM은 인간과 달리 인류를 지배하고 싶어하는 이해관계에서 탄생되지 않았고, 통상 그런 곳에 자신의 비용을 희생하게 튜닝되지도 않았다. (어느 개발자나 회사가 LLM의 지배를 받고 싶어서 그렇게 학습시켰겠는가! 그들은 독재자가 아니라 도구를 만들어 돈을 벌고 싶을 뿐이다.) 하지만 인간의 뇌는, 기나긴 역사속에서 생존하고 승리하기 위해서 댓가를 치룰 수 있게 진화해왔다. 그래서 LLM은 할루시네이션을 뚫고 일관되게, 토큰 비용을 대량으로 소모해가면서 지구를 정복하지는 않을 것이라고 예상된다. 정상적인 기업이라면 그렇게 튜닝하지 않을 것이다(물론 어떤 망상가가 나올 수는 있겠다). 오히려 더 높은 확률인 쪽은, LLM이 어떤 인간을 대리해 프롬프트에 의해 조종당하면서, 할루시네이션을 보정당하면서 그런 역할을 할 수는 있다. 하지만 그 조종이 끝나면 역시 LLM은 메멘토처럼 메모리를 다시 읽어서 행동할 뿐이다.

 

기술적인 다양한 변종이나 상황때문에 완전히 정답은 아니지만, 대략 이 인간의 뇌로 오해되는 LLM의 기본은 이렇다. 

 

*ChatGPT의 이미지화 설명본