힌튼 교수(Geoffrey Hinton) AI의 위험성을 경고하다. 인터뷰 훑어보기

 이미 딥러닝 역사의 아버지 역할을 하게 된 힌튼교수(캐나다 토론토 대학교 교수)가 최근 겸직하던 구글을 그만두었다. 회사에 몸담고 있는 입장에서는 최근 AI를 자유롭게 논할 수가 없어 그만두었고 현재의 ChatGPT를 비롯한 LLM이 펼쳐질 미래에 대한 우려를 밝히고 있다. 이 오랜 연결주의자인 그의 인터뷰는 그의 제자들이 이 분야의 거대 테크기업들(얀 르쿤, 앤드류 응, 요슈아 벤지오, 일리야 서츠커버)과 학계를 주도하는 상황에서 상당한 정보에 기반하고 있다고 볼 수 있으므로 리뷰해볼 가치가 있다고 생각한다.

 

https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/

 

 

“My father was a biologist, so I was thinking in biological terms,” says Hinton. “And symbolic reasoning is clearly not at the core of biological intelligence.“Crows can solve puzzles, and they don’t have language. They’re not doing it by storing strings of symbols and manipulating them. They’re doing it..

  신경망의 주요 학습 알고리즘인 Back Propagation('1980년대)을 만드는데 크게 공헌한 그는 생물학자였던 아버지의 영향으로 신경망으로 지능의 문제를 해결할 수 있다고 믿어왔다고 한다. 연결주의가 침체되고 기호주의가 팽배하던 시절을 겪었음에도 그 믿음을 계속 밀고 나갔던 것이다.

 

“Our brains have 100 trillion connections,” says Hinton. “Large language models have up to half a trillion, a trillion at most. Yet GPT-4 knows hundreds of times more than any one person does. So maybe it’s actually got a much better learning algorithm than us.”

 

 ChatGPT에 대해 놀라운 것은 인간 신경망 연결의 많아야 1% 밖에 되지 않는 데도 한명의 인간보다 훨씬 더 많은 것을 알고 있다는 점이다. 오히려 인공 신경망 알고리즘이 인간의 것보다 더 효율적일 수 있단다.

 

Hinton has an answer for that too: bullshitting is a feature, not a bug. “People always confabulate,” he says. Half-truths and misremembered details are hallmarks of human conversation: “Confabulation is a signature of human memory. These models are doing something just like people.”

 

 Hallucination(엉터리 사실을 말하는것)에 대해서는 흥미롭게도 그것은 LLM만의 문제가 아니라 인간도 같다고 주장한다. 사람들도 언제나 지어내며 LLM보다 정확하거나 덜 정확할 뿐이지, 인간이나 기계나 현상은 비슷하다는 말이다. 즉 개선하면 될 일이지 구조적인 한계로 볼 수가 없다고 할 수 있다.

 

Learning is just the first string of Hinton’s argument. The second is communicating. “If you or I learn something and want to transfer that knowledge to someone else, we can’t just send them a copy,” he says. “But I can have 10,000 neural networks, each having their own experiences, and any of them can share what they learn instantly. That’s a huge difference. It’s as if there were 10,000 of us, and as soon as one person learns something, all of us know it.”

 힌튼 교수가 이제 AI에 대해 걱정되는 점들을 언급한다. 처음에는 인간에 비해 빠른 학습 및 전파에 대한 것이다. 기계는 일단 학습을 하면 복제가 매우 쉽다. 이를 테면 만 개의 agent가 있다면 1 개의 agent가 배운 내용을 그 즉시 전체로 전파할 수 있다. 인간과는 상대도 안되는 속도다. 생물학적인 뇌와는 차원이 다른 더 나은 지능이라고 평가하고 있다.

 

“Look, here’s one way it could all go wrong,” he says. “We know that a lot of the people who want to use these tools are bad actors like Putin or DeSantis. They want to use them for winning wars or manipulating electorates.”

 

 사람마다 이 문제를 바라보는 정도가 다르지만, 이 기술에 준비가 안된 사람들이 피해를 볼 수 있고, 가장 직접적으로는 나쁜 사람들에 의해 악용되어 선거나 전쟁의 양상을 바꾸는 데도 응용될 수 있다고 경고한다. 확실히 댓글부대라던가 여론조작, 다양한 조작이나 포장이 더 저렴해지고 효과적이게 할 수 있게 된 것은 사실이다.

 

Don’t think for a moment that Putin wouldn’t make hyper-intelligent robots with the goal of killing Ukrainians,” he says. “He wouldn’t hesitate. And if you want them to be good at it, you don’t want to micromanage them—you want them to figure out how to do it.”

 

이어서는 이 AI에게 자율적으로 특정 나쁜 목적을 부여하여 다양하게 고민하고 실행토록 하는 것을 예로든다. ChatGPT류가 인간의 일반적인 질문에도 답해주지만 나쁜 목적의 질문에도 지속 효과적인 답변을 해주고, agent로도 쓰일 수 있으므로 그것에 실제 실행할 수 있는 능력을 부여했을때, 상상 이상으로 잘 실행해버리면 인류가 재앙의 상황에 닥칠 수 있다는 이야기다. AI가 인간보다 더 나은 솔루션을 저렴하게 제시하고 그것을 자율 실행하게 되면, 나쁜 짓도 훨씬더 효과적으로 실행할 수 있다는 추측이다. 이미 Auto-GPT같은 AI모델들을 결합하여 특정 목적을 수행하게 자동화하는 프로젝트도 존재하고 있긴 하다. 하지만 개인적으로는 이것이 현실화되려면 꽤 충분히 더 지금의 인공AI들이 더 좋아져야 할 것이다. 단순히 LLM만으로 해낼 수 있는 문제인지도 명확치 않다. 아마 이런 부분에 있어서 여전히 전문가들의 의견이 엇갈리고 있을테다.

 

“There is no question that machines will become smarter than humans—in all domains in which humans are smart—in the future,” says LeCun. “It’s a question of when and how, not a question of if.”

 

하지만 AI가 인간보다 더 잘할 있는가에 대해서는 르쿤(얀 르쿤)의 말을 인용한다. 여하튼 언젠가는 좋아지므로 그저 타이밍의 문제라는 말이다. 다만 르쿤은 이렇게 AI가 인간보다 더 똑똑해진다고 무조건 인간을 지배한다는 점에서는 동의하지 않는다고 한다. 이미 인간 세상에서도 가장 똑똑한 사람이 다스리는 것은 아니기 때문이다. 그곳에는 무언가 다른 메카니즘이 있다.

 

He thinks the international ban on chemical weapons might be one model of how to go about curbing the development and use of dangerous AI. “It wasn’t foolproof, but on the whole people don’t use chemical weapons,” he says.

 

힌튼은 그럼에도 이 악용되고 위험해질 수 있는 AI 기술에 대해 화학무기처럼 다룰 수 있다고 이야기한다. 그러나 그 제자들 등 모두는 이런 법적이거나 행정적인 조치들보다도 AI의 기술 발전속도가 너무 빠른 것에 대해 우려하고 있다. 테크기업들의 경쟁이 심화되고 있기 때문이다.

 

아직 그 위험한 총기 문제에도 합의가 없는 미국의 예로 들면서 시간이 지나면서도 통제하기 어려울 수도 있는 상황에 대해 우려하면서 인터뷰는 끝난다. 여전히 개인적으로는 다수의 디지털 앵무새가 무기화되는 장면이 선뜻 떠오르지는 않는다. 그리고 ChatGPT는 진짜 자기가 무슨 말을 하는지 아는 독립된 생명체 같지는 않지 않은가? 하지만 확실히 기존에 사람밖에 할 수 없다고 알려진 일들을 매우 빠르고 값싸게 수행하면서 더 빨리 배울 수 있는 점은, 어떤 상상력과 결합했을때 그 파급효과가 클 수도 있다는 우려에 대해서는 이제 일부 동감이 된다. ChatGPT오픈 후 이렇게 급속히 변하고 발전하는 이 분야의 올해나 내년은 또 어떻게 진행될까?

 

'