인공지능을 연구 개발하는 사람이라면, 또는 기술에 관심이 있는 사람이라면 모를 수가 없는 유대계 캐나다인 컴퓨터과학자, 일리야 수츠케버의 인터뷰가 오랜만에 떴길래 부랴부랴 시청했다. 생소한 사람들을 위해 잠시 설명하자면, 일리야는 OpenAI의 공동 창립자 중 한 명이며 수석 과학자를 역임했었고, 현재 초인공지능(Super intelligence) 연구 기업 SSI의 CEO이다. 그 유명한 AlexNet의 공동 개발자이며 Tensorflow와 알파고 개발을 Google에서 진두지휘했으며, OpenAI에서 ChatGPT와 GPT-4를 개발한 전무후무한, 인공지능 연구하는 사람 중 가장 직관이 좋다 평가받는, 명실상부 대가 급의 연구자다.
https://www.youtube.com/watch?v=L3OvFcSjXRg
최근 강화 학습 연구 논문을 투고하며 가치함수와 내/외재적 보상 등을 공부했는데, 그와 관련된 이야기들이 나와 정말 흥미롭게 시청했다.
어쩌면 일리야가 강하게 saturation 된 현재 초 거대 모델 위주의 패러다임의 변화를 가져올 수도 있지 않을까? 라는 생각이 들 정도로.
인공지능을 연구하고 있는 뉴비 연구자로서, 그리고 인지과학을 사랑하는 한 철학 동호인으로서, 팟캐스트를 들으며 흥미로웠던 부분들을 정리해 봤다. 사견이 포함되어 있으므로, 비판적 읽기를 권장한다. 사견은 흘림체로 기입해서 팟캐스트의 내용과 필자의 생각을 구별하고자 했다.
하기된 수츠케버의 인사이트가 인공지능의 발전에, 나아가 인간을 이해하는데 도움이 되었으면 한다.
#TL;DR
1. 현재 AI는 평가 지표에서는 우수한 성능을 보이지만, 실제 세상에서는 잘 안 되는 경우가 많다. 이는 모델의 일반화 능력이 부족하기 때문이다.
2. 강화학습(RL) 훈련 시 평가 지표에 과도하게 집중하면 보상 해킹(Reward Hacking)이 발생하고(일종의 과적합), 이는 모델의 기본적인 추론 오류로 이어진다.
3. 스케일링 시대(2020~2025)는 데이터와 컴퓨팅 확장에 의존했다. 더 많은 데이터, 더 많은 학습이 더 나은 성능으로. 하지만, 그걸로 인간의 학습 방식을 따라 기는 데는 한계가 있다. 이제는 근본적인 연구로 돌아가야 한다.
4. 인간의 뛰어난 샘플 효율성은, 많은 사전 지식(Prior)을 학습했기 때문 보다는, 진화적으로 내재된 가치 함수(감정) 같은 간단하지만 강건한 보상 체계에서 비롯된다. AI에게도 이러한 요소가 필요하다.
5. 인공지능 연구의 궁극적인 목표는 모든 일을 할 수 있는 초지성(Superintelligence)이 아니다. 인간처럼 지속적으로 학습하며모든 일을 배울 수 있는, 안전하게 정렬된(Aligned) 시스템을 만드는 것이다.
#현재의 인공지능 연구개발의 문제점: 벤치마크 평가의 한계
일리야는 가장 먼저 기존의 벤치마크 평가의 한계를 지적한다. 벤치마크 평가란, 어떤 대상의 성능이나 수준을 측정하기 위해 미리 정해진 '기준(Benchmark)'과 비교 평가하는 것을 의미한다. AI 연구 분야에서도 다양한 기준, 즉 평가 지표들이 존재하는데, 주로 이 지표들에서 기존 방식 대비 가장 높은 점수를 취득하여, SOTA(State-Of-The-Art) 성능을 달성하는 데 목표를 둔다.
그도 그럴게, 제안한 방법론이 SOTA 성능을 달성해야 논문이 저널/학회에 게재 승인이 나니까... SOTA 성능을 달성하는 건 거의 필수적으로 달성해야 하는 일이 되는 게 현실이다. 나 또한 그랬고,,
그러나 일리야는 이러한 현재 시스템에 이슈가 있다고 보는데, 그건 바로:
시험문제만 잘 푸는 AI들이 생긴다! 라는 점이다.
- 일반화가 안되고 너무 국소적으로 파인튜닝(Fine-tuing)되고 있다! 현재 인공지능 시스템들의 다양한 RL(Reinforcement Learning)들이 너무 모델들을 국소적으로 좁게 만든다.
- 대부분의 연구원들의 실수는 평가 지표에서 영감을 얻는 것인데, 평가 지표가 높으면 좋겠어서 이를 높이기 위한 기법들을 추가한다.(굉장히 찔리는 말이다..)
- 이러한 방식은 모델의 평가 결과와 실제 성능의 괴리를 가속화시킨다.
좀 더 풀어서 이야기하자며, 일리아는 다음과 같은 예시를 든다.
경시대회 우승을 위해 모든 기출문제 및 변형문제를 달달 외우고 100만 시간 이상 공부한 학생 vs 오 이거 재밌겠는데? 하고 한 두달 공부한 학생
둘 중에 주로 누가 10년 뒤 더 성공할까? 경시대회에서는 첫번째 학생이 승리하더라도, 일리아는 경험적으로 후자가 훨씬 더 성공한다고 말한다. 지금 연구계가 하는 건 첫 번째다. 그럼 두 번째 학생이 성공하는 이유는 뭘까? 이들은 감각, 재능이 있기 때문이다.
나는 특히 이 부분에서 "오 이거 재밌겠는데?" 라는 감각, 재능이 핵심이라고 봤다. 결국 효과적 학습을 성공하게 만드는 건, 얼마나 많은 기존 정보들을 학습했냐라기 보다는, 문제를 대하는 동기, 즉 감각이나 재능이 더 중요하다는 말인 거 같다. 때문에 더 많은 기출을 푸는 현재의 사전학습(Pretraining) 위주의 연구는 한계가 있다는 거다. 그 한계가 바로, 벤치마크, 즉 시험 문제만 잘 풀고 실제 응용이 안되는, 일반화 실패의 문제다.
이 때 인터뷰어의 반론이 들어온다.
Q1: 그런데 사람도 사전학습을 통해 높은 인지, 사고력을 가지게 된 게 아닌가? 칼 슐먼은 사전학습이라는 게 13~18년 간의 생산 활동 이전의 유년기를 재현하는 것이며, 리치 서튼은 30 억년 간의 진화 과정을 사전학습으로 따라잡는다고 말했다. 어떻게 생각하는지?
A1: 둘다 유사하지만 다르다.
일리야는 첫 번째, 유년기의 학습 활동을 사전학습과 빗대는 것은 무리가 있다고 말한다. 왜냐하면 인간은 약 15년을 배우지만 학습 데이터는 사전학습에 비해 훨씬 적고, 오류는 더 적기 때문이다. 즉 현재 인공지능 시스템에 비해 인간의 학습 방식의 효율이 매우 좋은 것이다(샘플 효율성 높음).
또한 진화는 사전학습보다 더 우위의 개념 같다고도 말한다. 그는 생명체는 유전자를 통해 다음 세대로 중요한 정보(Prior)를 전달하는데, 이때 전달되는 정보, 즉 본능이나 감정 등을 만드는 정보들은 구조적으로 굉장히 간단하지만, 매우 강건하게(robustness) 행동을 유도할 수 있는 신호들이라고 말한다. 일리아는 특히, 인간 고유의 시그널인 "감정"이 "의사결정"에 지대한 영향을 주고 있다고 주장하며, 다음과 같은 예시를 꼽는다.
한 환자가 뇌를 다쳐서, 감정을 관장하는 부분의 뇌를 모두 적출했다고 한다. 그러나 이 환자는 뇌의 일부를 잃었음에도 말도 잘하고 퍼즐도 잘 풀며 정상처럼 보였으나, 의사결정을 내리는 데 완전히 무능력해졌다. 어떤 양말을 신을지 몇 시간 동안 고민했다고 한다. 그래서 일리야는 생각했다.
이 내용이 실제로 일리 있는 말이라고 느낀 건, 결국 의사결정이라는 건 호/불호(선호)를 판단하는 거다. 이성적으로 결정한다고 하더라도 최종적으로 무엇이 나은가, 어떻게 할 것인가에는 주관적 판단 등이 들어가게 되는데, 감정이 말소된다면 이러한 선호에 대한 판단이 불가능하므로, 의사결정이 힘들어질 수 있겠다고 생각이 들었다.
때문에 기존 외부 지식들을 대량으로 습득하는 것에 불과한 '사전학습' 만으로는 이런 감정과도 같은 시그널을 얻을 수 있냐,라고 했을 때 불확실하다고 말한다.
인터뷰어는 다시 이렇게 반박한다.
Q2: 그럼 이 인간에게 있는 감정, 혹은 감정과도 같은 이 신호가 뭘까? 일종의 가치함수인가? 가치함수라면 사전학습으로 학습될 수 있지 않나?
A2: 가능할지도. 근데 100% 확신은 안된다.
머신러닝 관점에서의 감정이란 일종의 가치함수 일 거 같긴 한데, 조금 다른 거 같다. 왜냐하면, 가치함수란 특정 행동이나 결정이 얼마나 좋은지를 계산하는 함수다. 때문에 머신러닝에서는 에이전트가 가치함수의 값이 높아지는 방향으로 행동을 하게끔 하는데,
때문에 사람은 가치함수가 낮아지더라도 어떤 행동을 할 때도 있고, 그것이 감정에 의한 경우라고 볼 수 있을 거 같다. 때문에,
우리 뇌에서 감정이 일종의 또다른 gradient로 작용해서, 뇌의 파라미터(=뉴런)를 업데이트하는데 쓰는 게 아닐까?라는 의미다. 인간에게 보상이란 결국 생존에 얼마나 유리한가 이다. 그렇다면 사람의 가치함수는 생존에 얼마나 도움이 되는지를 판단하는 함수가 될 것이다. 즉 우리는 이 생존을 최대화하는 가치함수의 값을 최대화하는 방식으로 뇌를 학습시키는 것이다. 그런데 이 감정이라는 게 때때로 생존에 불리한 선택을 유도한다. 그러니까, 인간은 단순히 가치함수 만으로 의사결정을 하지 않는다는 거다.
그리고 이것이 사람이 기계보다 더 효율적으로 기능하도록 해주는 이유는 아닐까 생각한다. 감정이라는 게 훨씬 단순한 시그널인건 맞지만, 단순할수록 강건하기 때문에 오히려 이 감정이라는 시그널이 일반화 성능을 높이는데 일조할 수 있다. (복잡성-강건성 tradeoff 이론)
복잡성-강건성 이론이란 간단한 시스템일수록 일반화 성능이 높고, 복잡할수록 일반화가 안된다는 이론이다.
예를 들어, 딥러닝 기반의 복잡한 이미지 밝기 조절기는 특정 도메인(해당 조절기를 학습한 도메인)에서는 매우 잘 되겠지만, 학습 데이터와 상이한 이미지에서는 성능이 대폭 하락한다. 반대로 간단한 규착 기반의 밝기 조절기는 성능은 전반적으로 떨어지지만, 어떤 이미지를 입력으로 받냐에 상관없이 유사한 성능을 보일 것이다.
때문에 현재 인공지능 시스템들은 매우 복잡해서, 일반화 성능이 매우 떨어진다. 이 이론에 따라 일반화 성능을 높이려면, 필연적으로 훨씬 단순한 시스템이 필요하고, 이를 위해 인간의 의사결정 시스템에서 큰 역할을 하는 비교적 단순한 시그널인 '감정'을 인공지능에게 줘 보자는 거다.
이번 글에서는 팟캐스트에서 다룬 내용 중 전반부를 정리해보았다. 현재의 인공지능 연구가 지나치게 벤치마크 지표 향상에만 집중되어 있다는 점을 지적하며, 인간이 AI보다 뛰어난 학습 능력을 보이는 이유를 ‘감정의 존재’에서 찾는 일리야의 관점을 소개했다.
감정은 인간의 의사결정 전반에 깊숙이 영향을 미치며, 이러한 메커니즘이 학습 효율을 높이는 핵심 요소라는 것이다.
다음 글에서는 이러한 질문을 바탕으로, AI에 감정을 부여하는 방법, 그리고 일리아가 창립한 회사의 비전인 Super Intelligence와 Aligned AI에 대해 더 깊이 살펴볼 예정이다.
'사회기록부' 카테고리의 다른 글
| 코로나 바이러스가 가져온 일상 붕괴 (1) | 2020.03.30 |
|---|
댓글