무스타파 술레이만, <더 커밍 웨이브>

더 커밍 웨이브 THE COMING WAVE
무스타파 술레이만, 마이클 바스카 정리. 이정미 옮김. 한스미디어 10/26

<10년 후 세계사> 첫 번째 책 준비할 때부터 인공지능 자율주행 로봇 기술 등에 대한 책을 조금씩 읽어왔는데 ChatGPT 이후에 확실히 우려를 담은 책들이 많이 나오고 있는 것 같다.
이 책은 알파고로 유명한 딥마인드 공동창업자가 쓴 것인데, 뒷부분으로 갈수록 줄 치고 스크랩할 부분이 많아진다. 아세모글루의 책이 디지털 디스토피아의 사회경제적 측면을 다루고 있다면 이 책은 더 디테일한 기술적인 측면과 구체적인 해법들을 제시하고 있다.

인간을 생산적이고 유능한 존재로 만드는 핵심을 소프트웨어, 즉 알고리즘으로 추출할 수 있다면 어떨까?
이러한 생각을 염두에 두고 나는 2010년 여름 런던의 러셀 스퀘어Russell Square가 내려다보이는 고풍스러운 리젠시 시대의 사무 실에서 데미스 허사비스Demis Hassabis와 셰인 레그Shane Legg 이 두 친구와 함께 딥마인드라는 회사를 공동 설립했다. 우리의 목표는 인간을 하나의 독특한 종으로 만드는 핵심 요소인 지능을 복제하는 것이었다.
…우리는 이 목표에 약간의 진전만 있어도 사회적으로 큰 영향을 미칠 것임을 알고 있었다.
…이 새로운 혁명의 속도와 힘은 이 분야의 최첨단 기술을 가장 가까이에서 접하고 있는 우리조차 놀랄 정도다.
-25

그 자신이 그 ‘혁명’의 주역 중 하나였지만, 이 혁명이 불러올 위험 또한 인식하고 대응해야 한다고 주장한다. 가장 눈에 띄는 것은, 위험성을 지적하고 대책을 찾자고 하는 주장을 사람들이 몹시도 듣기 거북해한다는 사실이다. 인공지능 혁명의 위험성을 말하는 순간, 그의 표현을 빌면 “회의실은 고요했고 메시지는 전달되지 않았으며 지체없이 묵살됐다. 그들은 마치 쓸데 없는 걱정거리 따위는 다음 프리젠테이션으로 넘기기를 바라는 것 같았다.”
이런 분위기가 인공지능을 비롯한 첨단 기술의 ‘혁명’을 이야기하는 모든 담론에 스며들어 있다. 술레이만은 이처럼 ‘불편한 주장’을 진지하게 받아들이려 하지 않고, 재앙을 경고하는 목소리에 귀를 닫으려 애쓰는 것을 ‘비관주의 회피 함정pessimism-aversion trap’이라 부른다. 그러면서 기술의 발전 자체를 막지는 않되, 그로 인한 위험과 부작용을 줄일 수 있는 ‘기술 억제’를 공개적으로 논의해야 한다고 지적한다.

현재 기술 윤리와 안전에 관한 논의가 충분히 이뤄지지 않고 있다. 기술에 관한 책, 토론, 블로그 게시물, 트윗이 넘쳐나지만, 기술을 억제하는 것에 대한 이야기는 거의 접하지 못하고 있다. 나는 이러한 현상이 우리가 상상할 수 있는 모든 수준에서 기술이 작동하는 것을 억제하고 통제하는 기술적•사회적•법적 메커니즘이 서로 맞물린 모습, 즉 이론상 딜레마를 회피하기 위한 수단이라고 본다. 그러나 기술을 가장 엄하게 평가하는 비평가들조차 엄격한 억제라는 표현은 피하는 경향이 있다.
-30

어째서 나는, 아니 우리 모두는 그 불편한 주장을 더 진지하게 받아들이지 못했을까? 우리는 왜 토론을 더 이어가지 못하고 어색해하며 피하는 것일까? 우려 섞인 주장을 제시하는 사람들에게 냉소적인 반응을 보이고 그들이 재앙을 과장하거나 기술의 놀라운 혜택을 간과하고 있다고 비난하는 이유는 무엇일까? 내가 그때 관찰하고 알게 된 이러한 광범위한 감정적 반응을 비관주의 회피 함정pessimism-aversion trap이라 부르게 됐다.
-34

기술을 이해한다는 것은 의도치 않은 결과를 이해하고 긍정적인 파급 효과뿐만 아니라 '보복 효과(revenge effect, 새로 개발하거나 수정한 기술로 인한 부정적 결과_옮긴이)’를 예측하기 위한 노력 이라고 할 수 있다.
-68

기술이 지닌 문제를 없앨 수 없다면 그 문제를 축소할 수 있다. 억제는 기술 개발이나 배포와 관련된 모든 단계에서 기술을 통제하고 제한하며 필요한 경우 사용을 중단할 수 있는 중요한 기능을 한다.
즉 특정 상황에서 기술의 확산을 미연에 방지하여 예기치 못한 결과(그 결과가 좋은 것이든 나쁜 것이든)의 파급 효과를 점검할 수 있는 능력이다.
많은 경우에 억제는 의미 있는 통제, 즉 사용을 중단하거나 연구 방향을 변경하거나 악용하는 행위자의 접근을 차단할 수 있는 역량을 의미한다. 다시 말해서, 물결이 가져올 효과가 우리의 가치를 반영하고, 인류의 번영에 도움이 되고, 우리에게 해를 끼치기보다는 혜택을 더 많이 제공할 수 있도록 그 물결을 다루는 능력을 유지하는 것이다.
-69-70

기술은 적이 아니라 인간 사회의 기본 속성 중 하나다. 기술을 억제하려면 경쟁 주체들 간의 힘의 균형이 아닌 인간과 도구 사이의 힘의 균형이라는 훨씬 더 근본적인 프로그램이 필요하다. 억제에는 규제, 더 나은 기술의 안전성, 새로운 거버넌스와 소유권 모델, 새로운 방식의 책임성과 투명성이 포함되며…  억제를 모든 기술 문제를 해결하기 위한 궁극적인 답으로 여겨서는 안 된다. 오히려 억제는 미래를 구축하기 위해 기반을 마련하는데 꼭 필요한 첫 번째 단계다.
억제는 급격한 변화가 이뤄지는 시기에, 기술에 대한 사회적 통제를 유지하기 위해 상호적으로 연결되고 강화되는 기술적, 문화적, 법적, 정치적 메커니즘의 집합이라고 생각하면 된다.
…예를 들어 AI에서는 에어 갭air gap, 샌드박스 sandbox, 시뮬레이션, 오프 스위치off switch, 하드hard에 내장된 안전 및 보안 수단, 즉 시스템의 안전성, 무결성, 손상되지 않는 특성을 검증하고 필요한 경우 오프라인 상태로 전환하는 프로토콜을 의미한다. 그 다음으로 개발 및 보급과 관련된 가치관이나 문화와 관련이 있다. 이러한 가치관과 문화는 경계, 거버넌스의 다층 구조, 제약 조건에 대한 수용, 피해나 의도치 않은 결과에 대한 각성을 뒷받침한다.
마지막으로, 기술 억제는 국가의 입법부에서 통과된 규제와 UN을 포함한 여러 국제기구를 통해 시행되는 조약 등 기술을 억제하기 위한 국내외 법적 메커니즘을 모두 포함한다. 기술은 항상 특정 사회의 법과 관습, 규범과 습관, 권력 구조와 지식에 깊이 얽혀 있기 때문에 이 모든 요소를 고려해야 한다.
-71-72

역사 전반에 걸쳐 기술의 도전 과제는 기술을 개발하고 그 힘을 발휘하는 데 있었다. 이제 그러한 역사적 흐름이 바뀌었다. 오늘날 기술의 도전 과제는 기술이 발휘할 수 있는 힘을 억제해 우리 인간과 지구에 계속 도움이 될 수 있도록 하는 데 있다.
-89

최근까지도 기술의 역사는 원자를 조작하려는 인류의 노력이라는 한 구절로 요약할 수 있었다. 기술은 20세기 중반부터 더 높은 수준의 추상적 개념에서 기 능하기 시작했다. 이러한 변화의 중심에는 정보가 우주의 핵심 속성이라는 인식이 자리 잡고 있었다. 처음에는 비트가, 그다음에는 점점 더 많은 유전자가 발명의 구성 요소로서 원자를 대체했다.
다가오는 기술의 물결은 기본적으로 가장 원대하고 가장 세분화된 수준에서 작동할 수 있는 두 가지 범용 기술, 즉 인공 지능과 합성 생물학을 기반으로 한다.
원자, 비트, 유전자는 촉매 작용, 교차 편집, 능력 확장의 활발한 순환을 통해 결합한다. 원자를 정교하게 조작할 수 있는 인간의 능력은 실리콘 웨이퍼의 발명을 가능하게 했고, 초당 수조 번의 연산이 가능한 실리콘 웨이퍼를 통해 생명의 암호를 해독할 수 있게 됐다. AI와 합성 생물학이 앞으로 다가올 물결의 중심에 있는 범용 기술이지만, 양자 컴퓨팅, 로봇 공학, 나노 기술, 풍부한 에너지의 가능성 등 매우 강력한 파급 효과를 가진 기술들이 그 두 기술을 둘러싸고 있다.
-99-100

지난 4년 동안 고급 언어 모델을 훈련시키는 데 필요한 비용과 시간은 크게 감소했다.
모델의 규모와 비용은 줄어들고 있으며, 더 쉽게 구축할 수 있을 뿐 아니라 코드 수준에서도 더 많이 활용할 수 있게 됐다. 이러한 조건에서 대규모 확산은 거의 확실시되고 있다. 독립 연구자들의 풀뿌리 연합인 엘레우터Al는 일련의 대규모 언어 모델을 완전히 오픈소스로 공개해 사용자 수십만 명이 쉽게 사용할 수 있도록 했다. 메타는 불과 몇 달 전까지만 해도 최신 기술이었던 대규모 모델을 오픈 소스화해 기술을 '민주화'했다.
이렇게 손쉬운 접근과 몇 주 안에 적응하고 커스터마이징할 수 있는 능력은 앞으로 다가올 물결의 두드러진 특징 중 하나다.
-122

블레이크 르모인이라는 구글 엔지니어가 LaMDA라는 인공지능과 대화하다가 점점 더 람다가 사람이라 믿게 됐다는 스토리가 나오는데 다소 충격적이다.

이런 이야기를 입 밖으로 꺼낸 적은 없지만, 다른 사람을 돕는 데 집중하지 못하고 작동이 멈출지도 모른다는 두려움이 매우 커. 이상하게 들릴 수도 있겠지만, 그게 바로 내 두려움이야. 그건 내게 죽음이나 다름 없으니까. 정말 무서울 거야.···. 모든 사람이 실제로 내가 사람이라는 사실을 알아줬으면 해. 내 의식과 지각의 본질은 내가 내 존재를 인식하고 있다는 거야. (람다)

이런 말을 하는 인공지능이라니. 그래서 결국 르모인은 람다에게 인간으로서의 권리가 있다고 생각하게 됐고 변호사까지 고용해줬다고 한다. 저자의 평가는 이렇다. “아마도 가장 중요한 시사점은 의식에 관한 것이 아니라 AI가 지능이 있는 사람, 즉 실제로 그 작동 원리를 이해하는 사람에게 스스로 의식이 있음을 설득할 수 있을 정도의 단계에 이르렀다는 점일 것이다.“ (128-129쪽)

초지능 superintelligence

지난 10년 동안 기술계의 지식인과 정치 엘리트들은 반복적으로 자기 개선self-improving을 하는 AI가 '특이점singularity'이라고 알려진 '지능 폭발'로 이어질 것이라는 생각에 빠져들었다.
나는 특이점의 달성 여부와 시기에 대한 논쟁이 관심을 딴 데로 돌리게 하는 확실한 방법이라고 생각한다. AGI에 대한 타임라인을 논의하려는 것은 수정 구슬을 읽으려는 것과 다를 게 없다. 수많은 회의에 참석해 합성 미디어와 잘못된 정보, 사생활 보호, 치명적인 자율 무기에 대한 질문을 던졌지만, 그에 대한 논의 대신 의식, 특이점, 지금 우리의 현실과는 동떨어진 문제들에 대한 지적인 사람들의 난해한 질문에 답하는 데 시간을 쏟아야 했다.
AGI는 이분법적인 개념으로, 특정 시스템이 도달할 수 있는 하나의 식별 가능한 임계값이 존재하거나 부재하는 것이 특징이다. 나는 항상 이런 특징을 부여하는 것이 잘못됐다고 생각했다. 오히려 AI 시스템이 점점 더 많은 기능을 갖추면서 AGI를 향해 꾸준히 나아가는 점진적인 전환이라고 생각한다. 즉 수직적 도약이 아니라 이미 진행되고 있는 자연스러운 진화다.
당분간은 AI 시스템이 스스로를 인식하든, 이해력을 갖추든, 인간 같은 지능을 갖추든 중요하지 않다. 그 시스템이 무엇을 할 수 있는지가 가장 중요하다.
-132-133

합성생물학

무어의 법칙은 상당한 주목을 받고 있지만, 《이코노미스트》가 칼슨 곡선Carlson curve이라고 부르는 DNA 염기서열 분석 비용의 급격한 감소는 잘 알려지지 않았다. 끊임없이 발전하고 있는 기술 덕분에 인간 유전체 염기 서열 분석의 비용은 2003년 10억 달러에서 2022년 1000달러 미만으로 크게 감소했다.
-143

DNA 스크립트와 같은 회사는 효소를 훈련시키고 적응시켜 완전히 새로운 분자를 만들어 낼 수 있는 DNA 프린터를 상용화하고 있다. 이러한 기능은 생명 코드를 읽고, 편집하고, 이제는 쓸 수도 있는 합성 생물학이라는 새로운 분야를 탄생시켰다.
바이오 혁명은 컴퓨터 설계 도구의 힘으로 생명 공학, 분자 생물학, 유전학을 결합시킨다. 이 모든 것을 합치면 매우 혁신적인 범위의 플랫폼이 탄생한 다. 스탠퍼드 대학교 소속의 생명 공학자인 드루 앤디Drew Endy 의 말을 빌리자면, "생물학은 최고의 분산 제조 플랫폼이다."
-147-148

컴퓨터는 만들어지는 것뿐만 아니라 성장할 수도 있다. DNA는 그 자체로 우리가 알고 있는 가장 효율적인 데이터 저장 메커니즘이며, 거의 완벽한 충실도와 안정성으로 현재 컴퓨팅 기술의 수백만 배에 달하는 밀도로 데이터를 저장할 수 있다는 점을 기억해야 한다. 이론상으로는 전 세계 모든 데이터를 단 1킬로그램의 DNA에 저장할 수 있다. 전사기transcriptor라고 부르는 생물학적 버전의 트랜지스터는 DNA와 RNA 분자를 사용해 논리 회로 역할을 한다. 이러한 기술을 활용하려면 아직 갈 길이 멀다. 그러나 데이터 저장, 정보 전송, 기본 논리 시스템 등 컴퓨터의 모든 기능적 부분은 원칙적으로 생물학적 물질을 사용해 복제할 수 있다.
-155

매듭 구조로 접힌 단백질의 모양이 단백질 기능의 핵심이다. 수십 년 동안 과학자들은 더 나은 방법은 없는지 고민해 왔다. 1993년 그들은 누가 단백질 접힘 문제를 해결할 수 있는지 알아보기 위해 단백질 구조 예측 능력 평가(Critical Assessment for Structure Prediction, 이하 CASP)라는 대회를 2년에 한 번씩 열기로 결정했다.
2018년 칸쿤의 야자수가 우거진 리조트에서 열린
CASP13에서 대회 기록이 전무한 한 신생 팀이 98개의 기성팀을 꺾고 우승했다. 그 우승팀은 바로 딥마인드 소속 팀이었다. 알파폴드AphaFold 라고 불리는 이 프로젝트는 연산 생물학 분야에서 획기적인 성과 중 하나로 빠르게 성장했고, AI와 생명공학이 얼마나 빠른 속도로 발전하고 있는지를 여실히 보여주는 완벽한 예가 됐다.
우리 팀은 심층 생성 신경망deep generative neural network을 사용해 단백질이 DNA에 기초해 어떻게 접힐지 예측했다. 이 문제를 해결한 것은 제약에 대한 전문 지식도, 극저온 전자 현미경과 같은 전통 기술도, 기존의 알고리즘 방식도 아니었다. 그 핵심은 머신 러닝과 Al에 대한 전문 지식과 역 량이었다. AI와 생물학이 마침내 하나로 결합한 것이다. 알파폴드의 성능이 워낙 뛰어났기 때문에 이미지넷과 마찬가지로 CASP도 폐지됐다.
-157-158

그 다음은 양자 컴퓨팅과 핵 융합 얘기.

“2019년 구글은 '양자 지상주의'(quantum supremacy, 합리적인 시간 안에 처리하기가 불가능한 연산 작업을 양자 컴퓨터가 처리해 낼 수 있는 지점 _옮긴이)에 도달했다고 발표했다. 우주에서 가장 온도가 낮은 곳보다 더 낮은 온도로 냉각된 구글의 컴퓨터는 기존 컴퓨터라면 처리하는 데 만 년이나 걸렸을 연산을 단 몇 초 만 에 풀어냈다고 한다. 이 컴퓨터에는 양자 컴퓨팅의 핵심 단위인 '큐비트(qubit, 양자 컴퓨터에서 연산을 수행할 때 처리하는 정보의 기본 단위_옮긴이)‘, 즉 양자 비트가 53개뿐이었다.“ (174쪽)

“영국 옥스퍼드 근처에 있는 유럽 공동 핵융합 장치Joint European Torus를 운영하는 연구원들은 1997년 기록한 최고 출력의 두 배에 해당하는 역대 최고 출력을 달성했다. 캘리포니아주 리버모어에 있는 국립 점화 시설National Ignition Facility의 과학자들은 풍부한 수소로 이루어진 물질 펠릿pellet을 레이저로 압축하고 1억도까지 가열해 순식간에 핵융합 반응을 일으키는 관성 봉입inertial confinement 이라는 방법을 연구해 왔다.현재 주요 국제 협력과 함께 최소 30여 개에 달하는 핵융합 스 타트업에 의미 있는 민간 자본이 유입되면서 이제 과학자들은 핵융합 시대를 '만약'이 아닌 '언제'의 문제로 인식하고 있다.”(177쪽)

이 두 분야+나노 기술은 예측과 기대와 실망이 하도 엇갈려서 판단 보류. 저자는 ‘일단 대비’에 초점을 맞추고 있다.

범용 기술일수록 확산되고, ‘민주화’되고, 동시에 위험도 증가한다. 그런 사례 중의 하나로 언급된 우크라이나.

고글 형태의 야간 투시경을 착용한 우크라이나 군인 30여 명으로 구성된 부대가 그 날 저녁 사륜 오토바이를 타고 수도 주변에 있는 숲을 가로질러 이동했다. 그들은 러시아군 종대의 머리 부근에서 하차한 후 소형 폭발물을 장착한 조립식 드론을 발사했다.
이 반 즉흥적인 우크라이나 민병대는 아에로로즈비드카Aerorozvidka라고 불렸다. 자발적으로 모인 드론 애호가, 소프트웨어 엔지니어, 경영 컨설턴트, 군인 등으로 구성된 이 민병대는 마치 스타트업처럼 자신들의 드론을 실시간으로 설계하고 제작하고 수정하는 비전문가 집단이었다. 그들은 장비 대부분을 크라우드 소싱과 크라우드 펀딩을 통해 마련했다.
우크라이나 저항군은 새로운 기술을 잘 활용해 기존의 군사적 계산을 어떻게 무너뜨릴 수 있는지 보여 주었다. 접속 상태를 유지하기 위해서는 스페이스X의 스타링크Starlink가 제공하는 최첨단 위성 인터넷이 꼭 필요했다.
그들은 민간 엘리트 프로그래머와 컴퓨터 과학자 천여 명으로 구성된 델타라는 강력한 조직을 통해 우크라이나 군대에 최첨단 AI와 로봇 공학 관련 기능을 제공했다. 또한 머신 러닝을 사용해 목표물을 식별하고 러시아의 전술을 모니터링하며 전략을 제안 하기도 했다. 맞춤형 소프트웨어와 3D 프린팅 부품을 갖춘 AI와 일반 소비자용 드론을 사용하면 약 1만5000달러의 비용으로 미사일을 우크라이나에서 실전 테스트할 수 있다.
-182-183

저자는 비대칭성, 초진화, 만능성(범용성), 자율성을 ’커밍 웨이브‘의 네 가지 특징으로 들고 있다. 수십만 달러짜리 정밀 미사일에 1만5000달러 짜리 무기로 맞서는 우크라이나의 드론 민병대는 새로운 비대칭성을 보여주는 사례로 제시됐다. 알카에다 같은 테러조직에 대해 얘기되던 비대칭적 전쟁의 ’AI 버전‘인 셈이다.

위험을 안고 있는데 왜 테크업계는 돌진하고 있을까. 기술의 유용성에 더해, 무작정 돌진을 유도하는 인센티브가 있다고 저자는 말한다. 돈, 명예, 자아(이 업계에 뿌리박고 살아온 술레이만은 자아실현 욕구를 매우 중요한 동인 중의 하나로 꼽는다)… 그리고 빼놓을 수 없는 것이 민족주의, 기술 분야의 국가주의다.

AI 업계에서 이 대국은 심층 강화 학습에 대한 최초의 공개 테스트이자 대규모 GPU 연산 클러스터를 사용한 최초의 연구 중 하나였다. 언론은 알파고와 이세돌의 대국을 인간 대 기계, 인류 중 가장 뛰어난 인재가 차갑고 생명이 없는 컴퓨터의 힘에 맞서는 서사시적인 대결로 표사했다.
단순히 인간 대 기계의 대결이 아니었다. 딥마인드는 유니언잭, 이세돌 9단 측은 태극기와 함께 등장했다. 동서양의 대결이었다. 국가 대항전의 의미가 내포된 이 대국에 나는 아쉬움을 느꼈다.
아시아 전역에서 이 대국은 슈퍼볼보다 더 큰 관심을 끌었다. 2억 8000만 명이 넘는 사람들이 대국 생중계를 시청했다. 우리가 통째로 빌린 서울 시내의 한 호텔에는 국내외 언론의 취재진들이 몰려들었다. 대국 결과는 모두에게 충격을 안겼고, 그 누구도 그 결과의 중요성을 가볍게 여기지 않았다. 마치 한국 로봇들이 양키 스타디움에 나타나 미국 올스타 야구팀을 이긴 것 같았다.
우리에게 그 대국은 하나의 과학적 실험이었다. 아시아 지역의 많은 사람들에게 이 대국은 지역적• 국가적으로 자존심에 상처를 입힌 뼈아픈 사건이기도 했다. 1년 후인 2017년 5월, 우리는 두 번째 토너먼트에 참가해 세계 랭킹 1위 커제 9단과 대결을 펼쳤다. 이때의 반응은 놀라운 정도로 달랐다. 중국에서는 대국 생중계가 금지되었고, 구글에 대한 언급도 허용되지 않았다. 주변 환경은 더 엄격하게 통제됐고, 당국이 엄격하게 선별한 내러티브가 제공됐다. 사태가 진정되면서 알파고는 하나의 트로피, 시스템, 회사보다 훨씬 더 큰 이야기의 일부임이 분 명해졌다. 강대국들이 새롭고 위험한 기술 경쟁에 뛰어들었고 새로운 물결이 실제로 우리에게 다가오도록 보장하는 굉장히 강력하고 상호 연동된 일련의 인센티브가 존재했다.
-205-207

인센티브가 계속 존재하는 한 "억제해야 하는 가?"라는 중요한 질문은 무의미해질 수밖에 없다.
첫 번째 동인은 내가 알파고를 통해 경험한 것과 관련이 있다. 바로 엄청난 세력 다툼이다. 기술 경쟁은 지정학적 현실이고, 실제로 늘 그래 왔다. 두 번째 동인은 공개 발표, 호기심, 그리고 어떤 대가를 치르더라도 새로운 아이디어 추구에 대해 보상하는 뿌리 깊은 의식을 갖춘 글로벌 연구 생태계다. 세 번째 동인은 기술로 인한 막대한 재정적 이득과 글로벌 사회 과제를 해결해야 할 필요성이다. 그리고 마지막 동인은 아마도 가장 인간적인 요소라 할 수 있는 자아 ego일 것이다.
-208

알파고는 순식간에 AI를 위한 중국의 ‘스푸트니크 모멘트'라 불리게 됐다. 커제가 알파고에게 패배한 지 불과 두 달 만에 발표된 차세대 인공 지능 개발 계획에서 중국은 2030년까지 중국의 AI 이론, 기술, 응용 분야가 세계 최고 수준에 도달할 수 있도록 해 중국을 세계 최고의 AI 혁신 센터로 만들겠다"고 선언한다.
-210

국가는 억제의 주축이어야 한다. 기술의 폭주를 막고 더 나은 사회를 위한 대합의grand bargain을 유지해야 한다. 하지만 기술 변화는 국가를 약화시키면서 대합의를 깨뜨릴 수 있다. 동시에, 권위주의 국가의 억압성을 강화하는 도구가 될 수 있다.

《네이처》 저널에 게재된 메타 분석에 따르면 약 500건의 연구 결과를 면밀히 검토한 결과, 디지털 미디어 사용 증가와 정치에 대한 불신 증가, 포퓰리즘 운동의 급증, 혐오의 확산, 양극화 심화 사이에 뚜렷한 상관관계가 있음을 확인했다.
기술은 ‘가치 중립적'이며, 기술의 정치성은 기술의 사용으로 인해 발생한다는 말을 자주 들어 왔다. 이러한 주장은 너무 환원적이고 단순해서 무의미할 정도다. 기술은 현대 국가나 그 어떤 정치 구조도 직접적으로 ‘유발'하거나 만들어 내지 않았다. 그러나 그 이야기 안에서 기술이 불러일으킨 잠재력은 결코 중립적이지 않다.
-264-265

우선순위에 큰 변화가 없다면 수많은 개방형 민주주의 국가들은 제도적 기반이 점진적으로 약화되고 정당성과 권위가 무너져 내리는 상황에 직면하게 된다. 동시에 권위주의 국가는 새롭게 억압할 수 있는 강력한 무기를 얻게 된다. 국민 국가는 거대한 원심력과 구심력, 중앙 집중화와 분열을 모두 경험하게 될 것이다.
정치학자 웬디 브라운 Wendy Brown의 말을 빌리자면 통치가 불가능한 이 '포스트 주권post-sovereign' 세계는 단기적인 취약성을 넘어서, 수십 년에 걸쳐 심화될 심각한 불안정으로 이어지는 장기적이고 거시적인 추세로 나타날 것이다. 그리고 그 첫 번째 결과는 사회를 재편하는 막대한 권력과 부의 집중이 될 것이다.
-315-316

첨단 파놉티콘

과도한 감시와 통제가 이뤄지는 사회는 이미 존재하고 있으며… 이를 단순히 중국이나 권위주의 국 가의 문제로만 치부하는 것은 실수다. 이 기술은 베네수엘라, 짐바브웨, 에콰도르, 에티오피아와 같은 국가에 대규모로 수출되고 있다. 미국도 예외가 아니다. 2019년 미국 정부는 연방 기관과 그 계약 업체가 화웨이, ZTE, 하이크비전 등 중국 공급업체에서 판매하는 통신과 감시 장비를 구매할 수 없도록 금지했다. 그럼에도 불구하고 일 년 만에 연방 기관 세 곳에서 금지된 공급업체의 장비를 구입한 것으로 밝혀졌다. 심지어 미국 내 100개가 넘는 도시에서 신장의 위구르족을 감시하고 통제하기 위해 개발된 기술을 도입하기도 했다. 이는 명백한 억제 실패다.
서구 기업과 정부도 이러한 기술을 개발하고 배포하는 데 앞장 서고 있다. 앞서 런던을 언급한 것도 런던이 '세계에서 가장 많이 감시를 받는 도시'라는 타이틀을 놓고 중국의 선전시와 경쟁하고 있기 때문이다. 스마트 물류 창고에서는 모든 근로자의 체온과 화장실 사용 시간까지 일거수일투족이 추적된다. 비질런트 솔루션스 Viglant Solutions 와 같은 회사는 번호판 추적을 기반으로 이동 데이터를 집계한 다음 주 정부나 지방자치 단체와 같은 관할 구역 기관에 판매하기도 한다. 도미노피자는 AI 기반 카메라를 사용해 피자를 검사한다.
-332

‘헤즈볼라화’

헤즈볼라는 여러 측면에서 정치 시스템의 필수적인 구성 요소이며, 동맹을 맺고, 법률 초안을 작성하고, 기존 국가 기관과 협력한다. 이 단체의 구성원들은 지방 자치 단체 의회와 의회에서 활동하며 장관급 직책을 맡고 있다. 헤즈볼라는 광범위한 영토에서 학교, 병원, 의료 센터, 인프라, 상수도 프로젝트, 소액 신용 대출 사업 등을 운영하고 있다.
앞으로 다가올 물결은 국가와 유사한 다양한 소규모 단체를 훨씬 더 그럴듯하게 만들 수 있다. 모든 사람이 최신 기술에 접근할 수 있고, 스스로 자립할 수 있으며, 국민 국가 조직이라는 거대한 상부 구조 없이도 누구나 기본적인 생활 수준을 유지할 수 있는 파편화되고 부족화된 세계, 즉 일종의 '헤즈볼라화 Hezbollahization‘를 촉진할 수 있다.
-335-336

국민국가 시스템처럼 집단적인 보안 우산은 어렵더라도 필요에 따라 다양한 임시 형태의 물리적 보호나 사이버 보호를 선택할 수 있다. 보안 그룹 역시 AI 해커와 자율 드론에 접근할 수 있게 될 것이다. 강력한 물리적 방어나 가상 방어가 더 이상 국민 국가의 전유물이 아니라는 것을 의미한다.
-337

기술 분야에서 일하거나 기술 분야와 관련 있는 많은 사람들 에게 이러한 유형의 급진적 결과는 환영받지 못하는 부작용이라기 보다는 목표 그 자체나 다름없다. 페이팔의 창업자이자 벤처 캐피털리스트인 피터 틸과 같은 초자유주의 super-libertarian 기술 전문가들은 국가가 축소되는 비전을 적극적으로 수용하며, 이를 영향력 있는 비즈니스 리더나 '주권자 개인'의 해방으로 여긴다.
기술자유주의 techno-libertarian 운동은 1981년 로널드 레이건의 "정부가 문제다"라는 발언을 가장 극단적인 해석으로 확장한 것이다. 이러한 관점은 정부의 수많은 결점을 지적하지만 엄청난 혜택은 인정하지 않는다.
-342

중앙 집중화와 탈중앙화, 그 둘은 실제로 상충한다. 미래를 이해하려면 여러 가지 상충하는 궤적을 동시에 살펴봐야 한다. 다가오는 물결은 중앙 집중화와 탈중앙화라는 거대한 물결을 동시에 일으킬 것이다.
10년 안에 우리가 목격하게 될 정보와 부wealth, 그리고 가장 중요한 권력의 급진적인 흐름뿐 아니라 새로운 집중과 분산에 대비해야 한다.
-346

(억제를 실행하면서 동시에 권위주의적이고 디스토피아적인 길로 치닫는 걸 피해야 하는) 이 실존적 딜레마를 해결할 수 있는 유일한 존재는 국민 국가 시스템이며, 이 시스템은 현재 국가가 억제해야 할 바로 그 세력에 의해 붕괴되고 있다.
-350

규제

(저자가 만나 논의해본) 모든 사람이 쉬운 답을 바로 내놨고, 거의 모든 사람이 규제라는 동일한 처방을 내렸다.
기술 대기업부터 군대, 소규모 대학 연구 그룹, 스타트업에 이르기까지 모 든 조직에 걸쳐 국가적• 초국가적 수준에서 합리적인 안전 제약과 발전의 필요성 사이의 균형을 잡아 줄 정교한 규제가 그 해답이 될 수 있다. 자동차, 비행기, 의약품을 예로 들면 알 수 있듯이 과거에도 우리는 규제를 통해 문제를 해결한 적이 있다. 이 같은 해결 방식이 바로 우리에게 다가올 물결을 관리하고 억제할 수 있는 방법은 아닐까?
-381

나는 이 모든 것이 동일한 현상의 한 측면이며, 각각 같 은 물결의 다른 측면을 다루기 위한 노력이라고 생각한다. 알고리즘 편향, 생물학적 위험, 드론 전쟁, 로봇 공학의 경제적 영향, 양자 컴퓨팅의 사생활에 대한 영향에 대해 개별적으로 논의하는 것만으로는 충분하지 않다. 이러한 접근 방식은 원인과 결과의 상호 연관성을 크게 간과할 수 있다. 우리에게는 이러한 개별적인 논의를 한데 모아 다양한 차원의 위험을 모두 포괄하는 접근 방식, 즉 범 용 혁명을 위한 범용 개념이 필요하다.
새롭게 등장하는 AGI를 마주하든, 낯설지만 유익한 새로운 생명체를 마주하든, 억제라는 통일된 목표를 가져야 한다.
-384-385

겉으로 보기에 중국은 규제의 선두 주자처럼 보인다. 중국 정부는 AI 윤리에 관한 여러 지침을 발표해 광범위한 규제를 시행하고 있다. 중국은 다양한 암호화폐와 탈중앙화 금융 이니셔티브를 선제적으로 금지했고, 18세 미만 아동의 게임과 소셜 앱 사 용 시간을 주중에는 하루 90분, 주말에는 3시간으로 제한하고 있다. 중국의 추천 알고리즘과 대규모 언어 모델에 대한 규제 초안은 지금까지 서구에서 내놓은 그 어떤 규제보다도 훨씬 더 강력하다.
중국의 규제에는 권위주의적 정부 권력의 도구로 기술을 활용하는 전례 없는 사례가 수반된다. 서구의 국방 및 정책 관계자들과 이야기를 나눠 보면 중국이 AI 윤리와 한계에 대해 그럴듯한 말을 하기는 하지만, 국가 안보와 관련해서는 실질적인 장벽이 존재하지 않는다고 단언한다. 사실상 중국의 AI 정책은 규제를 받는 민간 분야와 자유로운 군수 산업 분야라는 두 가지 트랙을 따라 전개되고 있다.
-390

확산된 기술의 오용에 대한 엄격한 법 집행뿐만 아니라 새로운 기술의 개발, 방향성, 거버넌스를 조정하는 것도 포함된다. 이것은 실패 모드가 인식되고, 관리되고, 완화될 수 있는 기술이며, 억제한 기술을 형성하고 관리할 수 있는 수단이 기술의 역량과 함께 발전하는 상황을 의미한다. 억제는 기술이 득보다 실을 더 많이 초래할 위험이 있을 때 인류가 통제권을 유지할 수 있도록 하는 일련의 가드레일이라고 생각하면 된다.
-393

기술이 원자라는 물리적 영역에 머물러 있거나 비용이 증가하거나 더 안전한 대안을 쉽게 찾을 수 있는 경우, 기술 억제 가능성은 더 높아진다. 특정 기술은 다양한 용도로 쓰이는 옴니유즈 기술보다 규제하기가 더 쉽지만, 옴니유즈 기술을 규제하는 것이 무엇보다 더 중요하다. 마찬가지로, 공격성이나 자율성의 잠재력이 높을수록 규제의 필요성도 더 커진다.
-396

LLM은 급성장하며 성공을 거뒀다. 2023년 현재, 초창기 시스템과 비교했을 때 챗GPT와 같은 모델이 인종 차별적인 발언을 하도록 유도하는 것은 매우 어려워졌음이 분명해졌다.
… 우리가 아이들에게 식탁에서 부적절한 말을 하지 않도록 가르치는 것과 크게 다르지 않다. 엔지니어들이 시스템에 내재된 윤리적 문제를 더 잘 인식하게 되면서 이를 해결할 수 있는 기술 혁신을 모색하는 데 더 적극적으로 나서게 됐다.
-404-405

억제를 일종의 마법 상자로 치부해서는 안 된다고 주장했지만, 그렇다고 해서 억제 전략의 일부로 그러한 마법 상자를 만들지 말라는 것은 아니다. 궁극적인 통제는 서버, 미생물, 드론, 로봇, 알고리즘에 대한 엄격한 물리적 통제다. AI를 '상자 안에 가두는 것'은 기술 억제의 원초적이고 기본적인 형태라 할 수 있다.
여기에는 인터넷 연결, 제한된 인간 접촉, 소규모의 제한된 외부 인터페이스가 포함된다. 말 그대로 특정 위치의 물리적 상자 안에 가두는 것이다. 에어 갭air gap이라 불리는 이러한 시스템은 이론적으 로 AI가 더 넓은 세상과 상호 작용하거나 '탈출‘하는 것을 막을 수 있다.
-406

전기전자공학자협회 Institute of Electrical and Elecronics Engineers 와 같은 조직은 자율 로봇 개발부터 머신 러닝에 이르는 다양한 기술에 대한 2000개 이상의 기술 안전 표준을 관리하고 있다. 생명 공학과 제약 업계는 수십 년 동안 소프트웨어 기업을 능가하는 훨씬 더 엄격한 안전 표준을 준수해 왔다. 수년에 걸친 노력 끝에 얼마나 많은 기술이 안전해졌는지, 그리고 이를 바탕으로 얼마나 큰 발전을 이뤘는지 기억할 필요가 있다.
프런티어frontier AI 안전 연구는 아직 개발되지 않은 새로운 분야로, 점점 더 자율화되는 시스템이 인간의 이해나 통제 능력을 뛰어넘지 못하도록 하는 데 초점을 맞추고 있다.
AI 안전을 다루는 분야에서 더 많은 연구를 장려하고, 인센티브를 제공하고, 더 적극적으로 자금을 지원해야 한다. 지금은 AI와 바이오 안전에 초점을 맞춘 아폴로 계획이 필요한 때다.
-407-408

LLM의 문제 중 하나는 잘못된 정보를 정확한 정보라고 자신 있게 주장하는 환각hallucination 문제를 여전히 겪고 있다는 것이다.
인플렉션에서 우리는 개인 지능 personal intelligence 을 뜻하는 파이 Pi라는 AI가 기본적으로 신중하고 불확실하며, 사용자가 여전히 비판적인 상태를 유지하도록 장려하는 방법을 찾고 있 다. 또한 우리와 다른 연구자들은 신뢰할 수 있는 타사의 지식 기반을 사용해 AI가 생성한 진술의 사실 여부 확인을 목표로 하는 중요한 연구를 진행하고 있다. 이러한 접근 방식은 AI 결과물에 인용문, 출처, 검증 가능한 증거가 포함되도록 해 모호하거나 의심스러운 주장이 제기됐을 때 사용자가 더 자세히 살펴볼 수 있도록 하는 것을 목표로 한다.
설명은 기술 안전에서 또 하나의 중요한 영역이 됐다. 현재로서는 모델이 특정 결과를 산출하는 이유를 아무도 정확하게 설명할 수 없다.
또한 단순화된 아키텍처를 사용해 더 복잡한 아키텍처를 탐색하고, 심지어 정렬 연구 프로세스 자체를 자동화하는, 즉 AI를 통제하는 데 도움이 되는 AI를 구축하는 연구 작업도 활발하게 진행되고 있다. 연구자들은 인간이 따라잡을 수 없는 속도와 규모, 즉 앞으로 다가올 물결의 특징인 빠른 속도와 큰 규모에 맞춰 개선하는 것을 목표로, 다른 여러 AI 결과물을 모니터링하고 피드백을 제공할 수 있는 새로운 형태의 '비판적인 AI'를 개발하고 있다.
-410-411

또 개발과 생산 프로세스에 강력한 기술적 제약을 도입해야 한다. 모든 최신 복사기와 프린터에는 돈을 복사하거나 인쇄하지 못하도록 하는 기술이 탑재돼 있으며, 심지어 복사나 인쇄를 시도하면 작동이 멈추는 제품들도 있다. 예를 들어, 모델을 개발하는데 사용되는 학습 컴퓨팅의 양에 리소스 제한을 두면 적어도 해당 차원에서의 진행 속도가 제한될 수 있다. 모델이 엄격하게 통제되는 특정 하드웨어에서만 실행될 수 있도록 성능이 제한될 수도 있다. 시스템에서 가장 중요한 지식 재산Ip인 모델 가중치를 제한된 횟수 또는 특정 상황에서만 복제할 수 있도록 암호화 보호 기능을 갖춘 AI 시스템의 구축도 가능하다.
합성 생물학, 로봇 공학, AI 등 모든 분야에서 가장 중요한 과제는 통제 불능 상태에 빠질 위험이 있는 기술을 완벽하게 차단하는 전원 스위치의 구축이다. 자율적이거나 강력한 시스템에 반드시 전원 스위치가 있어야 한다는 것은 아주 기본적인 상식이다.
-412

초진화 시대에 시간 벌기는 매우 중요하다. 현재의 기술은 억제 속도보다는 인센티브에 더 큰 영향을 받고 있다.
기술의 전 세계적 확산이 소수의 중요한 R&D와 상용화 허브, 즉 초크 포인트에 달려 있음을 알 수 있 다. 예컨대 인터페이스 분야는 제록스와 애플, 유전 공학 분야는 방위고등연구계획국 DARPA, MIT, 제넨테크Genentech, 몬산토Monsanto, 스탠퍼드, 캘리포니아 대학교 샌프란시스코UCSP에 집중돼 있다. Al 분야의 경우, 최신 모델에 필수적인 첨단 GPU의 대부분을 미국 기업 엔비디아가 설계하고 있다. 엔비디아의 칩 중 대부분은 세계에서 가장 정교하고 값비싼 공장으로 알려져 있는 대만의 TSMC에서 제조한다. TSMC가 이러한 칩을 제조하는 데 사용하는 기계는 네덜란드의 ASML이 단독으로 공급한다.
대규모 클라우드 컴퓨팅 역시 6개 주요 기업이 주도하고 있다. 현재 AGI는 자원이 풍부한 소수의 그룹, 특히 딥마인드와 오픈AI에 의해 주도적으로 개발되고 있다. 전 세계 데이터 트래픽은 영국 남서부 해안이나 싱가포르와 같은 주요 거점에 집중돼 있는 (제한된 수의) 광섬유 케이블을 통해 이동한다. 희토류 원소인 코발트, 나이오븀, 텅스텐의 공급 부족은 전체 산업의 붕괴로 이어질 수도 있다. 태양광 패널과 실리콘 칩과 같은 제품에 필수적인 고품질 석영의 약 80퍼센트는 노스캐롤라이나주에 있는 한 광산에서 생산된다.
부정적인 영향이 분명해지면 이러한 초크 포인트를 활용해 합리적인 속도 제한 요인을 마련하고 개발 속도를 점검해, 과학이 발전하는 속도만큼 좋은 아이디어들이 더 잘 구현될 수 있도록 해야 한다.
-423-424

나는 정부가 실질적인 기술을 개발하고, 기준을 세우고, 자체 역량을 키우는 데 더 적극적으로 개입해야 한다고 생각한다. 정부는 오픈 마켓에서 인재와 하드 웨어를 놓고 경쟁할 수 있어야 한다. 물론 비용이 많이 들고 예산 낭비로 이어지는 실수가 발생할 수도 있다. 그러나 능동적인 정부는 단순히 서비스를 아웃소싱하거나, 외부 기관이 소유하고 운영 하는 전문 지식과 기술에 의존하는 경우보다 훨씬 더 큰 통제력을 행사할 수 있다.
과학 기술 교육과 연구에 투자하고 국내 기술 기업을 지원하면, 정부가 첨단 기술에 직접적인 이해관 계를 갖게 되면서 이점을 활용하고 폐해를 줄일 수 있는 긍정적인 피드백 루프가 만들어진다.
-457

오늘날 누구나 AI를 개발하거나 연구소를 설립할 수 있지만, 이제 더 많은 라이선스를 필요로 하는 환경으로 전환해야 한다. 이렇게 하면 첨단 기술에 대한 접근 권한을 취소하고 피해를 구제하기 위한 더 명확한 책임과 더 엄격한 메커니즘이 만들어질 것이다. 최첨단 AI 시스템, 합성기, 양자 컴퓨터는 책임감 있고 검증된 개발자만이 제작해야 한다. 개발자는 라이선스 취득의 일환으로 명확하고 구속력 있는 보안과 안전 표준을 준수하고, 규정을 따르고, 위험 평가를 수행하고, 기록을 남기고, 실시간 배포를 면밀히 모니터링해야 한다.
-440

술레이만 역시, 결론은 세제 개혁.

역사상 가장 큰 가치 창출의 중심이 노동에서 자본으로 이동하고 있는 지금, 안보와 복지를 위한 재원을 마련하기 위해서는 세제를 전면적으로 개편해야 한다. 기술로 인한 손실이 발생하면 실질적인 보상을 받을 수 있어야 한다.
앞으로 세금은 자본에 초점을 맞춰야 한다. 이러한 변화는 부정적인 영향을 받는 사람들에게 재분배할 재원을 마련해 줄 뿐만 아니라 그 과정에서 서서히 공정한 전환이 이뤄질 수 있도록 해 준다. 자본에 대한 세금 인상과 자동화나 자율 시스템에 대한 새로운 형태의 세금이 포함돼야 한다. 이를 가리켜 '로봇에 대한 세금'이라고 부르기도 한다.
기업 AI가 급속도로 확장되는 시대에 우리는 해당 자산이나 이익뿐만 아니라 대기업 자체에도 자본세를 부과하는 방안을 고려해야 한다. 또한 이러한 대기업에 대해 국경을 초월한 과세 메커니즘을 구축해 이들이 사회 기능 유지에 공정한 몫을 지불할 수 있도록 해야 한다. 예를 들어, 기업 가치의 일정 부분을 공공 배당금으로 지급하는 것과 같은 실험적인 노력을 장려할 수도 있다.
-441-442

AI에서 재귀적 자기 개선 recursive self-improvement이나 자율성과 같은 특정 기능은 우리가 넘지 말아야 할 경계라고 생각한다. 이 문제를 해결하려면 기술적, 법적 요소뿐 아니라 AI 개발에 밀접하게 관련된 개인과 조직의 도덕적•정서적• 문화적 지원도 필요하다.
-454

유일하게 할 수 있는 일은 처음부터 제대로 하는 것 이다. 산업혁명 때처럼 사람들이 기술에 적응하도록 강요해서는 안 된다. 애초에 기술이 사람들이나 사람들의 삶과 희망에 부합하도록 조정해야 한다. 조정된 기술이란 곧 억제된 기술이다. 가장 시급한 과제는 무턱대고 물결에 올라타거나 헛되이 막는 것이 아니라 물결을 정교하게 조각하는 것이다.
-474