EA 와 E/ACC의 네러티브 줄다리기 게임

이 글은 Not Boring의 Substack 컨텐츠인 "Narrative Tug-of-War"를 번역한 글입니다.

지난 1년 동안 내가 세상을 보는 방식의 가장 큰 변화 중 하나는 이데올로기 논쟁을 서사적 줄다리기 게임으로 보는 것입니다. 모든 내러티브에는 동등하고 반대되는 내러티브가 있습니다. 그것은 거의 예정된 문화 물리학입니다. 한쪽은 극단으로 세게 당기고, 다른 쪽은 원래 위치로 되돌아갑니다.

AI는 우리 모두를 죽일 것이다 ←→ AI가 세상을 구할 것이다.

사소한 불일치로 시작된 것이 완전히 반대되는 세계관으로 확대됩니다. 미묘한 대화로 시작된 것이 구호로 간소화됩니다. 당신의 반대편 주장을 시작한 사람들은 당신의 적이 됩니다. 극단에 초점을 맞추고 각자 줄을 당기는 것에 집중하면 흥분하기 쉽습니다. 그들이 말하는 모든 것을 트집 잡고 놓친 것이나 생략한 것을 지적하는 것은 분명히 쉽습니다.

하지만 그렇게 하지 마세요. 가운데 매듭에 집중하세요.

줄의 중심선을 넘나들며 각 팀이 자신들의 쪽으로 더 멀리 끌어당기려고 할 때 그 매듭이 중요합니다. 그것은 아이디어의 긴급한 종합이며, 정책과 행동으로 번역되는 곳입니다.

Overton Window라는 개념이 있습니다. 즉, 특정 시점에 정치적으로 수용 가능한 정책이나 아이디어의 범위입니다. 조셉 오버턴이 1990년대 중반에 이 아이디어를 제시한 이후로, 이 개념은 정부 정책을 넘어 확장되었습니다. 이제는 아이디어가 주류 대화에 어떻게 진입하는지를 설명하는 데 사용되며, 여기서 그것들은 공공 의견, 사회 규범, 기관의 실천에 영향을 미칩니다.

Overton Window는 내러티브 줄다리기의 매듭입니다. 줄을 당기는 양쪽 팀은 실제로 모든 사람이 자신들의 아이디어에 동의하고 채택할 것으로 기대하지 않습니다; 그들은 단지 Overton Window가 자신들의 방향으로 이동하도록 충분히 강하게 당길 필요가 있습니다.

또 다른 방법으로 생각해보면 가격 앵커링과 같습니다. 회사가 여러 가격대를 제공하여 당신이 중간쯤에 위치한 것을 선택하고, 낮은 가격으로 얻는 것이 얼마나 적은지 또는 모든 기능을 얻기 위해 얼마나 많이 지불해야 하는지 보지 않았다면 지불했을 것보다 더 많이 지불하게 만듭니다.

 

아무도 당신이 7,000달러짜리 슈퍼 프로 티어를 지불할 것으로 기대하지 않습니다 (그렇게 한다면 그들은 기쁠 것입니다). 그들은 단지 그것을 보여줌으로써 69달러짜리 프로 티어에 대해 지불하는 것이 더 매력적으로 보이게 만든다는 것을 알고 있습니다.

내러티브와 함께 같은 일이 발생하지만, 한 회사가 프로 티어를 구매할 가능성을 극대화하기 위해 신중하게 가격을 설정하는 대신, 독립적이고 반대되는 팀들이, 종종 서로 만난 적이 없는 사람들로 구성되어, 그룹 채팅과 밈을 통해 느슨하게 조정되어 매듭을 그들이 받아들일 수 있는 적절한 장소로 되돌리기 위해 충분히 강하게 당기는 방법을 어떻게든 알아냅니다. 이것을 생각해보면 일종의 문화적 마법입니다.

이 아이디어를 설명하기 위해 사용할 수 있는 많은 예시들이 있지만, 그 중 많은 것들이 저를 곤경에 빠뜨릴 수 있으므로, 저는 제가 아는 것에 집중할 것입니다: 기술. 구체적으로는 성장 대 감소, 또는 EA 대 e/acc입니다.

 

EA 대 e/acc

이번 달 OpenAI 드라마로 전 세계에 터진 제 트위터 코너의 가장 큰 논쟁 중 하나는 효과적인 이타주의(EA)와 효과적인 가속주의(e/acc)입니다. 이는 우리가 (1)성장해야 한다고 믿는 사람들과 (2)그렇지 않은 사람들 사이의 서사적 줄다리기를 탐구할 수 있는 완벽한 사례 연구입니다. 어느 한쪽을 따로 떼어서 보면 두 견해 모두 극단적인 것처럼 보입니다.

EA(AI 위험 팀)는 AI가 우리 모두를 죽일 가능성이 매우 높다고 믿습니다. 앞으로 수천 년 동안 수조 명의 인간이 있을 것이라는 사실을 감안할 때, AI가 우리 모두를 죽일 확률이 1%라도 이를 방지하면 수백억 또는 수천억 명의 예상 생명을 구할 수 있습니다. 어떤 대가를 치르더라도 AGI에 도달하기 전에 AI 개발을 중단해야 합니다.

그 팀의 주장인 Eliezer Yudkow sky는 Time에 다음의 글을 기고하였습니다.

모든 대규모 GPU 클러스터(가장 강력한 AI가 정제되는 대형 컴퓨터 농장)를 폐쇄하십시오.
모든 대규모 트레이닝 실행을 중단하십시오.
AI 시스템 트레이닝에 사용할 수 있는 컴퓨팅 파워에 상한선을 설정하고, 향후 몇 년 동안 더 효율적인 트레이닝 알고리즘을 보상하기 위해 그 상한선을 낮추십시오.
정부와 군사 기관에도 예외를 허용하지 마십시오.
금지된 활동이 다른 곳으로 이동하는 것을 막기 위해 즉시 다국적 협정을 맺으십시오.
판매되는 모든 GPU를 추적하십시오.
협정 외부의 국가가 GPU 클러스터를 구축하고 있다는 정보가 있다면, 국가 간의 총격전보다 협정 위반에 더 큰 두려움을 갖고, 무단 데이터센터를 공습하여 파괴할 의지를 가져야 합니다. 

AI 개발을 막기 위해 데이터센터를 폭격해야 한다는 아이디어는 AI 지지자들에 의해 빠르게 지적되었습니다.

e/acc(pro-AI 팀)는 AI가 우리 모두를 죽이지 않을 것이라고 믿고, AI를 가속화하기 위해 우리가 할 수 있는 모든 것을 해야 한다고 믿습니다. 그들은 기술이 좋고, 자본주의가 좋으며, 두 가지의 결합, 즉 테크노-캐피탈 기계가 "영원한 물질 창조, 성장, 그리고 풍요의 엔진"이라고 믿습니다. 우리는 어떤 대가를 치르더라도 테크노-캐피탈 기계를 보호해야 합니다.

Marc Andreessen은 최근에 그의 트위터에 스스로를 "e/acc"임을 드러내며, "테크노-낙관주의 선언"을 썼습니다.여기서 그는 사실상 무제한의 기술 발전을 주장합니다. 특히 한 부분이 AI의 반대자들의 분노를 불러일으켰습니다:

우리는 적이 있습니다.
우리의 적은 나쁜 사람들이 아니라 나쁜 아이디어들입니다.
우리 현대 사회는 지난 60년 동안 기술과 삶에 대한 대규모 비난 캠페인을 받아왔습니다 – "존재 위험", "지속 가능성", "ESG", "지속 가능한 개발 목표", "사회적 책임", "이해관계자 자본주의", "예방 원칙", "신뢰와 안전", "기술 윤리", "위험 관리", "감소 성장", "성장의 한계"와 같은 다양한 이름으로.
이 비난 캠페인은 과거의 나쁜 아이디어들 – 많은 것이 공산주의에서 유래된 좀비 아이디어들, 그때나 지금이나 재앙적인 – 에 기반을 두고 있으며, 죽지 않고 남아있습니다.

대부분의 사람들이 좋다고 여기는 것들 – 지속 가능성, 윤리, 위험 관리 – 이 공허한 상태에서 볼 때, 많은 저널리스트들과 블로거들이 빠르게 지적한 것처럼 터무니없어 보입니다. 

두 글의 비판자들이 놓친 것은, 어느 쪽 주장도 공허한 상태에서 볼 수 없다는 것입니다. 미묘함은 어떤 특정한 주장의 포인트가 아닙니다. 극단을 강하게 당겨서 중간에서 미묘함이 나타나도록 합니다.

양쪽 팀에는 각자의 팀의 가장 극단적인 견해를 지지하는 사람들이 있습니다 – 한 쪽은 완전한 AI 중단, 다른 쪽은 무제한 테크노-캐피탈 성장 – 하지만 실제로 일어나는 것은 규제가 매듭인 내러티브 줄다리기 게임입니다.

EA는 AI가 규제되기를 원하며, 규제를 작성하는 주체가 되기를 원합니다 . e/acc는 AI가 정부나 회사 등 어느 한 그룹에 의해 통제되지 않고 개방적으로 유지되기를 원합니다.

한 쪽은 AI가 우리 모두를 죽일 것이라고 경고하며, 대중과 정부를 두려워하게 하여 서둘러 규제하도록 하고, 다른 쪽은 AI가 세상을 구할 것이라고 주장하며, 사람들이 그 혜택을 직접 경험할 수 있을 때까지 규제를 막아냅니다.

개인적으로, 그리고 놀랍지 않게도, 저는 테크노-낙관주의자들 편입니다. 그렇다고 해서 기술이 만병통치약이라고 믿거나, 다루어야 할 실제 문제들이 없다고 믿는 것은 아닙니다.

이것은 성장이 정체보다 낫다고, 문제에는 해결책이 있다고, 역사가 기술 발전과 자본주의가 인간의 생활 수준을 향상시켰다는 것을 보여준다고, 나쁜 규제가 규제가 없는 것보다 더 큰 위험이라고 믿는 것을 의미합니다.

세계는 내러티브 줄다리기로 변화하지만, 진실 또는 적어도 사실 패턴도 존재합니다. 맬더스부터 에를리히까지의 파멸론자들은 계속 틀린 것으로 입증되지만, 공포는 판매를 촉진하며, 결과적으로 주류 내러티브는 여전히 반기술적으로 기울어져 있습니다. 우려되는 것은 제한적인 규제가 진실이 드러나기 전에 시행된다는 것입니다.

이 내러티브 줄다리기 게임의 문제는 공정하지 않다는 것입니다. 반성장 측은 규제가 시행되기 위해 단지 강하고 오래 끌기만 하면 됩니다. 일단 시행되면, 뒤집기 어렵고, 대개는 강화됩니다. 핵 에너지가 분명한 예입니다.

 

규제선을 넘어 매듭을 당길 수 있다면, 그들은 승리하고 게임은 끝납니다.

성장 지지 측은 진실이 새로운 기술과 함께 오는 모든 혼란에도 불구하고 드러나기 위해, 기업가들이 약속을 증명하는 제품을 만들기 위해, 그리고 창의적인 인간들이 진보를 저해하지 않으면서도 우려를 해결하는 해법을 고안하기 위해 오래도록 당겨야 합니다.중간에 해결책이 나타날 때까지 줄다리기를 오랫동안 계속해야 합니다.

어제 이더리움 공동 창립자인 Vitalik Buterin은 My techno-optimism 이라는 글을 작성하여 d/acc라는 솔루션을 제안했습니다.

그는 쓴 바에 따르면, "d"는 많은 것을 나타낼 수 있으며, 특히 방어, 분산, 민주주의, 차별을 의미합니다. 이는 잠재적인 함정에 대비해 보호하고 인간의 번영을 우선시하는 방식으로 AI를 개발하는 기술을 사용하는 것을 의미합니다.

한편으로, AI 안전 운동은 "그냥 멈춰야 한다"는 메시지로 당깁니다. 다른 한편으로, e/acc는 "당신은 이미 있는 그대로 영웅"이라고 말합니다. 비탈릭은 d/acc를 제3의 중간 길로 제안합니다:

"건설하고 수익성 있는 것들을 만들어야 하지만, 당신과 인류가 번성하는 데 도움이 되는 것들을 만들고 있는지 더 선택적이고 의도적으로 확인해야 한다"는 것일 수 있습니다. 이것은 승자가 될 수 있습니다."

이것은 종합적인 것이며, 철학이 "기술을 산산조각내도록 규제"하지 않는 한 사람들의 철학이 무엇이든 사람들에게 호소력을 가질 수 있다고 그가 주장하는 것입니다.

비탈릭 부테린, 나의 기술 낙관주의

EA와 e/acc가 양 극단에서 당기지 않았다면, 비탈릭의 d/acc에 대한 중간 공간이 있었을지도 모릅니다. 섬세함이 부족한 극단들이 중간에서 섬세함이 나타날 공간을 만듭니다. EA가 승리하고 규제가 진보를 멈추거나 소수의 회사들에게 집중시킨다면, 그러한 방이 더 이상 존재하지 않습니다. 규제가 목표라면, 규제를 포함하지 않는 해결책에 대한 여지가 없습니다.

하지만 목표가 인간의 번영이라면 해결책에 대한 충분한 여지가 있습니다. 그 공간을 열어두는 것이 중요합니다

Vitalik이 e/acc에 명시적으로 동의하지 않았음에도 Marc Andreessen 과 e/acc의 익명 공동 창립자 Beff Jezos는 모두 Vitalik의 게시물을 공유했습니다. 이는 그들이 자신들의 해결책보다 좋은 해결책에 덜 걱정한다는 신호입니다. .

d/acc가 답인지 여부와 관계없이, 그것은 극단을 당기는 것의 의미를 아름답게 포착합니다. e/acc가 외부 경계를 설정한 후에야 인간과 AI를 뉴럴링크를 통해 융합하는 해결책이 합리적이고 온건한 입장으로 여겨질 수 있었습니다. 레이 커즈와일이 수십 년 전에 이 점을 지적했고, 그 증거를 갖고 있습니다.

이와 다른 내러티브 줄다리기에서, 극단은 목적을 가지지만 목적 자체는 아닙니다. 모든 EA에는 동등하고 반대되는 e/acc가 있습니다. 게임이 계속되는 한, 그 긴장에서 해결책이 나올 수 있습니다. 

당기는 사람들에게 초점을 맞추지 마십시오, 매듭에 초점을 맞추십시오.