인공 일반 지능의 실존적 위험
| 시리즈 |
| 인공지능 |
|---|
_artificial_intelligence_icon.png){kind=icon} |
인공 일반 지능의 실존적 위험 또는 범용 인공지능의 실존적 위험은 인공 일반 지능(AGI)의 실질적인 발전으로 인해 인류가 멸종하거나 돌이킬 수 없는 또 다른 글로벌 재앙을 초래할 수 있다는 가설이다.
한 가지 주장은 다음과 같다. 인간의 뇌는 다른 동물에게는 없는 독특한 능력을 가지고 있기 때문에 인간 종이 현재 다른 종을 지배하고 있다. AI가 일반 지능에서 인류를 뛰어넘어 초지능이 된다면 통제가 어렵거나 불가능해질 수 있다. 마운틴고릴라의 운명이 인간의 선의에 달려 있는 것처럼, 인류의 운명도 미래의 초지능 기계의 행동에 달려 있을지도 모르다.
AI로 인한 실존적 재앙의 타당성은 널리 논의되고 있으며, 부분적으로는 AGI 또는 초지능이 달성 가능한지, 위험한 능력과 행동이 나타날 수 있는 속도, AI에 의한 탈취를 위한 실제 시나리오가 존재하는지 여부에 달려 있다. 초지능에 대한 우려는 제프리 힌턴, 요슈아 벤지오, 앨런 튜링, 일론 머스크 및 OpenAI CEO 샘 올트먼과 같은 주요 컴퓨터 과학자 및 기술 CEO가 표명해 왔다. 2022년 AI 연구자를 대상으로 한 설문조사(응답률 17%)에 따르면 대다수의 응답자는 AI를 제어할 수 없으면 실존적 재앙을 초래할 가능성이 10% 이상이라고 믿고 있는 것으로 나타났다. 2023년에는 수백 명의 AI 전문가와 기타 유명 인사들이 "AI로 인한 멸종 위험을 완화하는 것이 전염병 및 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 글로벌 우선순위가 되어야 한다"는 성명서에 서명했다. AI 위험에 대한 우려가 높아지면서 영국 총리 리시 수낙(Rishi Sunak)과 유엔 사무총장 안토니오 구테흐스(António Guterres) 등 정부 지도자들은 글로벌 AI 규제에 더 많은 관심을 기울일 것을 촉구했다.
두 가지 우려 요인은 AI 통제 및 AI 정렬 문제에서 비롯된다. 초지능 기계를 제어하거나 인간과 호환되는 값을 주입하는 것이 어려울 수 있다. 많은 연구자들은 초지능 기계가 자신을 비활성화하거나 목표를 변경하려는 시도에 저항할 것이라고 믿는다. 그러한 사고로 인해 현재 목표를 달성할 수 없게 되기 때문이다. 초지능을 인간의 중요한 가치와 제약의 전체 범위에 맞추는 것은 극히 어려울 것이다. 대조적으로, 컴퓨터 과학자 얀 르쿤(Yann LeCun)과 같은 회의론자들은 초지능 기계는 자기 보존에 대한 욕구가 없을 것이라고 주장한다.
세 번째 우려 요인은 갑작스러운 '지능 폭발'이 준비되지 않은 인류를 놀라게 할 수 있다는 것이다. 이러한 시나리오에서는 지능 면에서 제작자를 능가하는 AI가 기하급수적으로 증가하는 속도로 반복적으로 스스로를 향상할 수 있으며, 핸들러와 사회가 통제하기에는 너무 빨리 향상될 가능성을 고려한다. 경험적으로 바둑을 스스로 가르치는 알파제로(AlphaZero)와 같은 예는 도메인별 AI 시스템이 때로는 AI가 기본 아키텍처를 변경하는 것을 포함하지 않지만 인간 이하의 능력에서 초인간적인 능력으로 매우 빠르게 발전할 수 있음을 보여준다.