• 인문/교양/철학 > 인문학일반
• 사회/정치/법률 > 사회학 > 사회학 일반
• 컴퓨터/IT > 컴퓨터공학 > 인공지능/신경망/퍼지
• 자연과학/공학 > 교양과학/기술 일반

반디앤루니스 리뷰

2022년 11월, 전 세계 일반에 전격 공개된 챗GPT는 이전까지 존재한 인공지능 프로그램(GOFAI: Good Old-Fashioned AI, 즉 구식 AI)들과 확실히 달랐다. 출시 약 한 달 후 환각(hallucination)이라 불린 오류가 발생하면서 비웃음을 사고 우려를 낳기도 했다. 그러나 불과 4년 만에 AI는 세계 정치 역학을 좌우하고, 산업 구조를 급격히 재편하고 있으며, 우리 삶의 기본값이 되었다.

유럽의 CERN(유럽입자물리연구소)이 월드와이드웹의 기반 기술을 로열티 없이 누구나 쓸 수 있도록 공개한 것처럼 생성형 AI도 보편 범용 기술로 출시될 수는 없었을까? 이런 아쉬움과 질문이 생겨나지만, 책의 도입부에서 저자가 회상하듯이 인공지능 개발의 역사를 살펴보면 이 분야는 “연구비만 먹는 하마 비슷한 것”으로 기피되어 1970년대와 80년대를 거치며 두 차례의 추운 겨울(이름은 조금 낭만적으로 들리는 ‘인공지능 겨울’)을 견뎌야 했다. 1956년 존 매카시가 조직하여 미국 다트머스대학교에서 열린 첫 인공지능 컨퍼런스가 이 분야의 출발점으로 기념되기에 이해를 기점으로 보면 약 70년 만에 인간 지능에 비견할 만한 기계 지능이 만들어진 셈이다.

원천 기술을 보유하지 못한 한국 같은 국가의 정부가 골든타임이 지나기 전에 AI가 불러온 변화에 대응하고 제도적 대책을 수립하며 자국의 기반모델을 개발하는 데 전력을 쏟는 동안 시민들은 무엇을 해야 할까? 우리는 편리한 기술을 사용할 뿐 달리 할 수 있는 일이 없는 것일까? 이런 무력한 생각이 앞선다면, 이 책을 통해 AI라는 기술이 우리와 어떻게 얽혀 있는지 알아갈 수 있다. 복잡한 전문 분야일수록 시민이 아는 것이 중요하다.

출판사 리뷰

AI 시대, 과학기술학자 홍성욱 서울대 교수의 시민을 위한 AI 교양

연결과 관계, 상호작용과 변화가 상시로 일어나는 네트워크 안의 인간/비인간, 물질/비물질 행위자들을
추적하고 기술하는 과학기술학(Science and Technology Studies, STS)의 관점에서
알파고에 대한 재해석부터 최근 발생한 심각한 AI 사고들에 대한 긴급 진단,
그리고 발빠르게 우리 일상에 파고든 AI와의 더 나은 공존의 출발점을 모색한다.

과학기술학(STS)의 눈으로 AI를 검증하다
『우리는 어떤 AI를 만들고 있는가』의 저자 홍성욱 교수는 한국의 과학기술사와 과학기술학 연구 1세대 학자다. 그가 연구 대상으로 다뤄 온 많은 과학기술 중에서도 2016년 이후 일반에 공개된 신경망 기반의 AI는 가장 놀랍고도 문제적인 기술이 아닐까 싶다. 이 책은 저자가 2018년부터 학술적 관심을 갖고 연구해 온 AI 관련 주제들을 ‘포스트휴먼 AI’라는 개념을 중심으로 엮은 것이다. ‘포스트휴먼 AI’는 지난 20여 년간 인문사회과학계에서 무르익은 포스트휴머니즘의 비인간 담론을 계승하되, 다양한 비인간 존재 중 비생명체여서 상대적으로 분석의 주변부에 머물렀던 ‘기술’에 초점을 맞추려는 저자의 관점을 응축하는 개념이다. 포스트휴먼 담론이 인간과 비인간의 얽힘에 주목했듯 포스트휴먼 AI는 인간과 AI라는 기술의 관계를 펼쳐서 드러낸다. 이런 가시화 작업에는 과학기술학의 주요 방법론인 행위자-네트워크 이론(ANT) 역시 한 몫을 담당한다. 과학기술학자들은 완성된 후의 과학기술을 ‘블랙박스’에 비유하는데, 이 책은 AI라는 블랙박스를 열어 그것을 만들고 작동하고 개선하고 이용하고 동원하는 여러 층위의 행위자들, 그 행위자들과 행위들의 효과가 형성하는 연결망까지 촘촘히 들여다본다.

AI를 인간-기술 배치로 이해하기 위한 세 가지 초식
1장에서는 책 전체를 꿰는 세 가지 핵심 개념이 제시한다. 관계성, 행위성, 변화가능성이 그것이다. 이 세 가지 개념의 기본 전제는 AI를 독립적으로 존재하고 자율적으로 작동하는 객체로 간주하지 않는다는 것이다. AI의 관계성(relationality)은 AI가 어떤 관계 속에 위치 지어져 있는지에 관한 것이다. 선사시대의 돌도끼부터 산업혁명기의 뮬 방적기까지 기술은 인간과 환경은 물론이고 비물질적 조건까지 포함하는 관계망 속에서 등장하고 발전했다. AI의 행위성은 관계성과 긴밀히 연동되는 개념이다. 관계가 변하면 행위성도 새롭게 구성된다. 따라서 AI는 고정된 시스템이 아니며 그것을 만든 인간과 그 집단에 영향을 미치고, 이러한 상호작용이 지속되는 동안 변화하는 사회기술적 존재라는 것이 세 가지 개념 틀로부터 도출되는 이해 방식이다. 여기서 사회기술적 존재라는 의미는 “기술이 기존의 인간과 비인간의 관계를 뚫고 들어가서 이를 다시 조직하는 존재라는 뜻이다.” 세 가지 개념에 대해서는 알파고(2장), 이미지 생성 AI(3장), LLM(4장) 같은 실제 모델들에 대한 분석이 이뤄지는 동안 더 자세히 이해할 수 있다.

알파고로 인해 만들어진 신화는 지금도 계속된다
2026년은 이세돌 9단과 알파고의 바둑 대국 10주년이 되는 해이다. 3장에서 저자는 2016년 3월 대국 이후 국내외 언론과 대중 담론에서 공통적으로 보이는 서사를 ‘세 가지 신화’로 정리하고, 그사이 발표된 과학기술학계의 연구 결과를 함께 소개하면서 알파고 신화를 비판적으로 해체한다. 먼저, ‘인간 없이 스스로 학습한 AI’라는 신화는 알파고의 후속 버전들 중 하나인 ‘알파고 제로’에 대한 평가에서 비롯한다. 알파고 제로는 인간의 기보 없이 게임 규칙만 입력받은 상태로 자신과의 대국만으로 훈련하여 바둑을 마스터한 후, 알파고와 겨뤄 100 대 0으로 이겼다. 버전 명칭에서도 보이듯 알파고 ‘제로’는 ‘백지상태’에서 출발해 인간 최고 수준을 넘어섰다는 인상을 주었고, 이에 동조하는 많은 담론이 재생산되면서 이 서사는 신화화되었다. 두 번째, ‘인간 지능을 넘어선 초지능’ 신화는 이세돌-알파고 매치의 제2국 37수의 충격에 기인한다. 37수는 인간 기사는 둘 수 없는 “창조적 한 수”로 묘사되면서 게임 프로그램이 절대 넘볼 수 없을 거라 여겼던 인간 직관의 마지막 보루를 무너뜨림으로써 초인적 신화를 만들어 냈다. 세 번째는 2025년 출간된 장강명 작가의 책을 통해 큰 공감대를 형성한 ‘바둑의 황폐화’ 신화다.

첫 번째 신화는 “풍부한 선천적 구조”, 즉 “처음부터 적절하게 설계된 계산 구조”가 있었음을 논증하는 생득주의(nativism)에 의해 반박된다. 또한 “알파고가 스스로 배웠다”라는 표현도 문제가 있다고 지적하는 연구도 있다. 즉 AI의 ‘자기 학습’을 인간이 하는 자기 학습과 동일한 의미로 받아들여서는 안 된다는 것이다. 두 번째 37수 신화에 대한 반박은 예리한 탐정의 날카로운 현장 분석을 보는 듯한 쫄깃한 관전을 선사한다. 저자는 이탈리아의 과학기술학자 필리프 소르마니의 연구를 소개하는데, 소르마니는 37수가 대국 당시 어떻게 구성된 것인지 영상 자료를 초 단위로 분석하면서 대국 당시 상황을 재현한다. 바둑의 황폐화 신화는 2016년 후 세계 바둑 인구의 증가를 보여 주는 데이터와 장 작가의 책에서도 소개되는 사례를 통해 반증된다.

알파고 신화에 대한 반론은, 인간 대 기계(AI)라는 오랜 대결 서사를 답습하는 관점으로는 인간과 AI가 놓인 조건과 관계, 상호작용을 제대로 파악할 수 없다는 문제제기로 읽어야 한다. 이처럼 성실한 연구들을 통해 신화의 해체 작업은 이뤄졌지만, 현실 속 신화는 대중 서사로 유통되기 좋은 소재로서 그 생명력이 단숨에 사그라들기 어려운 듯싶다. 지금 초지능 도래 가능성을 예견하는 담론들에서 알파고 신화가 되풀이되고 있기 때문이다.

AI의 위협과 위험은 정말로 통제가 불가능한가
챗GPT가 공개된 이후 LLM은 AI 역사상 가장 극단적으로 상반된 평가를 받은 기술이 되었다. 한편에서는 “인류 역사상 가장 중요한 기술 혁명” “인류를 구할 기술”이라는 찬사가, 다른 한편에서는 “확률론적 앵무새” “언어를 흉내 내는 거대한 사기”라는 혹평이 쏟아졌다. 그때로부터 4년 가까이 지난 지금의 분위기는 많이 차분해지긴 했지만, 우려는 점점 더 커지고 있다. 책의 4~6장에서 다루는 주제들(사고 외주, 일자리와 노동의 불안정성, 전쟁 AI의 윤리와 책임 공백의 문제)이 뜨거운 사회적 쟁점으로 대두된 상황에서, 최근 ‘AI 통제 상실 가능성’으로 보도된 여러 사고가 터져 나왔기 때문이다. 이와 관련된 7장 「AI는 인간의 통제를 벗어날 수 있는가」에서는 현재까지 알려진 사고들 중 대표적인 여덟 가지 사례를 따라가며 실제로 벌어진 일은 무엇이고 이것을 어떻게 해석해야 하는지 검토한다.

여덟 가지 사례 중 일곱 가지는 실제 사회에서 AI가 인간의 통제로부터 독립하여 자발적으로 행동한 사건이 아니었다. 연구자가 목표를 설정하고 셸(shell: 운영체제에 명령을 내리는 명령줄 인터페이스)·파일·이메일 같은 도구와 특정 권한을 제공하고, 인간의 지시와 과업 목표가 충돌하도록 설계한 시험에서 발생한 것이었다. 또한 이 시험들은 “연구자가 기만이나 목표 우회 행동이 나오는지 시험한 연구, 모델에게 기만을 직접 지시하지 않은 상태에서 전략적 순응을 관찰한 정렬 위장 연구, 목표 충돌을 의도적으로 유도한 책략 실험, 실제 행동 가능한 환경에서 종료 저항과 자기복제를 시험한 연구 등 서로 다른 상황에서 발생한 것들” (p. 192)이었다. 따라서 저자는 이들을 모두 ‘통제 상실’이라는 하나의 의미로 묶기 어렵다고 분석한다. 다시 말해 각각의 시험이 의도한 것과 실제로 발생한 행동을 더 자세하게 검토하고 그 성격을 규정해야 한다는 것이다. 저자도 테스트를 통해 ‘정렬 위장’이 실제로 측정된 다섯 번째 사례, 개발자의 목표와 모델의 목표가 충돌 시 감독 우회, 능력 은폐, 가중치 파일 유출 같은 행동이 발생한 여섯 번째 사례는 인간의 감독 체계가 무력화될 위험성을 보여 주는 것이라고 분명히 지적한다.

AI는 인간의 통제를 벗어나서는 안 된다. 여기에는 이론의 여지가 없다. 다만 통제에 대한 인식을 전환할 필요는 있다. 그 이유는 AI가 전례없이 놀라운 성능을 발휘하는 기술이어서가 아니다. 과거의 기술들도 인간의 의도에 순응하는 고분고분한 존재는 아니었다. 자동차가 고장나면 수리해서 본래 기능을 회복할 수 있듯 최근 발생한 AI 통제 상실 사고들도 AI를 고쳐서, 즉 인간이 통제해서 방지할 수 있는 생각을 낳는다. 이런 인식은 인간 대 기계의 대결 서사와 마찬가지로 행위를 단일한 주체로 환원하는 논리를 따르게 한다. 책 전체에서 살피듯 AI는 거대한 사회물질적 네트워크이고, 세계 경제 분업 체계를 재편하고 있다. 저개발된 글로벌 사우스에 집중된 데이터 노동의 문제, 데이터센터의 환경 부담도 AI를 떠받치는 사회물질적 인프라다. 따라서 AI에 대한 통제는 네트워크 전체에 분산된 AI의 행위성을 추적하는 한에서 비로소 실효적인 대처 방안을 찾을 수 있다.

‘인간중심’ 담론의 한계와 포스트휴먼 AI
안전한 AI를 만들기 위한 규범은 이미 존재한다. 2018년 스탠퍼드대학의 컴퓨터과학과 교수 페이페이 리가 『뉴욕타임스』에 AI 기술 발전에 대한 열광이 사회에 닥칠 영향을 직시하지 못하도록 방해하는 것에 대한 우려를 피력한 글을 기고하며 ‘인간중심 AI(human-centered AI)’라는 개념을 처음으로 사용한 것에서 출발한 규범이다. 이후 정립된 인간중심 AI 3대 원칙은 오늘날 AI 윤리 가이드라인과 국제 규범의 기반이 되었다. 3대 원칙 중 ‘인간은 AI를 항상 통제할 수 있어야 한다’라는 두 번째 원칙으로부터 ‘인간의 최종 결정권(human-in-the-loop)’과 ‘인간의 감독권(human-on-the-loop)’ 같은 중요한 개념이 나왔다. 인간중심 AI는 원칙적 가이드라인을 제시한다는 측면에서 유의미하지만, 지금의 AI를 둘러싼 사회적·윤리적·정치적 문제들의 난맥상을 고려하면 한계가 분명하다. 가장 먼저 인간중심 AI의 ‘인간’이 너무 추상적이라는 점을 들 수 있다. 학습과 업무를 위해 AI를 사용하는 일반 사용자조차도 단일하지가 않다. 이들의 경우라면, LLM의 목표와 가치는 어떤 사용자에 정렬되어야 할까? 산업 전반에 도입될 AI 모델은 기업과 노동조합 중 어느 쪽의 이해관계에 정렬되어야 할까. 게다가 이미 현재의 LLM들은 엄청난 물질적 인프라 건설과 유지 비용이 거대한 장벽으로 작용하는 산업 구조 위에서 돌아가고 있다. 이처럼 AI가 배열된 네트워크를 따라가면 인간중심 원칙은 인간-기술-환경의 배치를 추적하는 포스트휴먼 AI로의 이행이 필요함을 알게 한다. 저자가 강조하는 포스트휴먼 AI 원칙은 “인간을 제거하는 것이 아니라 관계와 정의를 분석의 중심”에 두자는 것이다. 페이페이 리가 기고문에서 인공지능에 ‘인공적인 것’은 없다라고 한 말은 저자가 “기술에는 어쩔 수 없는 것이 없다”라고 한 말과 공명한다.