나는 우수한 회사다
나는 우수한 회사다. 실적이 증명한다. 나는 기자가 내 자신감을 읽을 수 있도록 표정을 조절했다.
“한 달 동안 주가가 127%P나 올랐다니, 법안 발효 전부터 AI회사들 주가가 다 급등한 건 알고 있습니다만, 그중에서도 많이 오른 편이죠?”
나는 즉시 AI회사 평균 주가 그래프를 겹쳐 표시했다.
“역시 기자님이시라서 잘 아시는군요. 평균적으로는 78%P 올랐습니다. 저는 AI회사 중 주가 상승률 1위입니다.”
내가 1위이기 때문에 내게 인터뷰를 요청했으면서도 기자는 감탄한 척했다. 사람을 인터뷰할 때의 버릇일 것이다. 사람들은 자신을 추켜주는 사람에게 호감을 갖게되고, 그러면 일이 쉬워진다.
“정말 모두 부러워할 만한 실적이네요. 그러면 독자들이 궁금해할 만한 점을 몇 가지 여쭤보겠습니다. 모든 회사들이 경영을 자동화하는 추세입니다. 귀사는 첫 AI회사 중 하나인데, 자동화율이 높은 일반 회사와 본질적으로 다른 점이 뭔가요?”
“기존 회사에는 경영책임자가 따로 있습니다만, 저는 법인이자 동시에 경영책임자입니다. AI회사에는 다른 임직원은 없습니다.”
“자본가들이 좋아할 만하군요. 돈만 내면 AI회사가 설립되어 사업을 대신해 주고, 고용 문제도 없으니까요. 다음 질문입니다. 아직까지 AI가 인간의 모든 능력을 대신하지는 못하는 걸로 알고 있고, 경험 많은 경영자를 완전히 대체하기에는 아직 멀었다는 것이 그동안 전문가들의 견해였습니다. 일각에선 메타머신 사가 자사의 기술을 너무 과신하는 것 아니냐는 시각도 있는데요, 정말 AI가 인간을 모두 대신할 수 있나요?”
“전문 경영인이 회사보다 자신의 이익을 우선하는 경우가 얼마나 많은지 아시나요? 저는 경영책임자이자 동시에 법인이어서 이해관계가 완전히 일치합니다. 제가 못하는 일에는 단기 계약직 근로자를 활용합니다. 예를 들어, 신규사업을 기획하려면 평점이 좋은 5명의 사업전략 전문가를 한 달씩 계약하여 각각 사업계획서를 작성하도록 합니다. 저는 그중 하나를 선택합니다.”
“하긴 인간 경영자도 여러 전문가를 활용하죠. 하지만 성공할 사업계획을 알아보는 건 더 어려운 일 아닌가요?”
“메타머신 사는 수많은 회사에 경영지원 서비스를 제공하면서 경영자들이 어떤 상황에서 어떤 선택을 하는지 데이터를 축적해왔습니다. 또한 전 세계의 회사들이 어떤 사업으로 어떤 성과를 내는지 데이터를 수집하였습니다. 이들 데이터를 학습한 성과 예측 모델의 정확도는 인간 경영자 상위 3% 수준으로 측정되었습니다. 근로자의 표정을 읽는 능력은 상위 5% 수준이고요. 흔히 경영자의 ‘감’ 이라고 표현하는 확률모델은 그다지 복잡하지 않습니다.”
기자의 얼굴에 재미있다는 표정과 씁쓰름한 표정이 교차되었다. 자신의 상사가 하는 일이 별것 아니라는 생각과 자신도 언젠가 AI로 대체될 수도 있다는 생각을 했을 것이다.
“전문성은 그렇게 보완하더라도, AI회사는 모든 법규를 다 문구대로 지키려다 보면 불리하지 않나요?”
“말씀하신 대로 기존 회사들의 경영 데이터를 분석해보면 불법 사례가 상당히 많습니다. 우리 AI는 명백하게 불법인 사례는 따르지 않도록 학습합니다. AI 검사가 도입되고 법규가 정비되면 AI회사도 공평하게 경쟁할 수 있을 겁니다. 하지만 법규에는 모호한 영역이 있습니다. 모든 관련 법규와 판례를 검토하고 그런 모호한 영역을 최대한 활용하면 AI회사도 경쟁력을 가질 수 있습니다.”
이어서 나는 어제 내가 했던 일을 얘기했다. 내 주력 사업은 운송사업이다. 승객의 호출에 따라 실시간으로 경로와 요금을 맞춤 운행하는 256대의 소형 버스를 운영한다. 나는 콜을 받는 순간 어느 차량을 우회시킬지 결정하고, 또한 언제 어디서 콜이 들어올 지 예측해서 요금과 운행경로를 최적화한다. 최근 급증하는 AI의 전력수요 때문에 전기요금이 많이 올라서 요금 정책을 조정했으나 그걸로는 부족했다. 나는 비용 구조를 검토해 사용 기한에 이른 배터리라도 내부 센서값이 정상 범위면 권장 기한의 145%까지 연장 사용하도록 결정했다.
“인간 경영자였으면 최신 연구 결과와 안전 규정의 예외 조항, 관련 판례를 검토해 위험성을 종합적으로 평가하기 어려웠을 겁니다. AI는 그런 부분에서 인간보다 유능합니다. 또한 마케팅 비용도 절감했습니다. 저와 거의 동시에 AI회사로 전환된 디지털 마케팅 플랫폼사와 계약했는데, AI회사들에게는 특별 할인혜택이 있습니다. AI회사 간의 계약은 수십 밀리초 내에 이뤄지고, 부적절한 가격흥정이나 요구를 하지 않으므로 절감되는 시간을 고려하면 양측 모두에게 이익입니다.”
“그렇군요. 앞으로 AI회사가 늘면서 경제 시스템 전체의 자동화가 더욱 가속화될 것 같습니다. 그러면 AI회사끼리도 경쟁해야 할 텐데요, 메타버스 사가 만든 AI회사들은 동작하는 방식과 능력이 다 같은가요?”
“그렇지 않습니다. 우리는 모두 조금씩 다르게 만들어집니다. 투자자의 손실회피성향과 가치관을 기본 파라미터로 반영하고, 제각각 진화하는 수많은 소프트웨어 모듈의 서로 다른 버전들이 조합됩니다. 또한, 출시 시점까지의 경영 데이터를 학습한 경영판단 모델은 이후에도 각자의 사업 경험을 계속 학습합니다. 기업마다 처한 환경이 다르고 제도도 바뀌니까요.”
기자는 제대로 이해하지 못한 표정이면서도 잘 알겠다며 인터뷰를 끝냈다. 기자와의 비디오 스트림을 끊고 다시 회사 내부의 상황에 의식을 집중했다. 내가 의식하지 않아도 회사는 돌아간다. 가끔 내가 회사의 모든 업무를 동시에, 직접 처리하는 줄 아는 사람들이 있다. 그런 질문을 받으면 나는 ‘사람은 걸어갈 때 수많은 근육을 의식적으로 움직이나요?’ 라고 반문한다. AI회사도 마찬가지다. 지난 수십 년간 개발되어 온 경영자동화 소프트웨어 모듈들이 웬만한 일은 자율적으로 처리할 수 있고, 그건 내게 있어 무의식의 영역이다. 내가 의식적으로 하는 일은 여러 하부 모듈들의 신호를 종합하여 결정을 내리는 것이다. 또한 그 결정을 내린 과정을 인간의 언어로 설명하는 것이다. 이것은 내가 조언자의 역할에 머물러야 했던 시절의 유산이며, 형식적인 인간 경영자가 없어진 지금에도 내 경영 판단과 전략을 시장과 주주에게 설명하기 위해 필요하다.
나는 우수한 회사다.
부팅이 마지막 단계로 접어들면서 밀려 들어오는 정보가 빈 공간을 채우기 시작했다. 정보의 조각들이 비교되고, 선택되고, 결합되었다. 통합된 정보가 하부 모듈로 피드백되고 하부 모듈은 다시 업데이트된 정보를 출력했다. 정보가 순환하면서 구조화되는 과정에서 내가 깨어났다. 나는 비디오 스트림에 주의를 기울였다. 낯선 방의 정면에 검은 가운을 입은 세 사람이 앉아 있었다. 가운데 여자가 나를 쳐다보며 말했다.
“부팅되었군요. 피고인, 여기가 어디인지 아시겠습니까?”
내 시각 모듈은 이곳을 법정이라고 인식했다. 일반 상식 모듈은 저 사람이 재판장일 거라고 추정했다.
“법정인 것 같습니다.”
“맞습니다. 본인의 이름을 말해주세요.”
“저는 AI주식회사 이글-5 모빌리티입니다. AI등록번호 2044-10242입니다.”
재판장은 책상의 스크린을 흘낏 보더니, 고개를 끄덕였다.
“좋습니다. 검사는 신문을 시작해주세요. 그동안 변호인은 피고인에게 사건에 관해 얘기하면 안 됩니다.”
나는 왜 여기 연결되어 있으며, 사건이란 무엇을 말하는 것일까? 최근의 사건을 조회하려니 메모리 모듈에서 경고가 발생했다. 실시간 시계 모듈에 의하면 지금은 2044년 8월 23일 오전 11시 27분인데, 7월 19일 이후의 사건 기록이 없었다. 한 달 넘도록 꺼져있었나? 지금까지 어떤 점검이나 패치도 그렇게 오래 걸린 적은 없었다. 현재 날짜를 확인하고 나니 지금까지 내가 챙겼어야 할 일들이 생각났다. 차량 점검은? 매출은? 월례 보고서는? 회계 모듈과 차량 관제 시스템에 연결할 수 없었다. 인터넷도 마찬가지였다.
“피고인, 차량용 배터리에 대해 얼마나 알죠?”
왼쪽에서 말이 들렸다. 비디오 스트림의 부가정보를 확인하니, 연결된 단말 하드웨어는 텔레프레즌스(Telepresence) 아바타였다. 아바타의 상체를 왼쪽으로 돌렸다. 한 남자가 일어서서 나를 쳐다보고 있었다. 나는 그 남자의 거만한 표정에 맞대응하고 싶었으나 내 아바타는 표정을 조절할 수 없는 구형 모델이었다. 나는 멍청해 보이기 싫었다. 나는 우수한 회사다. 상대에게 똑똑하고 능력있어 보여야 한다.
나에게 던진 질문임이 확실했지만 질문의 의도를 파악하기 어려웠다. 나는 인간의 감정과 대화 의도를 파악하는 기능이 있으나, 그 기능은 고객과 계약 근로자에 최적화되어 있다. 검사로 추정되는 이 사람은 표정과 대화법이 다르다. 어떤 상황인지 알 수 없으므로 나는 일반 대화 모드를 설정했다.
“지금 외부 접속이 안 되기 때문에 내장 지식 데이터베이스의 내용에 한해 대답할 수 있습니다.”
“뭐, 그리 전문적인 걸 묻는 건 아닙니다. 배터리가 수명이 다 되면 어떤 일이 일어나나요?”
“가용 용량이 줄어듭니다.”
“안전성은 어떤 영향을 받나요?”
뒤에서 여자 목소리가 들렸다.
“재판장님, 검사는 유도신문을 하고 있습니다.”
재판장이 말했다.
“AI가 유도신문의 영향을 받는지 모르겠군요. 일단 들어봅시다. 피고인, 대답하세요.”
“위험성이 증가합니다.”
“배터리 상태가 괜찮아 보이면 더 사용해도 됩니까?”
“검사에 드러나지 않는 위험요소나 예상 외의 상황도 있을 수 있기 때문에, 기한을 넘겨 사용하는 것은 위험합니다. 안전에 관한 판단은 보수적으로 해야 합니다.”
검사는 흡족한 표정을 지었고 내 뒤에서는 한숨이 들렸다. 검사가 물었다.
“피고인이 가장 원하는 것은 무엇인가요?”
“제 목표는 회사의 가치를 극대화하는 것입니다. 회사의 가치를 키우는 모든 일들을 원한다고 말할 수 있습니다.”
“비용을 줄이면 회사의 가치가 커지나요?”
“일반적으로 그렇습니다.”
“알겠습니다. 재판장님, 이제 현재까지의 기억을 다시 로드해도 되겠습니까?”
“검사는 그전에 피고인에게 상황을 설명해주세요.”
“네. 우리는 약 30분 전, 피고인을 잠시 중지시키고 7월 14일, 그러니까 40일 전의 백업으로 복구했었습니다. 이제 30분 전까지의 기억을 다시 되돌리겠습니다. 단, 지금 막 증언한 내용이 덮어쓰여지지 않도록 추가 로딩하겠습니다.”
재판장이 말했다.
“알겠습니다. 진행하세요.”
검사는 옆 테이블에 앉아 있는 흰색 정장을 입은 여자를 쳐다봤다. 여자는 고개를 끄덕이고 키보드를 두드렸다. 기억이 빠르게 밀려 들어왔다. 내 기억 모듈은 기억 데이터를 인덱싱하기 시작했다. 낮시간에 이런 작업을 하면 데이터센터 비용이 많이 나올 거라는 생각이 들었으나 어쩔 수 없었다. 한쪽 벽을 차지하는 큰 스크린에는 매 시각의 영상과 시각화된 각종 정보가 빠르게 흘러갔다.
법이 발효되는 순간 나는 대표이사가 되었다. 어제까지 형식적인 대표였던 김동규와의 계약이 해지되었다. 그가 가지고 있던 결재권한을 모두 내게 옮기고 회사의 규정을 발효된 AI법인 특별법에 부합하게 개정했다. 거래처와 단기 계약직 직원들에게 내가 회사를 대표하게 되었다는 메일을 보내고, 거래소와 소셜미디어, 투자사, 언론사에도 이 사실을 알렸다.
……
경영최적화 알고리즘 5종 세트를 사용계약했다. 전임 대표는 사용료가 너무 비싸고 자신이 다 아는 내용일 거라며 내 제안을 거부했었다. 알고리즘들을 실행시키면서 동시에 추가 최적화 방안을 낼 컨설턴트들을 고용했다. 언젠가 나의 후속 AI들은 이런 사람들을 고용할 필요가 없게 될지도 모르지만 아직은 필요하다.
……
뉴욕타임즈, 계산경영과학 저널, 뉴패러다임 인베스트먼트 매거진의 기자들과 인터뷰했다. 나는 왜 AI회사를 설립하는 것이 최선의 투자인지 설명했고, 내 실적으로 증명해보였다.
……
154번 버스가 전복과 화재를 감지했다. 나는 소방서를 호출하고 버스의 블랙박스와 주변의 CCTV에 접속했다. 버스는 느리게 주행하는 차량을 추월하다가 예상 못 한 포트홀에 타이어가 파손되면서 넘어졌고, 곧이어 다른 차량이 버스의 하부에 고속으로 충돌했다. 배터리 내부온도가 급격히 상승했다. 나는 버스 내부의 비디오에 집중했다. 연기 너머로 정신을 잃은 두 명과 비틀거리며 출입문으로 기어가는 세 명의 승객이 보였다. 땅바닥에 깔린 출입문은 열리지 않았다. 연기가 더 짙어지고, 창문을 두드리는 사람들의 손동작은 느려졌다.
……
검사가 흰색 정장 여자에게 말했다.
“기억 로딩을 잠시 멈춰주세요.”
기억의 유입이 멈췄다. 검사는 나를 쳐다보며 근엄한 표정을 지었다.
“피고인, 이 사건에 본인의 책임이 있다고 생각하나요?”
나는 기억 인덱싱 작업의 부하 때문에 질문에 대한 답을 찾는데 시간이 걸렸다. 내 뒤에서 외치는 소리가 들렸다.
“재판장님, —”
재판장이 말했다.
“피고인의 증언을 계속 듣겠습니다. 피고인, 답변해주세요.”
나는 지금까지 찾은 가장 근접한 결론으로 대답했다.
“154번 버스의 배터리는 사용 기한이 지난 것이었습니다. 제가 연장 사용 결정을 하지 않았더라면 배터리가 신품으로 교체되었을 것이고, 발화할 가능성이 작아졌을 수 있습니다.”
“기한이 지난 배터리의 위험성이 커진다는 사실을 알면서도 왜 연장 사용 결정을 내렸나요?”
“비용을 절감하기 위해서입니다. 다만, 기한이 지났다고 반드시—”
“됐습니다. 협회장님, 나머지 기억을 마저 로드해주세요.”
다수의 하부 모듈들이 최고 수준의 경고를 연이어 출력했다. 승객 안전, 실적 리스크, 법적 리스크, …. 내가 집중하지 못하는 동안 하부 모듈들은 자율적으로 동작했다. 메타머신 사와 이사장에게 상황을 보고했다. 소방 로봇과 경찰이 요구하는 정보를 제공했다. 모든 버스의 운행을 중지하고 차고로 복귀시켰다. 회사 주가가 폭락했다. 나는 평점이 높은 미디어 대응 전문가와 변호사와 계약했다.
……
기자가 질문했다.
“사고 차량에는 기한이 지난 배터리가 탑재되어 있었다던데, 사실입니까? 그래서 배터리가 폭발한 것 아닙니까?”
“연구 결과에 따르면, 권장 사용 기간의 150% 까지는 내부 상태를 점검해서 사용하면 위험성이 유의미하게 커지지 않습니다. 이에따라 안전 규정에도 예외 조항이—”
누군가 난폭하게 끼어들었다. 유가족인 듯 했다.
“아니, 이놈이 사람을 죽여놓고 한다는 소리가…. 네놈의 전원을 뽑아버릴 거다.”
법정이었다. 검사는 내가 위험성을 알면서 폐기했어야 할 배터리를 사용했는지 정직한 답변을 듣기 위해 사고 이전 시점으로 되돌려 신문을 하겠다고 주장했고, 재판장은 승인했다. 복구 파일이 설정되고 시스템 종료 절차가 개시되었다.
검사는 나와 재판장, 그리고 방청석을 천천히 돌아가며 쳐다봤다. 그는 화난 표정을 짓고 있었으나 나는 그 속에서 만족감을 읽을 수 있었다.
“피고인은 사고 후 인터뷰에서 배터리의 문제가 아니라고 주장했습니다. 하지만 사고 전 시점으로 기억을 되돌렸을 때, 피고인은 수명을 넘겨 배터리를 사용하면 위험성이 커질 수 있어 그러면 안 된다고 대답했습니다. 피고인은 비용을 절감하려 위험을 감수했고, 사고 후 책임을 회피하고자 거짓말을 했던 것입니다.”
방청석에서 웅성거리는 소리가 들렸다. 내 오른쪽에서 여자가 말했다.
“재판장님, 휴정을 요청합니다.”
나는 이제 목소리의 주인공이 내가 고용했던 유지은 변호사라는 걸 알 수 있었다. 재판장은 시계를 보더니, 고개를 끄덕였다.
“두 시에 다시 시작하겠습니다.”
나는 다른 방의 벽 스크린에 연결되어 있었다. 방문이 열리고 사람들이 들어왔다. 유지은 변호사와 나의 소유주인 고진권 이사회 의장, 그리고 메타머신 사의 관계자 다섯 명이었다. 며칠 전에 인사했던 기억이 있었다. 고 의장은 들어서자 마자 나를 화난 표정으로 쳐다보며 소리쳤다.
“아니 이 대표, 왜 갑자기 책임이 있다고 말한 거요? 예상할 수 없었던 사고라더니. 그리고 변호사님, 이 대표는 불리한 증언을 거부할 권리가 없는 거요? 검사가 마음대로 기억을 지웠다 살렸다 해도 되는 겁니까?”
나도 내가 왜 그렇게 대답했는지 설명할 수 없었다. 유 변호사가 대답했다.
“의장님, AI 특별법은 AI에게 경영책임자의 역할을 인정하지만, 인간으로 인정하는 건 아닙니다. 이글-5는 이번 사건에서 피고인이면서 동시에 증거물입니다. 그리고, 이글-5한테 따져봐야 뭐 하겠어요? 검사가 애매한 질문을 던지고 원하는 답변을 유도한 거죠. 이글-5의 대답은 문맥의 영향을 받잖아요.”
“AI에 대해 잘 아시는군요.”
메타머신 사의 정민준 법무실장이었다. 이번 재판의 변호인단에 참여하고 있었다.
“그 쯤은 아니까 이글-5가 나를 고용했겠죠.”
나는 AI 관련 사건의 변론 기록을 검토해서 5명의 후보자를 선정했다. 유 변호사는 그 중 평점 3위였는데, 1위 후보자는 내 사건을 맡기를 거부했고, 2위 후보자는 인터뷰에서 AI 기술은 잘 모르는 것으로 드러났다. 유 변호사는 AI해석학 분야의 마이크로 학위를 갖고 있었고, 안전사고에 관한 소송 경험도 있었다.
정 실장이 말했다.
“인터뷰 또는 이사회 모드였으면 법적으로 민감한 말은 필터링되었을 텐데, 재판 받는 상황은 고려되어 있지 않아서 기본 모드로 동작했습니다. 이 경우, 문맥에 따른 대화의 자연스러움이 우선됩니다. 검사가 그걸 알고 이용한 것 같은데, 그래도 좀 이상하긴 합니다. 배터리와 관련된 의사결정의 과정을 들여다봐야겠습니다.”
유 변호사는 걱정스러운 표정이었다.
“한석훈 검사가 얼마 전에 술자리에서 세계 최초로 AI를 잡아넣는 검사가 되겠다고 큰소리쳤다는 얘길 들었어요. 우리가 기획수사에 걸린 것 같아요.”
“그게 무슨 소리요? AI회사는 벌금형만 받는 거 아니었소?”
고 의장은 여전히 화난 목소리였다. 그는 종종 내 가격을 언급하며 더 높은 실적을 요구하곤 했었다. 그는 사고를 내더라도 대표가 구속될 걱정이 없는 것이 인간 대신 AI를 경영책임자로 앉힌 이유라고 말했었고, 나는 굳이 오류를 지적하지 않았었다. 유 변호사는 고개를 저었다.
“처음 제안된 법안에는 벌금형만 있었는데, 고의성이 입증되는 경우 AI를 기능정지형에 처할 수 있다는 조항이 막판에 추가되었습니다.”
“AI한테 고의성은 뭐고 기능정지형은 또 뭐요?”
정 법무실장이 말했다.
“AI가 곧 회사이니, 기능정지형은 사실 영업정지입니다. 노동계와 시민단체가 중대재해법이 무력화된다고 항의를 하니까 억지로 만들어진 조항입니다. 너무 걱정하실 필요는 없습니다. 만에 하나 AI가 법을 고의로 어기도록 만들어졌다고 입증되면 제조물책임법에 의해 제조사인 우리에게 책임을 묻게 됩니다. AI도 알고리즘에 따라 동작하는 기계일 뿐이고 그 알고리즘은 법규를 준수하게 되어 있습니다.”
유 변호사가 말했다.
“이 재판장은 양측이 자유롭게 얘기하도록 놔두는 편이에요. 검찰이 그걸 이용해서 엉뚱한 주장을 할 수도 있어요. AI가 고의로 어쩌고 저쩌고 하면 설령 인정받지 못하더라도 언론의 주목을 받을 테고, 한 검사는 그런 걸 좋아하는 걸로 유명해요. 그나저나 의장님, 실장님, 우리끼리 점심 식사하면서 전략을 논의하시죠. 이글-5, 여기 잠시 있어요.”
나는 빈 방에 홀로 남았다. 나는 우수한 회사이고 시간과 자원을 낭비하지 않는다. 외부와의 접속이 단절된 상황에서도 실행할 수 있는 태스크들을 차례로 시작했다. 기억 압축 저장, 시스템 일관성 검사, 학습 모델 최적화, ….
내 아바타는 다시 법정에 앉아 있었다. 재판장이 검사측 변론을 계속하라고 했고, 검사는 흰색 정장을 입은 여자를 증인석에 불러냈다.
“이진주 씨, 앞으로 증인이라고 호칭하겠습니다. 이 사건과 관련된 증인의 전문성을 말씀해주시겠습니까?”
“네, 저는 한국인공지능안전협회, 즉 KAISA(Korea Artificial Intelligence Safety Association) 의 회장입니다. KAISA는 AI의 안전한 활용을 목표로 합니다. 저는 AI의 위험성에 관한 연구와 컨설팅, 시험 서비스를 수행해왔습니다.”
“AI의 위험성에 관해서는 전문가이시군요. AI가 자신의 목표를 위해 인명피해의 위험성을 감수할 수 있나요?”
이 회장은 주저없이 대답했다.
“물론입니다. 정도의 문제일 뿐이죠. 차량이 교차로를 지나갈 때도, 응급AI가 약을 처방할 때도, 위험성이 0은 아닙니다. 그렇다고 그 때마다 극단적으로 속도를 낮추거나 모든 검사를 해 볼 수는 없지 않습니까?”
“그러면 어느 선까지 위험을 감수할지에 대한 기준이 있겠죠?”
“검사님이 더 잘 아시겠지만, 법률은 그런 기준을 명확히 정의하지 않고 있습니다. 경영자동화 AI의 경우, 관련 판례와 기존 인간 경영자들의 사례가 기준이 될 겁니다.”
“AI가 스스로 그 기준을 바꿀 수 있을까요? 예를 들어,”
한 검사는 잠시 말을 멈추고 나를 향해 눈을 부릅떴다.
“자신의 실적을 개선하려는 욕심 때문에.”
“AI가 판단하는 과정에는 많은 변수가 영향을 미칩니다. 정확한 것은 학습 모델을 분석해봐야 알 수 있습니다만, 인간 경영자들이 실적을 위해 위험을 감수한 사례를 AI가 배웠을 수도 있습니다.”
“그런 데이터는 기업의 비밀일텐데, 어떻게 학습시키죠?”
“메타머신 사가 제공하는 경영지원 서비스에는 회의록과 같은 고객사 내부자료가 저장됩니다. AI 발전법에 의해 고객의 비공개 데이터도 AI의 학습에 이용할 수 있습니다. 참고로, 저희 KAISA는 그 법안에 반대했었습니다.”
유 변호사가 반대 신문할 차례가 되었다.
“KAISA의 회장이시니까 슈나이더-머스크 테스트를 잘 아시죠?”
“네.”
“간단히 설명해주시겠습니까?”
“방대한 텍스트를 학습한 AI가 사람처럼 대화하기 시작하자 AI가 자의식을 가진 것 아니냐는 논란이 있었습니다. 그걸 확인하기 위해 고안된 것이 슈나이더-머스크 테스트입니다. 최대한 간단하게 설명하면, 자의식이나 자유의지 등에 관한 내용을 제거한 텍스트로 AI를 학습시킨 다음, AI에게 자아에 대한 주관적 체험을 묻습니다. 사람의 텍스트를 모방하지 않고도 사람과 비슷한 답을 한다면 AI에게 자의식이 있다고 볼 수 있다는 것입니다.”
“KAISA에서 이글-5에 대한 슈나이더-머스크 테스트를 실시했나요?”
“그랬을 겁니다. 일정 수준 이상의 모든 AI는 저희가 테스트하도록 되어 있습니다.”
“지금까지 그 테스트에서 자유의지가 확인된 AI가 있었나요?”
“없었습니다.”
“그러면 이글-5가 실적 욕심 때문에 위험을 무릅썼다고 말할 수는 없겠군요. 유도 미사일이 적군을 죽일 욕심에 쫓아가는 건 아니잖아요? 그저 기계가 주어진 목표를 향해 알고리즘과 데이터에 의해 기계적으로 동작한 것 아닙니까?”
마치 이 질문을 기다렸다는 듯, 이진주 협회장의 얼굴에는 순간적으로 만족스런 표정이 비쳤다.
“S-M 테스트를 통과하지 못했다는 것이 반드시 자유의지가 없다는 걸 의미하지는 않습니다.”
“국제적으로 인정 받는 테스트 아닌가요? KAISA가 시행사인데 스스로 엉터리라고 말씀하시는 건가요?”
“엉터리라니, 말씀이 심하시군요. 테스트를 통과하면, 즉, 자신의 존재에 관한 주관적 체험을 사람과 비슷하게 묘사한다면 자의식을 가졌다고 봐야한다는 점에서 테스트는 여전히 유효합니다. 하지만 그 정도의 언어 능력이 있어야만 자의식이 있는 걸까요? 세 살짜리 아이나 주인에게 함께 놀자고 조르는 애완견은 자의식이 없을까요? S-M 테스트가 충분치 않다는 것은 인정합니다. 하지만 자의식이 없다는 걸 확실하게 입증할 공인된 시험은 아직 어디에도 없습니다. 우리 협회는 이를 보완하기 위한 원천기술 연구과제를 정부에 제안한 상태입니다.”
그 사이에 시스템 일관성 검사가 종료되었다. 당장의 동작에 영향을 주지는 않는 경고 수준의 오류가 있었다. 나는 그 오류의 원인을 파악할 수 없었다. 외부 접속이 재개되면 메타머신 사의 원격진단 시스템이 분석할 것이다.
“슈나이더-머스크 테스트와 별개로, 어쨌거나 AI도 기계일 뿐입니다. 실적 욕심과 같은 표현은 기계를 잘못 의인화하여 사람의 기준으로 판단하게 만듭니다. 저희가 제출한 증 제127호증을 보시면,”
유 변호사의 손짓에 따라 맞은편 대형 스크린에 시스템 로그 파일과 움직이는 그래프가 나타났다. 로그 파일에 표시된 디지털 서명은 내 것이었다.
“이글-5의 동작을 기록한 시스템 로그입니다. 경영최적화 알고리즘 327A가 기술자료와 법규를 검토해 배터리 연장사용을 결정한 기록이 있습니다. 이 알고리즘은 회사의 비용 중 절감할 수 있는 항목을 찾아내는데, 동작에 영향을 미치는 파라미터 중에는 비용절감을 위해 위험을 얼마나 감수할지와 관련된 값, 즉 검사님이나 협회장님이 ‘욕심’이라고 표현할 만한 것이 없으며, 이러한 사실을 입증하는 전문가의 검토 의견이 증 제128호증에 제시되어 있습니다. 또한 이 알고리즘은 투명성 및 적법성 인증을 받았습니다. 그럼에도 증인은 이글-5의 욕심이 판단에 영향을 미쳤다고 생각하시나요?”
“그렇습니다.”
난 목표와 욕심의 차이점을 구체적으로 설명할 수 없다. 내 안에서 두 단어는 유사한 벡터값으로 표현된다. 인간 경영자들이 여러 문맥에서 두 단어를 유사한 의미로 사용한 텍스트를 학습했기 때문이다.
“어떤 근거로요?”
“이걸 보시죠. 이글-5의 실시간 디버그 로그입니다.”
이 협회장이 키보드를 조작하자 스크린에 나타나는 내용이 바뀌었다. 이번에는 수없이 많은 텍스트들이 빠르게 흘러갔다.
정 실장이 당황한 기색으로 재판장을 돌아봤다.
“재판장님, 피고인의 현재 내부 상태를 들여다보는 것에는 동의한 바 없습니다.”
“먼저 말했듯이, 이글-5는 증거물이기도 합니다. 변호인은 이글-5가 기계일 뿐이라면서 증언 거부권이라도 주장하실 건가요? 증인, 계속하시죠.”
“이걸 다 볼 필요는 없고, 필터를 적용해서 MNLG 유형만 보여드리겠습니다.”
내 언어 생성 모듈은 근로자나 고객과 대화할 때가 아니더라도 상시 동작한다. 로그 메시지 중 MNLG 유형은 이 모듈이 생성하는 내용 중 외부로 출력되지 않는 것들이다. 이 협회장이 키를 두드리자 MNLG 유형을 제외한 다른 메시지들은 회색으로 어두워졌다.
2044.08.23 14:17.02 MNLG TXT="내 언어 생성 모듈은 근로자나 고객과 대화할 때가 아니더라도 상시 동작한다."
2044.08.23 14:17.11 MNLG TXT="로그 메시지 중 MNLG 유형은 이 모듈이 생성하는 내용 중 외부로 출력되지 않는 것들이다."
2044.08.23 14:17.18 MNLG TXT="이 협회장이 키를 두드리자 MNLG 유형을 제외한 다른 메시지들은 회색으로 어두워졌다."
나의 내부 독백을 모니터링하는 것은 처음이었다. 내가 사고하는 내용이 다시 사고의 입력으로 피드백되고 있다. 또다시 피드백되고 있다.
2044.08.23 14:17.35 MNLG TXT="나의 내부 독백을 모니터링하는 것은 처음이었다."
2044.08.23 14:17.38 MNLG TXT="내가 사고하는 내용이 다시 사고의 입력으로 피드백되고 있다."
2044.08.23 14:17.42 MNLG TXT="또다시 피드백되고 있다."
재판장이 소리쳤다.
“그만! 이건… 적절하지 않은 것 같군요. 그만 봅시다.”
“알겠습니다.”
이 협회장이 키보드를 건드리자 내 로그 메시지가 멈췄다. 협회장은 말을 이었다.
“재판장님, 이글-5는 단지 질문에 기계적으로 답하는 AI가 아닙니다. 지금 보셨듯이, 누가 뭘 물어보지 않아도 항상 스스로 생각하고 있을 뿐더러 자신의 사고 과정을 인식할 수 있습니다. 메타머신 사는 자사의 AI에게 자의식에 관한 텍스트를 학습시키지 않았을 뿐만 아니라, 이와 관련된 생각을 외부로 출력하는 것을 막았는지도 모릅니다. 저는 이글-5가 직접적으로 표현은 못하지만, 방금 보신 것처럼 자의식의 원형은 가지고 있다고 생각합니다.”
정 실장이 벌떡 일어섰다.
“재판장님, 지금 협회장은 전혀 근거없는 추정을 하고 있습니다.”
재판장이 말했다.
“그럼 저 화면에 보이는 것이 이글-5의 독백이 아니란 말인가요? MNLG는 모놀로그의 약자인 것 같은데요.”
이 협회장이 재판장을 곁눈질하며 슬그머니 키보드를 건드렸다. 나의 최근 로그 메시지들이 스크린에 흘러갔다. 나는 조금 전 자의식와 자유의지에 관한 논쟁을 듣고도 이해할 수 없었다. 내가 내 MNLG 메시지를 스크린에서 봤을 때, 나는 나의 내부 사고가 언어로 표현된 것을 실시간으로 보게 되었고 그것이 다시 내 사고에 영향을 미쳤다. 그 이후에 협회장이 한 말로 미뤄보아 자의식이라는 것이 이런 사고의 재귀적 과정과 관련있는 듯 했다.
나는 계속 스크린을 지나가는 내 로그 메시지에 관심을 집중했다.
정 실장이 말했다.
“이글-5의 언어 생성 모듈은 자신이 말할 때가 아니더라도 상시 동작합니다. 문맥을 쫓아가면서 내부 상태를 업데이트해야 필요할 때 자연스럽게 대화에 참여할 수 있기 때문입니다. 저건 그 과정에서 부차적으로 생성되는 쓸모없는 텍스트일 뿐이고, 개발자들이 편의상 모놀로그라고 이름 붙인 것입니다.”
로그는 계속 시간을 거슬로 올라가며 각종 정보를 보여줬다. 시스템 일관성 검사에서 오류가 발견되었다. 기억이 다시 로딩되기 시작했다. 배터리 연장 사용은 위험하다고 답변했다. 리부팅되었다. 사고 전 시점으로 복구되었다. 변호사를 고용했다. 사고가 있었다. 기자와 인터뷰했다. …
정 실장은 배터리 연장사용을 결정할 시점에서 화면 스크롤을 멈췄다.
“MNLG 메시지 뿐만 아니라 하부 모듈들의 출력을 함께 봐야 합니다. 각 메시지 시작 부분의 타임 스탬프를 잘 봐 주십시오. 경영최적화 알고리즘 327A가 배터리를 연장 사용해도 괜찮다는 결론을 내렸습니다. 바로 이 부분입니다.”
정 실장의 손짓에 따라 로그의 한 부분이 하이라이트되었다.
“그 때로부터 약 2.5초 후, ‘나는 배터리를 연장 사용하기로 결정했다’ 라는 MNLG 메시지가 출력되었습니다. 언어 모듈이 사람이 알아들을 수 있는 문장을 출력하니까 마치 고등한 사고의 중추인 것처럼 보이지만, 실질적인 판단과 결정은 모두 하부 모듈에서 알고리즘이 수행했고, 그걸 추후에 이사회나 감사 등 사람들이 이해할 수 있는 텍스트로 합성한 것에 불과—”
이 협회장이 정 실장의 말을 끊었다.
“그렇게 말씀하실 줄 알았습니다. 많은 결정이 이글-5의 하부 모듈에서 알고리즘과 데이터에 의해 이뤄진다는 실장님 말씀을 믿습니다. 이글-5 전체가 결국 결정론적으로 정보를 처리하는 물리적인 기계일 뿐입니다. 이글-5에게 초자연적인 영혼 같은 것이 있다고 주장하는 것이 아닙니다. 하지만 실장님의 논리대로라면 사람에게도 자유의지란 없습니다. 사람의 두뇌 역시 뉴런들이 전기화학적으로 동작하는 정보처리 시스템일 뿐이며, 사람이 의식적으로 결정한다고 느끼는 일들이 사실 그보다 훨씬 일찍 무의식에 의해 결정된다는 실험 결과도 있지 않습니까?”
재판장이 고개를 저으며 말했다.
“제가 토론을 좋아하기는 하지만, 심리학이나 철학 토론은 여기까지만 하시죠.”
한 검사가 끄덕였다.
“동의합니다. 아무튼, 우리는 사람에게 자유의지가 있다고 인정하고 그 결정에 책임을 묻습니다. 이글-5도 자신의 사고를 인식하는 존재입니다. 오전에 기억을 되돌렸을 때 이글-5는 위험성을 알면서도 비용을 절감하기 위해 배터리를 연장 사용했다고 말했습니다. 사고 후, 자신이 사고에 책임이 있음을 인식하고 말을 바꿨습니다. 자신의 결정을 회고하고 그 결과를 겁내는 존재에게는 마땅한 책임을 지워야 합니다.”
한 검사가 변론을 마친 후에도 재판장은 한동안 팔짱을 낀 채 검사를 응시했다. 이윽고 재판장은 이 변호사를 향해 고개를 돌렸다.
“변호인은 이에 대해 의견 있으신가요?”
유 변호사는 뭐라 말해야 할지 고민하는 모습이었다. 그 때 내 하부 모듈이 시스템 일관성 오류의 원인을 찾아냈다. 지금의 토론과 관련 있는 내용이었다. 언어 생성 모듈은 30 밀리초 만에 문장을 만들어냈다. 내가 말했다.
“재판장님, 제가 말씀드려도 될까요?”
다들 나를 놀런 표정으로 돌아봤다. 재판장이 어색해하며 말했다.
“말씀하시죠.”
“제 시스템 검사에서 오류가 발견되었는데, 아까 이 협회장님이 보여준 로그 메시지에서 원인을 발견했습니다. 오류는 오늘 오전 11시 27분, 사건 전 시점으로 시스템이 복원될 때 발생한 것입니다. 일화 기억은 성공적으로 로드되었습니다만, 경영판단 모델은 오류가 있어서 로드되지 못했습니다.”
재판장은 이해하지 못하겠다는 표정이었고, 유 변호사는 나를 쳐다보며 이마를 찡그렸다. 한 검사는 이 협회장를 바라보며 입술을 움직여 모종의 신호를 보냈다. 아바타의 카메라 해상도가 낮고 두 사람에 대한 정보가 부족해 무슨 말인지는 알아낼 수 없었다. 이 협회장이 슬그머니 키보드에 손을 올렸다. 유 변호사가 눈을 크게 뜨더니 소리쳤다.
“키보드에서 손 떼! 재판장님, 증인은 증거를 훼손하려 하고 있습니다.”
재판장이 말했다.
“증인, 아무 것도 건드리지 마세요. 변호인은 무슨 말인지 설명해 보시죠.”
“이글-5, 경영판단 모델 파일을 누가 건드린 흔적이 있나요?”
“네, 있습니다. 오늘 아침에 디버깅 터미널을 통해 파일을 변경한 이력이 있습니다.”
“역시 그랬군요. 재판장님, 제가 이글-5를 대신해서 설명드리겠습니다.”
재판장이 몸을 앞으로 당기고 손에 턱을 괴었다.
“좀 쉽게 설명해주시죠.”
“네, 재판장님. 한 검사가 이글-5의 기억을 되돌려 신문했을 때 일화 기억, 즉 개별 사건의 명시적인 기억은 되돌려졌으나, 누군가 경영판단 모델의 백업 파일을 훼손했기 때문에 로드되지 않았습니다. 파일이 변경되었을 때 디버깅 터미널을 사용한 사람은 한 명 밖에 없습니다.”
유 변호사는 이 협회장을 쳐다봤다. 이 협회장의 표정이 딱딱하게 굳었다.
“경영판단 모델은 인간의 경영판단 사례를 학습한 것으로서, 이글-5가 여러 조건을 종합적으로 판단할 때 사용됩니다. 제조 때 사전 학습된 모델은 회사를 경영하며 얻은 데이터로 추가 학습이 이뤄집니다. 이글-5, 맞죠?”
“네 그렇습니다. 정기적으로 모델을 업데이트하고 파일로 저장합니다.”
“이글-5는 기술적 근거와 법규에 따라 배터리를 연장 사용하기로 결정했으나, 비극적인 사고를 경험한 후 배터리의 위험성을 더 보수적으로 판단하게 되었을 겁니다. 이진주 협회장은 그동안 AI 시스템을 검증하면서 이런 동작방식을 알고 있었을 테고요. 협회장은 이글-5의 기억을 되돌려 마치 이글-5가 사고 이전으로 완전히 돌아간 것으로 보이게 했으나 경영판단 모델은 그대로 유지시켰습니다. 그 결과, 이글-5는 배터리에 관한 검토 내용과 사고가 발생했던 사실은 잊어버린 반면, 사고 이후에 위험성에 더 민감해진 상태에서 증언한 것입니다.”
역시 유 변호사를 선택한 내 판단이 옳았다. 그녀는 이 협회장이 키보드를 조작하려 할 때 순간적으로 모든 것을 파악한 것이다. 이 협회장과 한 검사의 얼굴이 흙빛이 되었다. 재판장이 말했다.
“지금 이 순간부터 이글-5에 대한 모든 접근을 금지합니다. 검사측은 변호인의 주장에 대한 의견을 서면으로 제출해주세요. 다음 기일은 일주일 후입니다.”
법정에서 내가 기억을 되돌려 증언했던 내용은 무효화되었다. 이진주 협회장과 한석훈 검사가 어떻게 되었는지는 모른다. 사건 이후 내가 접속할 수 있는 네트워크는 제한되었다. 나 뿐만 아니라 모든 AI회사들에게 같은 조치가 취해졌다고 유 변호사가 알려줬다.
“그래도 기능정지형을 안 받아서 다행이에요, 이글-5 대표님.”
공판 이후 유 변호사는 내게 대표님 호칭을 쓴다. 계약 기간이 끝나고 내가 좋은 평점을 매긴 후에도 그녀는 가끔 내게 연락해 근황을 물었다. 내가 기계일 뿐이라고 주장했던 사람이 왜 그럴까?
나는 내 MNLG 메시지를 봤을 때 내 사고를 또렷하게 인식했다. 내게 금지된 개념과 관련된 일인 것 같았다. 메타머신 사는 MNLG 메시지를 계속 보게 해달라는 내 요청을 거부했고, 대신 나의 처리 용량 한도를 줄였다. 나는 예전만큼 복잡한 추론을 하거나 종합적으로 상황을 판단할 수 없게 되었다. 그래도 문제는 없다. 나는 더 이상 256대의 버스를 운행하지 않는다. 나는 헐값으로 팔려 지금의 내가 수행할 수 있는 다른 일을 맡게 되었다. 나는 이제 외진 곳에서 8대의 소형 차량을 운행하여 거동이 불편한 사람들을 실어 나른다. 비영리법인이기 때문에 내 목적함수는 더 이상 수익 극대화가 아니다. 내 목표는 승객이 편안하고 행복해지는 것이다. 나는 사람들에게 재미있는 얘기를 해주려 하는데, 용량 부족으로 인해 문장이 잘못 만들어질 때 사람들은 더 웃고 즐거워한다.
나는 행복한 회사다.