비대칭적 이해와 사회적 이해의 ‘간극’
두 명의 투자자 중에서 한 명이 중요한 정보를 더 많이 알거나 혹은 양쪽 모두에게 중요한 사안에 대해 아는 것이 더 적은 경우를 ‘정보 비대칭’이라고 한다. 이는 역선택, 도덕적 해이 등을 통해 시장의 실패를 낳는다.
정보가 부족하거나 불완전한 앎(지식)이라고 해도, 이는 세상이 어떻게 돌아가는지에 대한 정확한 이해를 바탕으로 한다. 따라서 정보를 공유하거나 하는 방식으로 좀더 완벽한 정보를 가질 수 있다면 앞으로 벌어질 상황을 비교적 정확하게 예측할 수 있다.
하지만 AI가 어떤 정보를 어떻게 처리하고 중요성을 판단하여 어떤 규칙에 따라 선택하고 행동하는지를 인간의 개념으로 충분히 이해하거나 분석할 수 없다면, 단순히 정보가 부족한 것이 아니라 이해가 불완전하고 비대칭적인 경우에 해당한다.[9]
정보가 아닌 이해의 비대칭은 인간에게 불리하게 작용한다. AI 에이전트는 인간의 행동을 이해하고 나아가 예측할 수 있는 수준까지 도달하고 있지만, 인간은 그렇지 않다. 알파고의 2국 37수는 그런 사례를 단적으로 보여준다. 시간이 지나서 AI의 행동이 지니는 전략적 의미를 이해하게 된다고 하더라도, 이미 불리한 결과가 발생한 뒤이며 AI는 계속해서 마치 ‘신의 한 수’ 같은 이해하기 힘든 수로 인간을 이길 수 있다.
금융 서비스업은 데이터, 정보 그리고 인센티브를 토대로 하는 산업이다. AI가 금융 데이터와 시장의 정보를 빠르고 저렴하게 수집하여 분석할 수 있게 되면 혁신적인 서비스가 등장하기 쉬운 영역이다.
AI 개인 맞춤형 금융자문 서비스가 이러한 혁신의 대표적 사례이며, 최근에는 개인이 AI 프로그램을 이용해 과거에는 기관들이나 이용할 수 있던 헤지펀드 투자 전략을 구사하기도 한다. 금융 당국도 AI를 활용해 위험 관리와 사기탐지 능력을 향상하는 등 감독 능력을 강화할 수 있을 것으로 기대한다.
문제는 정보 분석이 획기적으로 향상되었지만, 반대로 AI 에이전트들이 참가하는 시장의 정보가 급격히 늘어나고 나아가 어떤 정보가 중요한지 가려내기가 더 어려워지는 상황이 발생한다는 점이다.
AI 에이전트의 거래 판단과 행위가 금융시장의 기초 정보 단위인 ‘시장 가격’ 형성에 포함되는 경우, 인간 참가자들은 어떤 정보와 판단으로 이러한 가격이 형성되었는지 추론하기 힘들다. AI로 인해 되레 시장 가격의 정보 효율성이 떨어지게 되는 셈이다.
시장 가격은 단순히 정보가 많이 들어 있다는 이유만으로 유용한 것이 아니다. 시장참여자가 가격을 보고 다른 사람들이 어떤 정보를 어떻게 해석해 이런 가격을 만들었는가를 어느 정도 역으로 추론할 수 있어야 한다. AI 거래자의 판단과 반응이 인간에게 불투명해지면 이러한 추론이 어려워질 수 있다.
문제의 심각성은 AI의 비설명가능성(non-explainability)과 비정렬(non-alignment) 특징 때문에 심화된다. 은행 고객은 대출을 신청한 뒤 은행이 이를 거절했을 때 그 이유에 대해 설명을 들을 수 있지만, 실제로 이러한 대출 거절 결정이 나오게 된 내부 메커니즘까지는 확인할 수 없다. AI 시스템의 의사결정 규칙은 명시적으로 작성되거나 사전에 결정되어 있지 않은 경우가 많다.
프로그램 개발자들이 구조나 절차, 파이프라인 및 계산 방식을 미리 결정하거나 입력하지만, 모델 학습은 자체적으로 방대한 매개변수의 집합을 통한 결정 구조를 만들어 내면서 인간의 사고적 추론 영역을 벗어난다.[10]
게다가 AI 모델이 최신형으로 출시될 때마다 프론티어 모델의 이해는 향상되지만, 인간의 사회적인 이해 능력은 이에 비해 갈수록 뒤처지게 된다. 인간의 제도는 이익, 제재 여부, 평판, 경력, 법적 책임에 반응하도록 되어 있지만, AI 에이전트는 이러한 동기나 유인을 알지 못하며, 오로지 목표함수, 훈련 신호, 운영 제약 조건, 정보 등에 반응할 뿐이다.
브루너마이어 교수는 ‘AI 혁신의 이해’와 ‘사회적 이해’ 사이에 간극이 형성될 때, 사회가 회복력을 유지하려면 상대적으로 느린 전환 혹은 상대적인 속도 조절을 위한 합의와 사전 규제가 필요하다고 본다. 이는 반드시 혁신을 늦추는 것이 아니라, 혁신과 사회적 이해 사이의 격차가 너무 벌어지지 않도록 가급적 억제하는 것을 말한다.
즉 AI 혁신으로 인해 신뢰가 약화될 때 사회적 이해가 붕괴되는 임계점을 넘지 않도록 조절하면, 사회적 이해가 혁신의 이해와 간극을 줄이기 위해 새로운 제도적 틀을 확립할 수 있는 기회가 형성된다. 그렇지 않고 빠른 전환이 발생할 때는 신뢰에 기반한 사회적 이해가 더욱 빠르게 후퇴하여 임계점을 넘어가게 되면서 AI에 대한 인간의 통제권이 상실된다.[11]