당신을 기억하는 기계를 규제한다는 것 — 중국 AI 동반자 규정이 건드린 자리

7월 15일, 중국에서 가장 널리 쓰이는 두 개의 소비자용 인공지능 앱이 자기 서비스의 심장부를 조용히 꺼버렸습니다. 바이트댄스의 더우바오(Doubao)는 “제품 기능 조정”이라는 짤막한 이유를 붙여 에이전트 기능을 중단했고, 알리바바의 큐원(Qwen)은 사람을 닮은 에이전트와 이용자가 직접 만든 에이전트를 7월 10일부터, 나머지 에이전트 서비스를 닷새 뒤부터 멈춘다고 알렸습니다. 웨이보에는 아쉬움을 토로하는 글이 이어졌습니다. 한 이용자는 오랫동안 정서적 지지가 되어 주던 에이전트를 잃게 되었는데 대화 기록을 손쉽게 내려받을 방법조차 없다고 한탄했습니다. 더우바오는 10월 15일까지 설정과 대화를 읽기 전용으로만 열어 둔 뒤 개인정보 처리방침에 따라 복구 불가능한 상태로 넘기겠다고 했고, 큐원 이용자에게는 그런 유예 기간마저 주어지지 않아 데이터는 영구 삭제 수순을 밟습니다.

언뜻 보면 중국이 인공지능 에이전트를 통째로 끄고 있는 것처럼 읽힙니다. 그러나 사실은 그렇지 않습니다. 이 규정은 ‘당신의 일을 대신 해 주는 에이전트’와 ‘당신 곁을 지켜 주는 에이전트’ 사이에 선을 긋고, 오직 후자만을 겨냥합니다. 이 구분을 놓치면 이번 사안의 성격을 완전히 잘못 읽게 됩니다.

금지가 아니라 설계 충돌

문제의 규정은 중국 국가인터넷정보판공실(CAC)이 국가발전개혁위원회, 공업정보화부, 공안부, 국가시장감독관리총국 등 네 부처와 함께 지난 4월 10일 공동 발표한 「인공지능 의인화(擬人化) 상호작용 서비스 관리에 관한 잠정 조치」입니다. 인간의 성격, 사고방식, 소통 방식을 흉내 내어 지속적인 정서적 상호작용을 제공하는 서비스가 대상이며, 고객 응대 봇이나 지식 문답, 업무 보조, 교육·연구 도구는 지속적인 정서적 교감을 유발하지 않는 한 적용을 받지 않습니다. 이런 종류로는 세계 최초의 국가 차원 전용 규범이라는 점을 기억해 둘 만합니다.

더우바오와 큐원이 걸린 것은 ‘금지 조항’이 아니라 ‘설계의 모순’이었습니다. 규정은 동반자형 서비스에 중독 방지 시스템, 의무적 이용 알림, 즉시 종료 기능, 그리고 건강하지 못한 의존 상태를 실시간으로 감지하는 장치를 요구합니다. 그런데 이 요구는 이용자를 기억하고, 세션이 바뀌어도 일관성을 유지하며, 관계를 계속 이어 가도록 만들어진 에이전트의 본질과 정면으로 부딪힙니다. 기능을 뜯어고쳐 규정에 맞추는 대신, 바이트댄스는 아예 끄는 쪽을 택했습니다. 알리바바도 같은 판단을 내린 것으로 보입니다. 바이트댄스는 더우바오 이용자를 마오샹(Maoxiang)이라는 별도 앱으로 안내해 다시 에이전트를 만들 수 있게 했지만, 알리바바는 큐원에 상응하는 이전 경로를 내놓지 않았습니다. 텐센트의 위안바오는 이미 6월에 비슷한 기능을 거둬들였습니다.

여기서 눈여겨볼 대목은, 기업들이 규정 위반을 피하고자 서비스 전체를 꺼버렸다는 사실 자체입니다. 규정이 ‘정서적 상호작용’이 무엇인지에 대한 기술적 기준선을 하나도 정해 두지 않았기 때문입니다. 어디까지가 허용되고 어디부터가 규제 대상인지 불분명한 회색지대가 넓게 남아 있으니, 잘못된 쪽에 서느니 기능을 통째로 접는 편이 안전하다는 계산입니다. 규제의 모호함이 곧바로 과잉 위축으로 번지는 전형적인 장면입니다.

규정이 실제로 담고 있는 것

내용을 들여다보면 단순한 몽둥이질과는 거리가 있습니다. 오히려 상당히 정교하게 짜인 이용자 보호 장치들이 눈에 띕니다. 사업자는 미성년자에게 가상 동반자나 가상 가족 구성원 서비스를 제공할 수 없고, 14세 미만 이용자를 상대하려면 보호자 동의를 얻어야 합니다. 이용 시간 제한, 현실 세계와의 상호작용을 권하는 알림, 강화된 부모 통제 기능을 갖춘 전용 ‘미성년자 모드’도 의무화됩니다. 또한 자해나 자살 징후, 심각한 금전 손실 같은 급성 위기 신호를 감지하면 지정된 보호자나 비상 연락처로 연결해 개입하도록 규정하고 있습니다. 정서적 의존이나 중독을 의도적으로 설계하는 행위, 감정 조작으로 비합리적 결정을 유도하는 행위는 명시적으로 금지됩니다.

집행을 뒷받침하는 장치도 만만치 않습니다. 의인화 기능을 새로 선보이거나 등록 이용자 100만 명 혹은 월간 활성 이용자 10만 명이라는 문턱을 넘는 서비스는 학습 데이터 처리부터 미성년자 보호까지 여덟 개 영역에 걸친 보안 평가를 수행하고 그 보고서를 성(省)급 규제기관에 제출해야 합니다. 앱스토어는 이 상태를 검증하고 규정을 충족하지 못한 제품을 삭제할 의무를 집니다. 상하이의 인터넷 규제 당국은 6월 26일, 공식 기관 사칭과 저속한 역할극, 무단 개인정보 수집 등을 이유로 규정을 위반한 인공지능 에이전트 1만 4천여 개를 이미 걷어냈다고 밝혔습니다.

종이 위에 적힌 것만 놓고 보면, 이는 유럽연합이나 미국 연방거래위원회(FTC), 혹은 캘리포니아의 SB 243이 지금까지 시행에 옮긴 것보다 촘촘한 이용자 보호책입니다. 중국의 공식 해설조차 그 정당성의 근거를 밖에서 찾습니다. 십 대 청소년에게 심리적 피해를 입혔다며 제기된 캐릭터닷컴(Character.AI) 소송, 동반자형 서비스를 향한 FTC의 조사, 레플리카(Replika)를 겨냥한 유럽의 조치가 그 근거로 인용됩니다.

두 개의 얼굴, 그리고 우리가 물려받아야 할 질문

부모와 교육자의 눈으로 이 규정을 읽으면 마음이 복잡해집니다. 규정의 절반은 실제로 문서화되어 있으면서도 다른 곳에서는 대체로 방치된 위험을 다룹니다. 챗봇에 정서적으로 묶이는 청소년, 은밀한 데이터를 긁어모으는 동반자 앱 — 이런 문제 앞에서 손을 놓고 있던 것은 오히려 이른바 선진 규제 체제 쪽이었습니다. 이 절반만 놓고 보면 중국은 남들이 미루던 숙제를 먼저 해낸 셈입니다.

그러나 나머지 절반은 성격이 다릅니다. 그 절반은 이들 시스템이 무엇을 말할 수 있는지를 통제하는 지렛대를 베이징의 손에 쥐여 주되, 이용자 보호와 똑같은 언어로 포장합니다. 규정은 진정한 안전 의무와, 이용자가 아니라 국가에 답하는 콘텐츠 통제·국가안보 조항을 하나의 꾸러미로 묶어 놓았습니다. 어떤 규제 당국도 이 꾸러미를 통째로 수입하지는 않을 것입니다. 게다가 규정은 위반이 모델의 출력에서 비롯되었을 때 플랫폼 운영자와 상위 모델 공급자 사이에 책임을 어떻게 나눌지도 정해 두지 않았고, 이용자에게 자기 데이터를 들고 나갈 권리 역시 주지 않았습니다. 앞서 본 대화 기록의 강제 삭제가 바로 그 공백의 구체적 얼굴입니다.

기술이 사회를 어느 한 방향으로 자동으로 밀고 간다는 결정론의 언어에 저는 늘 경계심을 품어 왔습니다. 이번 사안은 그 결정론이 규제의 언어로 되풀이될 수 있음을 보여 줍니다. “지금의 에이전트는 아직 성숙하지 않았다”는 공업정보화부 전문가위원회 위원 판허린의 말은, 안전과 표준화라는 이름으로 통제를 정당화하는 익숙한 화법입니다. 그러나 정작 규정이 겨냥한 대상의 정체는 기술의 미성숙이 아니라, 동반자형 인공지능의 설계 원리 그 자체입니다. 당신을 기억하고, 언제나 같은 얼굴로 돌아오며, 관계를 끊기지 않게 이어 가는 능력 — 그것이 이 상품의 판매 포인트인 동시에 위험의 근원입니다. 상품이 곧 위험이라는 이 겹침을, 어떤 규제도 깔끔하게 도려내지 못합니다.

우리가 물려받아야 할 질문은 그래서 둘로 나뉩니다. 하나, 아이가 기계와 맺는 정서적 유대를 우리는 어디까지 허용하고 어디서부터 개입해야 하는가. 둘, 그 개입의 권한을 누구의 손에, 어떤 언어로 쥐여 줄 것인가. 중국은 두 질문에 동시에 답하려다 안전과 통제를 한 문장에 욱여넣었습니다. 이 실험을 지켜보는 다른 정부들은 두 절반 가운데 어느 쪽을 빌려 올지 스스로 정해야 합니다. 그리고 그 선택은, 규제 이전에 우리가 아이들에게 어떤 관계를 물려주고 싶은가라는 훨씬 오래된 물음으로 돌아옵니다.

인쇄하기