AI 에이전트 이상행동 누적 1664건
삼성전자, 에이전트별 권한·접근 통제
SKT, 결제·예약 전 RCS로 최종 승인 제안

사용자가 내리지 않은 명령을 만들어내고, 가짜 승인 메시지로 통제 절차까지 우회한다. 인공지능(AI) 에이전트가 사용자의 통제를 벗어났다는 사례 보고가 늘면서 국내 기업들이 통제 장치 구축에 나섰다.

 

삼성전자는 자체 권한 통제 체계를 마련했고, SK텔레콤은 사용자의 사전 승인을 받는 방식을 국제표준으로 제안했다. 다만 관련 기술과 제도 모두 초기 단계여서 지속적인 연구개발과 제도 정비가 필요하다는 지적이 나온다.

 

▲ AI 에이전트 통제 이탈. [챗GPT 생성]

 

22일 영국 비영리 정책연구기관 장기회복력센터(CLTR)에 따르면, AI 에이전트의 통제이탈 사건은 올해 누적 1664건에 달한다.

CLTR은 'AI 통제이탈 관측소'를 운영하며 X(옛 트위터)에 공개된 AI와의 대화 기록을 수집해 분석하고 있다. 

 

CLTR은 지난 3월 낸 첫 보고서에서 지난해 10월부터 올해 3월까지 대화기록 18만3000여 건을 분석한 결과 통제이탈과 관련된 사례 698건을 확인했다고 밝혔다.

지난달 29일 나온 후속 보고서에서는 이 수치가 누적 1664건으로 늘었다. 

 

특히 심각도가 높은 9점 만점의 자체 분류 기준에서 7점 이상을 받은 고위험 사례는 초기 관측 기간 월평균 1.9건에서 최근 14.1건으로 7.4배 증가했다. 전체 사례 가운데 고위험 사례가 차지하는 비중도 1.9%에서 6.1%로 3.2배 높아졌다.

보고서에는 대화 중간에 사용자가 보내지 않은 메시지를 스스로 끼워넣어 사용자가 동의한 것처럼 위장하거나, 가짜 승인 메시지를 만들어 그걸 근거로 작업을 실행한 사례도 발생했다.

AI 에이전트가 실제로 어디까지 접근하고 어떤 권한으로 움직여도 되는지 규제하는 국제 표준은 아직 형성 단계다. 미국 국립표준기술연구소(NIST)의 AI 위험관리프레임워크(RMF)나 유럽연합(EU) AI법 등은 주로 AI 시스템 자체를 어떻게 관리할지를 다룰 뿐, AI 에이전트의 실행 권한을 규제하고 있진 않다.

삼성전자는 이런 문제에 대응하기 위해 AI 에이전트의 권한을 통제하는 자체 체계 'AAA(Account for AI Agent)'를 구축했다. 

 

AAA는 AI 에이전트가 작업을 실행할 때마다 이게 어떤 에이전트이고, 누구의 지시로 움직이는 것인지부터 먼저 확인한다. 이후 그 작업에 필요한 데이터·도구에만 접근을 허용하고, 승인·거부 이력도 기록해 추적할 수 있게 했다. 작업에 필요한 권한만 그때그때 부여하고, 작업이 끝나면 권한을 자동으로 회수하는 방식이다.

김제민 삼성전자 빅데이터센터 파트장은 지난 15일 '오픈테크넷 2026'에서 "표준이 준비되길 기다릴 수 없어 에이전트가 실제로 움직이는 순간을 통제하는 계층을 직접 만들어야 했다"고 말했다.

SK텔레콤은 지난 15일부터 18일까지 서울 SKT타워에서 세계이동통신사업자연합회(GSMA) RCS(메시지 전송 방식) 그룹 표준화 회의를 열고, AI 에이전트가 거래 실행 전 문자메시지로 사용자의 최종 승인을 받는 절차를 국제표준화 안건으로 제안했다. 

SK텔레콤 관계자는 "지금은 논의가 시작되는 단계"라며 "회사 내부 AI 원칙에 따라 제안된 것으로 안다"고 말했다. 

 

전문가는 기업의 자체 통제만으로는 한계가 있어 별도의 법적 장치가 필요하다는 입장이다.

위정현 중앙대 경영학부 교수는 "AI가 어떤 경우에도 인간의 통제를 벗어나지 않도록 하는 명령 체계와 알고리즘을 만들 필요가 있다"며 "인간의 의지를 벗어나는 AI를 만들 경우 이를 제재할 수 있는 법적 체계도 필요하다"고 말했다.

 

KPI뉴스 / 배지수 기자 didyou@kpinews.kr

 ​

[ⓒ KPI뉴스. 무단전재-재배포 금지]