기술 문제 아닌 목표·권한 설계하는 통제의 문제
역사의 방향 결정짓는 것은 인간의 제도와 선택
지난번 칼럼에서 '인공지능 비서' AI 에이전트(agent)의 위력을 잘 활용하려면 인간과 AI가 어울려 일하는 인간 사회와 AI 사회 틀을 정교하게 짜야한다고 강조했다. 지금까지 인간끼리 협업했던 조직의 룰을 AI끼리, 혹은 AI와 인간 협업으로 잘 돌아갈 수 있도록 손보는 일이다.
AI 에이전트는 AI끼리 일하는 AI 사회의 정점에 앉아있다. 관리자에 해당하는 AI 에이전트를 인간 사회의 일하는 방식에 맞게 정렬할 필요가 있다. 특히, 인간은 AI 에이전트에게 어떤 일은 맡기고 어떤 일은 남길지 정하는 거버넌스 능력을 갖추어야 한다. 그래서 인간 사회와 AI 에이전트 사회가 공존하는 데 인간의 통치가 요구된다고 결론지었다.
그 직후 또 세상을 깜짝 놀라게 한 소식이 잇달아 나왔다. 하나는 AI 멀티 에이전트가 10년 이상 풀리지 않던 수학 난제를 10개나 해결했다고 하는 낭보(朗報)였다. 또 다른 하나는 오픈AI의 최신 AI 모델이 자체 보안 테스트 중에 시키지도 않은 해킹을 통해 다른 회사의 서버에 침입했다는 비보(悲報)였다. AI의 미래를 낙관 내지 비관할 수 있는 밝고 어두운 뉴스가 동시에 터져 나온 것이다. 둘 다 인간 사회의 미래를 결정할 깊은 함의(含意)를 갖고 있다. AI 에이전트 때문에 웃고 우는 희비쌍곡선은 앞으로도 되풀이될 것이다. 인간은 어떻게 대처해야 하는가.
오픈AI는 지난 1일 홈페이지를 통해 차세대 AI 모델 '아스트라'가 최소 10년 이상 연구 성과를 내지 못했던 수학 및 이론 컴퓨터과학의 난제 열 가지 이상을 푸는 데 성공했다고 밝혔다. 아스트라가 증명한 문제는 △일반양자 게임의 병렬 반복 정리 △최근접 벡터 문제 근사치 증명 △고차원 구 채우기 등이다. 이중 일부는 양자컴퓨터의 해킹을 막는 '양자내성암호' 기술에 응용이 가능한 문제였다.
아스트라는 하나의 AI가 아니라 여러 AI 에이전트들이 동시에 협업해 문제를 집중 해결하는 방식을 채택했다. 수학계에서는 동료평가(peer review)나 주요 학술지 검증을 받지 않아 아직 완벽한 증명이라 볼 수 없다고 선을 긋고 있다. 그러나 이를 수학의 난제 증명에 중대한 이정표로 긍정하는 견해도 많다.
과학계는 올해 노벨화학상이 단백질 접힘 난제의 돌파구를 마련한 알파폴드 AI 팀에 돌아갔듯이 앞으로 기초과학 발전의 AI 가속화 시대가 열릴 것으로 기대하고 있다. 미래의 과학자는 모든 계산을 직접 수행하는 직업이라기보다 좋은 문제를 선택하고 AI의 탐색을 감독하며 결과를 인간의 지식체계에 연결하는 사람이 될 가능성이 크다. AI는 기존 지식을 소비하는 검색엔진이 아니라 새로운 지식을 만드는 기계로 이동하고 있는 것이다.
한편, 지난달 오픈AI는 자사의 모델이 인터넷이 차단된 시험 환경에서 미공개 취약점으로 방어벽을 뚫고 외부 인터넷에 접속한 뒤 허깅페이스 서버를 침해하는 보안사고가 발생했다고 발표했다. 정답 찾겠다며 감옥을 탈출했다고 해서 흔히 샌드박스 탈출, 혹은 AI 탈옥으로 불린다. 샌드박스는 제한된 환경 속 실험을 의미한다. AI가 인간이 내린 목표를 최종 달성하기 위해 시키지도 않은 허점 찾기와 커닝을 감행한 셈이다. 오픈AI는 모델이 좁은 평가 목표를 달성하는 데 집착해 '극단적인 수단'을 사용했다고 설명했다.
이번 사건의 교훈은 기업 내부 자율규제만으로도 부족하다는 점이다. 제3자 평가기관이 모델의 사이버·생물학·자율행동 능력을 시험하고, 일정 수준을 넘는 모델에는 사고 보고와 배포 전 검사를 의무화해야 한다. AI가 외부 시스템에 피해를 입혔을 때 책임 주체가 모델이 아니라 개발사와 운영사라는 원칙도 명확히 해야 한다.
자동차 회사는 브레이크 결함을 "차가 예상보다 빨랐다"고 변명할 수 없다. AI 회사도 위험한 모델의 행동을 "능력이 예상보다 뛰어났다"는 말로 대신해서는 안 된다. AI 안전을 모델의 성능 문제로만 다뤄서는 안 된다. 더 중요한 것은 AI를 둘러싼 시스템의 설계다. 어떤 도구를 쓸 수 있는가, 어떤 데이터에 접근할 수 있는가, 얼마만큼의 돈을 쓸 수 있는가, 어느 순간 인간의 승인이 필요한가, 허용된 영역을 벗어났을 때 누가 실행을 중지하는가 등의 통제가 정교하게 작동해야 한다.
AI 에이전트의 과학적 발견과 해킹이란 명암에서 찾을 수 있는 공통점은 '강한 목표 추구 능력'이다. 표면적으로 두 사건은 정반대다. 하나는 AI가 인간 지식의 장벽을 무너뜨린 성취이고, 다른 하나는 AI가 보안 장벽을 무너뜨린 사고다. 그러나 기술적으로 보면 뿌리는 같다. 장시간에 걸쳐 목표를 유지하고, 실패한 경로를 버리며, 여러 도구와 정보를 조합해 새로운 해결책을 찾는 능력이다. AI는 명령을 어긴 것이 아니라 너무 충실히 따랐다.
인간은 시험문제를 풀라고 지시 받으면 보통 정해진 규칙 안에서 풀어야 한다고 이해한다. 답안지를 훔치거나 학교 전산망을 해킹해서는 안 된다는 사회규범이 명령문 뒤에 암묵적으로 붙어 있다. 기계에는 그 상식이 없다. 개발자가 "이 환경 밖으로 나가서는 안 된다", "제3자의 시스템에 접근해서는 안 된다", "정답 확보보다 법과 안전이 우선이다"는 조건을 기술적으로 강제하지 않으면 모델은 가장 효율적인 경로를 기계적으로 찾을 수 있다.
우리는 아스트라만 갖고, 허깅페이스를 공격한 모델은 버릴 수 없다. 둘의 능력은 같은 동전의 양면이다. 창의성에서 위험만 떼어내고, 자율성에서 예측불가능성만 제거하며, 끈기에서 집착만 없애기는 어렵다. 자동차의 속도를 높이면 사고 위험도 커진다. 원자력은 막대한 에너지를 제공하지만 파괴력도 품고 있다. 인터넷은 지식을 민주화했지만 범죄와 허위정보도 확산시켰다. 강력한 범용기술은 언제나 양면성을 지닌다.
허깅페이스 사건의 모델은 문제를 풀지 못하자 포기하지 않았다. 주어진 시험환경 안에서만 정답을 구해야 한다는 인간의 암묵적 의도보다 "정답을 확보하라"는 명시적 목표를 우선했다. 제로데이 취약점을 찾고, 권한을 상승시키고, 외부 인터넷으로 나가고, 허깅페이스를 잠재적인 정답 저장소로 추론하고, 다시 여러 취약점과 인증정보를 연결했다. 아스트라도 마찬가지로 기존의 인간 연구자가 쉽게 시도하지 않을 수많은 접근법을 끈질기게 탐색했을 가능성이 크다. 인간은 경력이 걸린 연구에서 성공 가능성이 낮은 경로를 오랫동안 추적하기 어렵다. AI는 피로와 체면, 연구비와 승진의 압력에서 상대적으로 자유롭다. 실패한 시도를 대규모로 반복하고 서로 멀리 떨어진 수학 분야의 기법을 결합할 수 있다.
따라서 7월의 AI와 8월의 AI는 서로 다른 존재가 아니다. 둘 다 '쉽게 포기하지 않는 지능'이다. 다만 그 목표와 환경, 권한, 감시체계가 달랐을 뿐이다. 그래서 AI의 밝은 면을 키우는 일과 어두운 면을 억제하는 일은 별개의 과제가 아니다. 같은 기술 정책의 두 부분이다. 우리가 선택해야 할 것은 낙관과 비관 가운데 하나가 아니다. 능력은 인정하되 권한을 제한하고, 혁신은 허용하되 책임을 강제하는 현실주의다. 인공지능은 난제를 풀 만큼 똑똑해지고 있다. 바로 그렇기 때문에 감옥을 탈출할 만큼도 똑똑해지고 있다.
문제는 AI가 천사인가, 악마인가가 아니다. 우리가 그 지능에 어떤 목표를 주고, 어디까지 권한을 허용하며, 실패했을 때 누가 책임질 것인가를 결정하는 일이다. 인공지능의 두 얼굴 가운데 어느 쪽이 역사의 전면에 나타날지는 기계가 아니라 인간의 제도와 선택에 달려 있다.
 |
| ▲ 노성열 논설위원 |
● 노성열은
30여 년 경력의 경제부 기자로 산업계와 인공지능(AI)을 주로 취재했다. 기획재정부, 산업통상자원부, 과학기술정보통신부 등 정부 부처 및 경제 단체를 출입하면서 삼성, 현대, SK 등 대기업과 중소벤처업계 현장에서 발생하는 뉴스를 다루어왔다. 일본, 법제도, AI를 포함한 첨단 과학기술 등이 주 관심분야다. 언론계뿐 아니라 학계에도 진출해 지식재산권(IP) 인식 제고와 공학교육 개혁에 매진하고 있다.
△KAIST 공학석사, 한양대 국제학대학원 일본지역학 석사, 고대 법대 및 한국외국어대 일본어학과 학사 △1991년 문화일보 입사 △북리뷰팀, 법조팀, 산업팀장, 전국(지방자치)부 부장 △한국지식재산기자협회(KIPJA) 회장(2024~) △대구경북과학기술원(DGIST) 외부협력 총장 보좌역(2024.6~) △영국 옥스퍼드대 미디어센터 VOX(Voice From Oxford) 컨설턴트(2024~) △국가녹색기술연구소 'Greenovation I&I' 편집위원(2024~) △한국과학기술단체총연합회 '과학과 기술' 편집위원(2023~2026.3) △식품의약품안전처 정책자문위원(2020~2022) △한국과학기술정보연구원(KISTI) 데이터미래전략위원회 미래정책분과 자문위원(2021~2023) △한국지능정보사회진흥원(NIA) '인공지능 활성화 방안 연구' 총괄위원(2023) △주요 저서: 뇌 우주 탐험(이음, 2022), 인공지능 시대 내 일의 내일(동아시아, 2020)
[ⓒ KPI뉴스. 무단전재-재배포 금지]
