대규모 AI 모델 학습 최적화 방법

카카오가 자체 인공지능(AI)을 학습하는 데 드는 비용을 줄이고 모델을 경량화하는 기술을 공개했다.

카카오는 언어모델링 국제학회 'COLM 2026'에서 대규모 전문가 혼합(MoE) 모델의 학습 효율을 높이는 기술을 발표했다고 8일 밝혔다. 

 

▲ 카카오 영문 CI.

 

카카오는 메인 컨퍼런스와 토크나이제이션 워크숍 '톡숍'에서 연구 성과를 소개했다.

메인 컨퍼런스에서는 대규모 AI 모델을 본격적으로 학습하기 전에 전체 학습 비용의 약 1%만 들여 적절한 학습 설정값을 예측하는 방법을 발표했다.

카카오는 소규모 모델에서 찾은 최적의 학습 설정을 대규모 모델로 확장하는 '뮤-매개변수화(μ-Parameterization)' 기법을 적용했다. 

이 방법론은 카카오가 개발 중인 자체 AI 모델 '카나나'의 사전학습에도 실제 적용됐다. 해당 모델은 전체 파라미터 1550억 개 중 추론 과정에서 약 170억 개만 활성화되는 MoE 구조다. 카카오는 이번 연구를 적용해 10조 토큰 규모까지 안정적인 학습을 진행했다. 

카카오는 모델 크기를 줄이는 'BBT(BPE-Guided Byte Transformer)' 기술도 공개했다. 

카카오 관계자는 "이번 연구는 AI 모델의 성능을 유지하거나 높이면서 학습과 운영 비용을 낮출 수 있는 실용적인 방법을 제시했다는 데 의미가 있다"고 말했다.

 

KPI뉴스 / 배지수 기자 didyou@kpinews.kr

 

[ⓒ KPI뉴스. 무단전재-재배포 금지]