BC카드는 국내 금융사 최초로 초거대 언어모델(LLM) 18종을 글로벌 AI 플랫폼 '허깅페이스'에 공개했다고 9일 밝혔다.

이번에 공개된 모델은 고가의 GPU 없이도 활용 가능한 양자화 기반 LLM이다. BC카드는 '동적 양자화' 기술을 적용해 모델 성능과 효율을 동시에 확보했다. 동적 양자화는 AI 모델의 수치를 압축해 배포하고, 실제 활용 시 복원하는 방식으로 연산 속도를 높이면서도 정확도 저하를 막는다.
 

▲ BC카드 본사 전경. [BC카드 제공]

 

기존 양자화 기술은 일부 수치만 보존해 정확도 손실 우려가 있었지만, BC카드는 수치 손실 없는 '손실률 0%' 양자화를 구현했다. 이에 따라 GPU 사용량은 줄고 처리 속도는 향상됐으며, 결과물의 품질도 유지할 수 있게 됐다.

BC카드에 따르면, 글로벌 기업의 고성능 GPU에서 해당 모델을 실행한 결과, 연산 속도는 최대 3.5배 빨라졌다. 기존에 4000만 원 이상 고가 GPU에서만 가능했던 320억 개 파라미터 모델도 300만 원대 장비에서 구동이 가능해졌다.

이번 기술 공개는 고가 장비에 대한 부담으로 초거대 AI 활용에 어려움을 겪던 중소기업과 스타트업, 소상공인에게도 새로운 기회를 제공할 수 있을 것으로 기대된다.

BC카드는 해당 기술을 자사 서비스에도 적용 중이다. AI 에이전트 '모아이'를 통해 △내부 지식 검색 △가맹점 심사 자동화 △고객 민원 분류 등 업무 효율을 높이고 있다. 또 '페이북 AI핫딜', '리빙+' 등 개인 맞춤형 AI 서비스를 통해 결제 기능을 넘어 생활 전반으로 AI 활용을 확대하고 있다.

연내에는 AI 기반 가맹점 추천, 마케팅 캠페인 기획 등 소상공인을 위한 지원 서비스도 출시할 예정이다. 초보 사용자도 손쉽게 쓸 수 있도록 MCP 기반 인터페이스도 함께 선보인다.

BC카드 관계자는 "고성능 장비 없이도 AI를 활용할 수 있는 기반을 마련했다"며 "AI 기술을 누구나 쉽게 활용하도록 지속적인 서비스를 확대할 것이다"고 전했다.

 

KPI뉴스 / 하유진 기자 bbibbi@kpinews.kr

 

[ⓒ KPI뉴스. 무단전재-재배포 금지]