페이스북 리얼리티 랩스,‘코덱 아바타(Codec Avatars)’기술 공개

 

페이스북이 VR(가상현실) 세계에서 진짜 사람의 얼굴이나 표정을 실시간으로 재현할 수 있는 '코덱 아바타(Codec Avatars)' 기술을 공개했다.

페이스북 공식 블로그를 통해 공개된 아바타의 움직임은 너무나 자연스러워 인간이 가상세계에 사는 미래를 상상할 수 있다. 언뜻 보면 인간을 촬영한 모습 같지만, 페이스북 리얼리티 랩스(FRL, Facebook Reality Labs)가 머신러닝 기술로 만든 아바타다. FRL은 2018년 5월 오큘러스의 VR·AR 연구개발 조직 '오큘러스 리서치(Oculus Research)''가 '페이스북 리얼리티 랩스'로 사명을 바꿨다.

 

페이스북 리얼리티 랩스는 아바타를 만들기 위해, 먼저 132개 캐논 카메라 렌즈와 350개의 조명을 탑재한 머그시(Mugsy)'라는 장치가 의자에 앉아있는 대상을 캡처한 다음 '소시옵티콘(Sociopticon)'으로 알려진 더 큰 장치에서 움직임을 캡처한 다음 머신러닝 기법으로 제작했다. 머그시가 얼굴에 집중했다면, 소시옵티콘은 신체 움직임에 집중한다.

요점은 페이스북 리얼리티 랩스의 캡처 시스템은 초당 180기가 바이트(GB)의 데이터를 수집해 자체 개발 알고리즘으로 개인 아바타를 만든다. 모든 각도에서, 소리와 근육의 움직임에 따라 표정을 배울 수 있어, 더 많은 정보를 캡처할수록 '심층 모델'이 강해진다. 관련 논문은 2018년 8월 1일, 코넬대학 공개형 논문 초고 저장소 '아카이브(arXiv.org)'에 'Deep Appearance Models for Face Rendering'이라는 제목으로 게재됐다.

앞으로 페이스북 오큘러스 VR 헤드셋 사용자들은 자신의 아바타를 만들어 가상세계에서 보다 실감나고 현실적인 대화할 수 있을 것이다.

다음 동영상에는 실제로 VR 헤드셋을 이용해 가상세계에서 아바타가 서로 대화하는 모습을 볼 수 있다.

 

하지만 당분간 상용화가 어렵다. 피츠버그 FRL 수장 야세르 셰이크(Yaser Sheikh)는 "아직 기술을 공개할 예정은 없다"며, "빨라도 몇 년 후에나 공개될 것이다"고 말했다.

페이스북이 실제로 아바타를 적용까지는 2가지 과제를 풀어야 한다. 먼저 현재 구현하고 있는 실시간 아바타는 대규모의 장치에서 복잡한 제작 과정이 필요하다. 따라서 앞으로는 별도 장치 없이 HMD(Head Mounted Display) 자체에서 누구나 쉽게 구현해야 한다.

특히 코덱 아바타 프로젝트가 넘어야 하는 가장 큰 위협은 가상현실(VR)과 증강현실(AR) 플랫폼에서 '딥페이크(Deepfakes)'라고 불리는 특정 인물과 같은 외모와 목소리를 만드는 영상 편집 기술이 문제다. 현재도 '딥페이크' 기술은 성인 포르노 영상 등에서 악용되고 있다.

페이스북 리얼리티 랩스는 "안전한 구현을 위해서는 철저한 보안 및 본인확인 절차에서 눈과 목소리, 버릇 등 생태적 특징을 도입한 인증 방법을 연구할 필요가 있다. 이를 위해 앞으로 몇 년은 더 연구가 필요하다"고 강조했다.

KPI뉴스 / 김들풀 전문기자 itnews@kpinews.kr 

[ⓒ KPI뉴스. 무단전재-재배포 금지]