[차원용 소장의 '애플 AI칩'분석] 애플의 3D UI/UX의 AR/VR
이새잎
| 2018-07-28 12:07:47
[편집자주] 구글(Google)이 알파고(AlphaGo)라는 인공지능(AI) 컴퓨터 프로그램 덕분에 AI 기술의 선두주자로 알려져 있지만, 구글의 단점은 클라우드 베이스의 AI이다(이를 Edge->Cloud AI라 함). 반면 애플(Apple)은 온디바이스(on-device)의 AI 제품을 개발하고 실제 제품에 적용하고 있다는 점에서 구글을 능가하고 있다. 왜냐하면 이제 블록체인 개념의 Cloud->Edge가 도래하고 있기 때문이다.
2017년에 애플이 자체 개발하고 디자인한 ‘Neural Engine + 최초로 애플이 디자인한 GPU(그 전까지는 Imagination Technologies가 디자인) + M11 + Face ID + Touch ID를 지원하는 네 개의 에너지효율 요소’를 통합한 A11 Bionic Chip을 iPhone X에 탑재해 런칭했다. (1) 많은 기업들이 AI칩에 도전하고 있지만 이는 업계 최초로 애플이 AI칩 분야의 선두주자임을 증명한 것이다. (2) 그 결과 애플은 어느 날인가 퀄컴(Qualcomm)과 인텔(Intel)과 삼성(Samsung)을 위협할 수도 있을 것이다.
애플은 HAS(Hardware + AI + Software)라는 개념의 독자적으로 디자인하고 통합된 하드웨어와 독자적인 뉴럴엔진의 A11 Bionic Chip과 독자적인 OS 플랫폼을 구축한 유일한 기업이다. 따라서 현재 TrueDepth 카메라와 Dot Projector 기반으로 서비스하고 있는 Face ID와 Animoji를 뛰어넘어 향후 Cloud<->Edge를 선도할 수 있을 것으로 전망된다.
애플과 애플이 인수한 프라임센스의 특허를 분석한 결과, 앞으로 3년 이내 애플은 뉴럴엔진·AI Chip 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 (1) 3D Animoji를 2018년에 나만의 Memoji로 업데이트하고 최종 3D 아바타/모델로 업그레이드하여 출시할 것으로 예측되고, (2) 다양한 콘텐츠와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시 될 것으로 예측되며, (3) Mac OS/iOS가 3D GUI의 OS/App/Safari로 업그레이드 될 것으로 예측된다.
[글 싣는 순서]
1. 뉴럴엔진의 인공지능 칩(A11 Bionic Chip)
1-1. 배경(Background) – Edge<->Cloud를 위한 AI Chip 개발이 필요
1-2. 애플(Apple)의 뉴럴엔진/네트워크와 A11 Bionic Chip
1-2-1. 애플과 애플이 인수한 프라임센스의 특허분석
1-2-1-1. Face ID와 뉴럴 네트워크
1-2-1-2. 트루뎁스(TrueDepth) 적외선 카메라
1-2-1-3. 3차원 맵을 위한 도트 프로젝터(Dot Projector)
1-2-2. 2017년 9월 WWDC에서 공개된 A11 Bionic Neural Engine
1-2-3. 유럽특허청에 등록한 상표 – 뉴럴엔진(Neural Engine)
1-2-4. 애플의 아이폰 8/8 플러스/X에 탑재된 A11 Bionic Chip
1-2-5. A11 Bionic Chip이 탄생하기 전까지의 여정
1-3. 인사이트 종합
2. 특허분석으로 예측하는 3년 내 애플이 출시할 제품과 서비스
2-1. 애플의 3D 아바타/모델
2-2. 애플의 3D UI/UX의 AR/VR
2-2-1. 3D UI/UX의 AR/VR for Mac/TV
2-2-2. 3D UI/UX의 AR/VR for Car/EV/AV
2-3. 애플의 3D GUI의 OS/App/Safari
2-3-1. 3D GUI의 OS/App
2-3-2. 3D GUI의 브라우저(Safari)
2-2. 애플의 3D UI/UX의 AR/VR
애플과 프라임센스의 3D AR/VR 관련 특허를 분석한 결과, 앞으로 3년 이내에 애플은 뉴럴엔진·AI칩 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 다양한 콘텐츠(게임, 영화, 교육, IoT, IIoT, IoB 등)와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시될 것으로 예측된다.
2-2-1. 3D UI/UX의 AR/VR for Mac/TV
3차원 UI(Three-dimensional user interface) - 프라임센스의 기술로 기술개발은 2008년으로 거슬러 올라가, 2008년 1월 14일에 가출원하고(61/020,754, 61/020,756), 2008년 2월 28일에 개량 가출원하고(61/032,158), 2009년 1월 13일에 정식 출원하여(12/352,622), 2009년 7월 16일에 출원서가 공개되고(20090183125), 2012년 4월 24일에 특허를 획득했다(8,166,421).
Fig.1은 22의 사용자가 3D UI(20)로 26의 컴퓨터를 제어하는 그림으로 이것을 가능하게 하는 핵심 기술은 24의 3D 센싱 디바이스 혹은 별도의 카메라로, 사용자의 손의 움직임을 포함한 장면을 센싱한다.
따라서 수집한 이미지는 사진일 수도 있고 비디오일 수도 있다. 컴퓨터(26)가 3D 센싱 디바이스(24)로 수집한 정보들을 프로세싱하여 28의 디스플레이에 나타난 객체들을 매치시켜 3차원 인터페이스로 제어하는 것이다.
사용자(22)는 손을 X-Y-Z 방향으로 움직이면 3D 센싱 디바이스(24)가 이를 잡아내고 컴퓨터(26)가 프로세싱하여 디스플레이(28) 위에 나타난 객체들(게임, 음악, 영화, 사진, 슬라이드, 워드, 한글 등)을 선택하고 줌인(확대)-줌아웃(축소) 제스처로 제어하는 것이다.
3D 센싱 디바이스(24)에는 트루뎁스 적외선 카메라가 있어 스폿(spot) 혹은 도트(dots) 패턴을 읽어 낼 수 있다. 그러면 컴퓨터(26)가 삼각측정법으로 사용자 몸 표면의 포인트들의 3D 좌표를 프로세싱하여 3D map으로 생성하고 이를 제스처 3D UI로 사용하는 것이다.
Fig.3는 사용자(22)가 터치 없이(비-접촉 방식으로) 3D UI로 디스플레이(28)에 나타난 객체들을 제어하는 그림으로 센싱 디바이스(24)는 50의 시야각에서 사용자의 손의 움직임을 센싱한다. 이때 Z-축은 디스플레이 평면과 수직 방향(perpendicular direction)인 세로 방향을(longitudinal direction), X-Y축은 디스플레이 평면과 평행(parallel) 방향인 가로 방향(tranverse direction)을 나타낸다. 그림에서는 손을 가로 방향인 X-축으로 움직이는 것을 보여준다. 그리고 사용자의 손의 움직임을 3차원 맵으로 나타내고 이를 UI로 이용해 객체들을 제어하는 것이다.
3차원 UI로 세션 제어(Three-dimensional user interface session control) - 프라임센스의 기술로 2010년 12월 13일에 가출원하고(61/422,239), 2011년 12월 8일에 정식 출원하고(13/314,210), 2012년 3월 19일에 개량 출원하고(13/423,314), 2012년 12월 13일에 출원서가 공개되고(20120313848), 2015년 1월 13일에 특허를 획득하고(8,933,876), 이보다 앞서 2013년 10월 17일 개량 출원하고(14/055,997), 2014년 2월 13일에 출원서가 공개되고(20140043230), 2015년 3월 19일에 특허를 획득했다(9,035,876).
Fig.2는 사용자가 ‘Push gesture’를 하는 그림인데, 사용자는 손(30)을 Z-축인 디스플레이(28) 쪽으로 36의 거리에 접근하는 첫째 모션(forward motion)이다. 그 다음 두 번째 모션은 손을 뒤로 사용자 쪽으로 당기는 것이다(backward motion).
예를 들어 40의 화살표 방향으로 초당 10cm로 움직이는 것이다. 그러면 센싱 디바이스(24)가 이를 감지하고 컴퓨터(26)가 프로세싱하여 손의 움직임을 3D map을 생성해 3D UI로 구현하는데, Z-축은 깊이를 의미하므로 손이 디스플레이에 가까이 가면 객체가 확대대고 뒤로 빼면 축소된다.
Fig.3은 X-축인 side-to-side(swiping motions)로 손을 움직이는 Wave Gesture로 왼쪽으로 움직이면 객체가 왼쪽으로 오른쪽으로 움직이면 객체가 오른쪽으로 움직인다. Y-축(up)으로 움직여 객체를 위와 아래로 보낼 수도 있다.
줌-베이스의 제스처 UI(Zoom-based gesture user interface) - 프라임센스의 기술로 기술개발은 2011년으로 거슬러 올라가, 2011년 7월 5일에 가출원하고(61/504,339), 2011년 8월 9일에 수정 가출원하고(61/521,448), 2011년 8월 14일에 수정 가출원하고(61/523,349), 2012년 5월 30일에 수정 가출원하고(61/652,899), 2012년 7월 5일에 정식 출원하고(13/541,786), 2013년 1월 10일에 출원서가 공개되고(20130014052), 2013년 5월 29일에 개량 출원하고(13/904,050), 2013년 10월 10일에 출원서가 공개되고(20130265222), 2014년 11월 4일에 13/541,786에 대한 특허를 획득하고(8,881,051), 2014년 9월 15일에 개량 출원하고(14/485,840), 2014년 12월 25일에 출원서가 공개되고(20140380241), 2016년 6월 28일에 13/904,050에 대한 특허를 획득하고(9,377,865), 2017년 12월 5일에 14/485,840에 대한 특허를 획득했다(9,836,201).
9,377,865 – Fig.1은 22의 사용자가 비-접촉 혹은 비-촉각(non-tactile)의 줌(Zoom)-베이스의 UI(20) 혹은 Zoom Grid Interface(20)를 가능하게 하는 컴퓨터 시스템(26)을 설명하는 그림이다. 이것을 가능하게 하는 핵심 기술은 24의 3D 센싱 디바이스로, 사용자의 손이나(30) 머리(22)나 눈동자의 움직임을 포함한 장면을 감지한다. 트루뎁스 적외선 카메라가 그 예이다. 따라서 수집한 이미지는 사진일 수도 있고 비디오일 수도 있다. 컴퓨터(26)가 3D 센싱 디바이스(24)로 수집한 정보들을 프로세싱하여 28의 디스플레이에 나타난 38의 객체들을 매치시켜 인터페이스로 제어하도록 한다.
이때 컴퓨터(26)는 3D 센싱 디바이스(24)가 수집한 데이터를 프로세싱하여 사용자(22)를 3D map으로 구성해준다. 3D map이란 수평의 X-축, 수직의 Y-축, 그리고 깊이의 X-축을 말하는 것으로 3D 좌표는 사용자 몸의 객체의 표면을 나타내는 것이다.
사용자(22)는 손을 X-Y-Z 방향으로 움직이면 3D 센싱 디바이스(24)가 이를 잡아내고 컴퓨터(26)가 프로세싱하여 디스플레이(28) 위에 나타난 42의 커서의 위치를 제어하여 38의 객체들(게임, 음악, 영화, 사진, 슬라이드, 워드, 한글 등)을 선택하고 줌인(확대)-줌아웃(축소) 제스처로 제어하는 것이다. Z-축은 디스플레이 평면과 수직 방향(perpendicular direction)인 세로 방향을(longitudinal direction), X-Y축은 디스플레이 평면과 평행(parallel) 방향인 가로 방향(tranverse direction)을 나타낸다.
3D 센싱 디바이스(24)에는 트루뎁스 적외선 카메라가 있어 스폿(spot) 혹은 도트(dots) 패턴을 읽어 낼 수 있고, 동시에 도트 프로젝터가 있어 스폿의 패턴을 투영해 패턴의 이미지들을 수집할 수 있다. 그러면 컴퓨터(26)가 삼각측정법으로 사용자 몸 표면의 포인트들의 3D 좌표를 프로세싱하여 3D map으로 생성하고 이를 제스처 UI로 사용하는 것이다.
Fig.2는 컴퓨터나 TV 등의 계층적 데이터 구조(hierarchical data structure) 혹은 나무구조(tree structure)인 50을 설명하는 그림으로 일련의 계층적 줌 그리드 인터페이스 표면인 52A~52E를 나타내고 있다. 각각의 Zoom Grid 표면은 몇 개의 상호작용 객체들인 38A~38N을 구성하고 있다. 사용자(22)는 제스처 인터페이스(좌우로 손을 움직여)로 나무(50)를 횡단하여(traverse) 상호작용 38을 악세스하여 원하는 객체를 손으로 잡는 Grab Gesture로 선택할 수 있다.
예를 들어 그림에서는 영화(Movies)인 38L의 ‘Born To Be Wild’를 선택하는 경우인데, 인터페이스 순서는 Fig.4A~4D의 그림과 같다.
| ▲ 애플 특허의 Fig.4A~4D(9,377,865, 28 Jun 2016). Image: USPTO
|
[ⓒ KPI뉴스. 무단전재-재배포 금지]