[김시우의 '특허'로 보는 세상] 아마존 특허로 바라본 ‘일상의 변화’ ①

아마존 특허 기반의 기술들이 만드는 극강의 편리함

공간, 쇼핑 그리고 멀티미디어의 변화를 통한 일상의 진화

아마존의 국내 진출 여부와 상관없이, 국내 고객의 마음을 훔칠 수 있을까?

글. 김시우 ECM특허볍률사무소 대표변리사

공간, 쇼핑, 멀티미디어가 바꾸는 생활물류

아마존 시총이 애플에 이어 1조 달러를 돌파하면서 제프 베조스 CEO가 마이크로소프트(MS) 창업자 빌 게이츠를 제치고 세계 최고 부호 자리에 올랐다는 뉴스를 접해 보았을 것이다. AWS(Amazon Web Service)를 사용하는 기업, 개발자들에게는 아마존이라는 기업이 친숙할 수 있다. 하지만 일반 고객 특히, 한국인들에게 아마존이라는 기업은 그리 친숙한 기업은 아닐 것이다. 아이폰, 윈도우 등을 통해 애플과 마이크로소프트와 같은 회사에 대해서는 인지하고 있으나, 현재 개발자가 아닌 일반 소비자들이 아마존이라는 회사와의 연결 지점을 찾는 것은 쉽지가 않다.

최근에 아마존 ‘에코(Echo)’와 같은 홈 어플라이언스(home appliance)가 일반 고객과 아마존이라는 회사와의 연결 지점을 찾아주고 있다. 아마존은 다양한 영역에서 사업을 진행하고 있고, 아마존의 관심 분야 중 하나는 홈 어플라이언스, 스마트 홈과 같은 분야이다. 기존의 아마존 특허 및 최근 아마존의 특허를 보면 소비자가 주거하는 공간, 소비자가 접하는 멀티미디어, 소비자의 쇼핑과 같은 고객의 편의를 향상시키기 위한 지속적인 연구가 진행되고 있음을 확인할 수 있다. 

본 기고를 통해 1) 공간의 변화를 설명하고, 다음 기고를 통해 2) 쇼핑의 변화, 3) 멀티미디어의 변화라는 카테고리로 나누어, 아마존의 기술로 쇼핑 및 다양한 멀티미디어를 즐기는 방법과 관련된 아마존 특허를 알아보고자 한다.

(1) 공간의 변화

공간의 변화에서는 아마존 기술이 우리의 일상 생활에 가지고 올 수 있는 직접적인 변화 가능성에 대해 이야기해보고자 한다. 가정 내 전자기기 간의 통신, 인공 지능 기술, 인간의 언어에 대한 이해를 통해 우리의 삶이 어떻게 변할지에 대해 예측해볼 수 있다.

▲ ① DEVICE SELECTION FOR VIDEO BASED COMMUNICATION(US15/661,488)

위 사진과 같이 집에 위치한 다양한 가전기기(냉장고, 오디오, tv 등)에 카메라, 센서 등과 함께 아마존 인공지능 ‘알렉사(Alexa)’ 기반의 모듈이 구현될 수 있다. 알렉사를 탑재한 가전기기들을 사용하여 집 안에서 가족 간의 대화가 가능한 것이다. 이러한 주변 가전기기를 활용한 통신 기술은 단순히 가족뿐만 아니라 일정 공간 내에서 커뮤니케이션이 필요한 장소(예를 들어, 회사)에서 활용될 수 있다.

예를 들어, 가족 구성원 A가 식사를 준비하고, 알렉사가 구현된 냉장고를 통해 가족 구성원 B, C, D를 호출하는 경우이다. 가족 구성원 A는 냉장고의 알렉사를 on 상태로 전환하기 위한 웨이크워드(wakeword, 예를 들어 ‘안녕? 냉장고’ 등)를 사용하여 알렉사를 깨울 수 있다. 이후, 알렉사에게 가족 구성원 B, C, D와 연결해달라 요청할 수 있다. 요청을 받은 알렉사는 가전기기 간의 통신 연결을 통해 각 방에 위치한 가전기기가 영상 분석, 생체 정보 센싱을 진행하여 가족 구성원을 찾을 수 있다. 이후 알렉사의 통신 연결을 통해 가족 구성원 A는 가족 구성원 B,C,D와의 영상 통신이 가능하다.

또한 알렉사는 기존의 영상 통신 결과를 활용하여 가족 구성원 이미지와의 매칭을 통해 구성원을 찾을 수 있다. 가족들의 생체 정보, 대화정보, 위치 정보를 기반으로 가족 구성원 각각과의 통신이 가장 용이한 가전기기가 우선적으로 결정된다. 이때 머신러닝을 통해 구성원과의 통신을 위한 최적의 가전 통신 모듈의 결정, 구성원의 탐색, 구성원이 대화 의지를 가졌는지 여부에 대한 판단이 수행된다.

▲ ‘에코 쇼(Echo Show)’

위 사진은 '에코 쇼(Echo show)'로 알렉사 플랫폼과 디스플레이가 결합된 기기이다. 에코 쇼는 인공지능 스피커와 디스플레이의 결합으로 위와 같은 모듈이 가전에 구현된다면 가전기기 간에 다양한 영상 통신이 가능하다. 이처럼 아마존은 알렉사라는 인공지능 플랫폼을 다양한 가전기기에 탑재하여 알렉사를 사용한 가전기기 간 통신을 가능케 하려 시도 중이다. 아마존은 알렉사 플랫폼을 통해 가전기기를 통한 자유로운 소통에 대한 연구를 진행하고 있는 것으로 보인다. 기존에 위치한 텔레비전, 오디오, 스피커 등이 공간 내 커뮤니케이션 도구로서 활용될 수 있다. 앞으로의 가전 시장은 이러한 가전기기를 활용한 스마트 홈에 주목할 것으로 예상된다.

▲ ② AUTOMATED MESSAGING(US2018/0310144)

본 특허는 아마존 에코와 같은 스피커를 이용하여 메시지를 전달하는 방법에 관한 것이다. 현재 시점에서 당연히 구현 가능한 기술이라고 생각할 수도 있는데 실제로 아직까지 이러한 음성 기반의 메시지 전송을 익숙하게 사용하고 있는 사용자는 드물다. 아마존은 스피커를 이용하여 사용자가 별도로 타이핑을 칠 필요없이 음성만으로 다른 사용자에게 텍스트 메시지 (또는 음성 메시지, 영상 메시지)를 전달하는 방법에 대한 연구를 지속하고 있다.

본 특허에서 들고 있는 예시를 보면 인간의 언어를 분석하는 부분, AI스피커를 호출하는 부분, 수신자를 특정하는 부분, 수신자에게 실제로 전달할 메시지 부분을 판단하고 이러한 판단을 통해 정확한 메시지를 수신자에게 전달한다. 아마존의 많은 특허는 인간의 언어에 대한 이해분석 및 별도의 타이핑 행위가 없는 사용자 인터페이스에 대해 다루고 있다. 또한 아마존의 많은 특허는 각국의 언어의 장벽을 없애기 위해 모든 언어에 대한 해석 및 그 변환에 대한 부분도 다룬다. 아마존은 사용자 인터페이스를 물리적 타이핑에서 보다 직관적인 언어로 변화시키려고 하고 있다. 향후 사용자기기(스마트폰컴퓨터 등)의 사용자 인터페이스는 물리적인 버튼이 아닌 사용자의 스피치가 될 것이고, 인공지능 기술의 발전으로 인간 언어 그대로 알아듣는 사용자 인터페이스가 빠르게 발전할 것이다.

▲ ③ SELECTIVE NOTIFICATION DELIVERY BASED ON USER PRESENCE DETECTIONS(US15/839259)

본 특허는 공간(집, 회사, 호텔 등)에 위치한 전자 기기들이 나의 위치, 현재 시간에 따라 필요한 정보를 전달하며 비서 역할을 수행하는 방법에 관한 것이다. 특허에서는 VA(Virtual Assistant)라는 표현을 사용하는데, VA는 아마존 에코, 스마트폰, 차, 오디오, 냉장고와 같이 알렉사 플랫폼을 탑재한 우리 주변의 전자 기기 무엇이든 가능하다. VA는 어시스트해줄 사람에 대한 정보를 등록 받고, 연관된 사람과 관련된 정보를 제공할 수 있다. VA는 사용자의 위치를 판단하고, 사용자의 위치에 따라 ON/OFF 되며, 장소와 시간에 맞게 사용자가 등록한 스케줄 정보를 제공할 수 있다. VA는 머신 러닝을 통해 VA와 연관된 사용자에 대해 학습하고, 사용자에게 필요한 정보를 제공한다. 만약 가족 구성원이 4명이라면, 4명을 분별해 개개인의 위치에 따라 개별 스케줄 정보를 전달할 수도 있다.

예를 들어 6시에 알람이 울리고 A씨가 기상하면서 '일어났다'라고 이야기하면 침대 주변의 VA가 A씨의 음성을 수신하면서 알람을 멈춘다. 이후 A씨가 침실에서 나와서 부엌으로 이동하면 부엌에 위치한 VA가 A씨의 움직임을 판단해 A씨의 스케줄에 대해 브리핑해준다. A씨가 차에 탑승하면 차에 위치한 VA가 A씨에게 필요한 정보를 제공하고, 마찬가지로 회사에서는 회사에 위치한 VA가 A씨에게 미팅 스케줄 정보, 업무 정보 등을 제공한다. 즉, 장소와 시간에 따라 주변에 위치한 VA들을 통해 지속적인 스케줄 관리가 가능하다. 뿐만 아니라 VA를 통해 VA에 등록된 또 다른 사람들에게 부탁하기도 가능하다. A씨가 바빠서 B에게 세탁물을 찾아 달라고 부탁하는 경우, VA를 통해 B에게 부탁 메시지를 전송할 수 있고, B의 VA는 A의 부탁을 B의 스케줄로 등록하여 B에게 전달할 수 있다. 

아마존은 주변의 전자기기들을 활용해 사용자에게 필요한 정보를 전달하되, 시간과 장소에 따라 맞춤형으로 제공하는 비서로 활용하고자 한다. 사용자는 자신이 위치한 공간에 함께 있는 전자 비서의 도움으로 스케줄을 관리할 수 있다. 우리 주변에 위치한 평범한 전자 기기들이 네트워크로 연결되어 나를 위한 비서로 활용될 날이 멀지 않았다. 아마존은 지금도 다양한 VA를 개발하고 있으며, 그들이 개발한 VA를 통해 고객이 머무르는 모든 공간에서의 삶을 변화시키려 시도하고 있다.

▲ ④ VOICE ACTIVATED MODULAR CONTROLLER(US15/983,927)

위 사진은 아마존의 구체적인 스마트 홈 하드웨어에 대한 특허 출원이다. 우리가 일상적으로 사용하는 불을 켜고 끄고 하는 스위치를 전술한 VA로서 구현했다. 사용자의 움직임과 목소리 등을 수신하고, 그에 따라 다양한 인터랙션을 집 내부에서 수행하며, 사용자에게 다양한 정보를 제공할 수 있다. 가정 내부에 설치되는 스위치가 자료와 같은 형태로 구현되어, 가정 내 다양한 전자 기기와 다양한 상호 작용을 함으로써 사용자의 생활을 보다 편리하게 돕는다.

▲ ⑤ REMOTE ACCESS AUTHENTICATION AND AUTHORIZATION(US15/659,059)

본 특허는 사람이 내부에 위치하고 있지 않을 때 택배를 받기 위한 방법에 관한 것이다. 사람이 없는 경우, 일반적으로 택배를 문 앞에 그냥 두고 가는 경우가 많다. 이러한 경우 택배 분실과 훼손 등의 위험이 크기에 본 특허에서는 이러한 문제를 해결하기 위한 방법을 제시한다. 집 내부에 사람이 없는 경우, 택배 기사는 택배 장치(delivery device)를 통해 택배 정보를 스캔할 수 있고, 스캔한 택배 정보는 통신을 통해 모니터링 장치로 전달된다. 모니터링 장치는 스캔한 택배 정보를 기반으로 현관문을 열어주고 현관문에서 이후 일어나는 동작들에 대해 모니터링이 가능하다.

고객은 애플리케이션 등을 통해 문을 열어줄지 여부를 스마트폰으로 결정할 수 있고, 마찬가지로 직접 문을 열어줄 수도 있다. 모니터링 장치는 택배 기사의 동작에 대해 지속적으로 지켜보고 택배기사가 나간 후 문을 다시 잠글 수 있다. 뿐만 아니라 현관문 개폐를 택배 코드 정보 기반으로 제어함으로써 택배의 도난과 손상을 막을 수 있고, 이에 대한 책임 문제도 감소한다. 또한 택배 기사가 사용자를 찾기 위한 업무 부하도 감소할 것이라 기대할 수 있다.

▲ ⑥ SHARING VIDEO FOOTAGE FROM AUDIO/VIDEO RECORDING AND COMMUNICATION DEVICES

지난해 아마존은 프라임 회원을 위해 스마트 보안캠, 스마트 도어록을 이용해 배송 상품을 안전하게 받을 수 있는 '아마존 키(key service)' 서비스를 시작했다. 배달원이 상품 바코드를 스캔해 아마존 클라우드로 전송하면 배송지 문을 열수 있는 코드가 전송돼 물건을 두고 오는 서비스다. 이 과정은 보안 캠으로 녹화돼 고객에게 전송 및 저장된다. 또한 친구나 방문자에게 임시 키 발급용으로도 사용할 수 있다. 아마존 키는 아마존이 인수하여 개발 중인 스마트 초인종 '링(Ring)’과 연동되어 택배 배송 서비스를 보다 안전하고 효율적으로 변화시킬 것이다.

스마트 가전 업체 '링(Ring)'은 카메라를 장착한 스마트 초인종으로 아마존 알렉사 음성 비서를 지원한다. 본 특허는 링을 활용하여 이웃 간에 외부인에 대한 정보를 공유하는 시스템에 관한 것이다. 애플리케이션을 통해 이웃 간 상호 보안을 설정할 수 있으며 침입자의 정보를 공유할 수도 있다. 침입자에 대한 정보는 영상으로 이웃의 스마트폰에 전송된다.

아마존은 사람의 언어에 대한 AI의 이해 (ASR; automatic speech recognition, NLU; natural language understanding) 관련 특허 및 사람 언어 외 노이즈를 인식하고 이것이 실제 명령인지 여부에 대해 보다 정확하게 판단하는 기술 등에 관한 특허를 출원하고 있다. 해당 언어에 대한 이해는 하나의 언어뿐만 아니라 세계 각국의 다양한 언어를 포함한 기술연구다. 아마존은 언어장벽의 완벽한 해소까지 꿈꾸고 있다.

아마존은 고객의 공간 내 전자기기가 어떠한 언어를 사용하던 고객의 언어를 이해하고 인간의 언어를 기반으로 모든 프로세스가 처음부터 끝까지 완료될 수 있는 모델을 계획하고 있는 것으로 판단된다. 고객 주변의 전자기기는 고객을 위한 디지털 비서로 변화할 것이고, 고객과 함께 위치한 디지털 비서는 고객의 명령을 해석하여 그에 맞는 응답, 행위를 제공할 것이다. 사용자 인터페이스가 키보드, 마우스와 같은 물리적인 버튼을 누르는 행위에서 인간의 언어라는 보다 직관적인 인터페이스로 변화한다. 아마존은 고객들에게 노 클릭(No click)이라는 경험을 가장 빠르게 제공할 것이고 이러한 고객 경험을 기반으로 고객들은 보다 아마존에 친숙하게 접근할 것이다.

※ 다음 기고문에서 아마존 특허로 바라본 ‘일상의 변화’ 2)쇼핑의 변화, 3)멀티미디어의 변화'로 이어집니다.