[신광섭의 데이터바로보기] 빅데이터가 물류의 욕망을 캐낼 수 있을까

빅데이터의 등장이 바꿔놓은 것들

물류의 숨겨진 ‘규칙’을 발견하는 빅데이터

 

글. 신광섭 인천대학교 동북아물류대학원 교수

 

 

데이터가 사람의 마음을 읽을 수 있을까

“빅데이터를 분석하는 것은 사람의 욕망을 캐내는 것이다.”

송길영 다음소프트 부사장은 소셜미디어(Social Media)의 데이터를 분석해서 고객의 생각과 행동 패턴을 파악할 수 있다고 강조했다.(관련기사= 송길영 다음소프트 부사장, 빅데이터를 통해 인간을 통찰하다, 뉴시스, 160308)

 

사실 데이터는 인류가 경제활동을 시작하기 이전부터 존재했다. 그런데 이제 와서 데이터가 ‘빅데이터’라는 이름으로 탈바꿈하여 주목받고 있는 이유는 무엇일까? 바로 데이터의 규모와 속도, 형태의 다양성 때문이다. 사람들이 빅데이터에 관심을 갖게 된 시점은 트위터나 페이스북 같은 소셜미디어의 성장과 일치한다. 소셜미디어로 인해 숫자가 아닌 텍스트, 이미지, 동영상 데이터가 폭발적으로 증가한 것이다.

 

빅데이터의 등장이 처음 바꿔 놓은 것은 ‘고객 분석’ 영역이었다. 과거 기업은 시장과 고객을 이해하기 위해서 그들이 궁금한 것을 고객에게 직접 물어보는 방법을 사용했다. 그러나 이제 고객은 소셜미디어를 통해 그들의 ‘선호’를 자발적으로 표현한다. 이에 따라 기업은 그 데이터를 분석해 고객이 무엇을 좋아하고, 무엇을 싫어하는지, 원하는 것은 무엇인지 일찌감치 파악해 대응할 수 있게 됐다. 과거에 비해 조금 더 정교하고, 객관적인 분석 결과를 얻을 수 있게 된 것이다. 기업이 ‘빅데이터’에 주목하는 것은 어찌 보면 당연하다.

 

이와 같이 이미 사람들이 만들어낸(공개한) 다양한 데이터를 기반으로 그들이 원하는 욕망을 찾아내는 방법을 우리는 ‘비지도적 학습(Unsupervised learning)’이라 부른다. 그렇다면 우리는 비지도적 학습을 통해 어떻게 우리가 진정 필요로 하는 정보를 얻을 수 있는 것일까?

 

말하지 않아도 아는, 빅데이터

 

앞서 빅데이터 분석을 사람의 욕망을 읽어내기 위한 기술이라고 소개했다. 과연 가능할까? 100%는 아니지만 그렇다고 아주 불가능한 것도 아니다. 필자의 강의 시간에 많은 학생들이 “설문조사와 같은 데이터 수집 방법이 객관성을 가질 수 있는가” 묻는다. 이에 필자는 “한두 명이 이야기하면 주관적이고 편향적인 의견일 수 있지만 그 숫자가 많아진다면, 그것도 아주 많아진다면 그 이야기는 어느 정도의 객관성을 갖는다”고 답한다. 통계학에서 이야기하는 ‘샘플의 수가 충분하다면 모집단을 대표할 수 있다’는 논리를 인용한 것인데, 이는 ‘데이터로부터 사람의 욕망을 읽어낼 수 있다’는 주장의 근거로 사용될 수도 있다.

 

빅데이터는 사람들에게 직접 질문하지 않는다. 이미 사람들이 기록한 다양한 데이터(결과)를 바탕으로 그들의 욕망을 읽어낼 뿐이다. 예를 들어 한 영화 홍보대행사가 한 달 뒤 개봉할 영화의 흥행 여부를 판단하고자 한다고 가정해보자. 예전 같으면 홍보대행사 직원이 영화관 앞에서, 혹은 사람들이 많이 모이는 곳에서 불특정 다수를 상대로 출시될 영화에 대한 의견을 수집해야만 했다.

 

그렇지만 이제 사람들은 자신의 트위터에 140자로 해당 영화에 대한 의견을 작성한다. 누가 물어보지도 않았는데도 말이다. 기업 입장에서 트위터에 글을 작성한 사람은 해당 영화에 대한 잠재적 고객이라 가정할 수 있으며, 뿐만 아니라 기업은 개봉예정 영화에 대한 고객들의 의견을 한두 문장의 글을 통해 분석할 수도 있다. 특정 사용자가 작성한 글과 유사한 글이 반복된다면, 혹은 특정 사용자가 작성한 글이 리트윗되어 사회관계망으로 빠르게 퍼져나가고 있다면, 해당 글이 가진 의미와 감성을 분석해 일정 형태의 패턴을 찾을 수도 있다. 그 패턴으로부터 영화의 성공 여부를 판단할 수 있음은 물론이다.

 

여기서 중요한 것은 비슷한 의미와 감성의 반복이다. 사실 트위터의 짧은 문장으로부터 의미와 감성을 찾아내는 과정은 매우 어려울 뿐만 아니라 객관성을 담보하기도 어렵다. 그렇기 때문에 기업은 데이터 분석 과정에 지식과 경험이 풍부한 전문가를 투입해야 한다.

 

지도적 학습과 비지도적 학습

 

그런데, 앞서 살펴본 데이터 분석 기술들은 모두 이미 확보한 데이터에 우리가 알고 싶어 하는 결과값이 포함되어 있는 경우 즉, 지도적 학습(Supervised learning) 기법이다. 반면 비지도적 학습(Unsupervised learning)은 과거 데이터로부터 패턴을 찾아내고 그 패턴을 해석하는 데 활용된다. 간단히 이야기하자면 ‘내가 무엇을 알고 싶은 지 명확하지 않고, 심지어 알 수 없을 때’ 활용하는 기법이 ‘비지도적 학습’이다.

 

트위터를 통한 영화 성공여부의 예측에는 문장을 단어로 쪼개고, 그 단어 사이의 상관관계를 분석해 사용자가 작성한 내용의 의미를 추론하는 기술인 텍스트마이닝(Text mining)을 이용해 감성분석(Sentiment analysis)을 하는 방법이 사용됐다. 단어와 단어 사이의 관계를 분석해 의미와 감성을 찾아내는 방법은 오랫동안 연구되어 왔으며, 현재는 상당한 수준까지 발달해있다. 하지만 여전히 분석 과정과 결과가 항상 일반적인 의견을 도출한다고 확신할 수는 없다. 분석 대상이 되는 글을 작성한 사람이 어떤 생각을 가지고 있으며, 또 어떤 의도로 글을 작성했는지 정확하게 알 수 없기 때문이다.

 

데이터가 물류의 마음을 읽을 수 있을까

 

물류분야에서는 어떨까? 일반적으로 물류분야에서 생성 및 유통되는 데이터의 형태는 다른 소셜미디어의 데이터에 비해 조금 더 정형화되었다고 한다. 일정한 규칙과 양식에 따라 문서가 작성되고, RFID 혹은 바코드를 통해 데이터가 측정되기 때문이다. 최근에는 IoT 기술이 발달하면서 기존 센서 기반을 넘어 의사소통 기반으로 데이터가 생성, 유통되고 있기도 하다. 이전보다 조금 더 정형화되고 표준화된 방식을 통해 데이터를 축적할 수 있다. 그렇다면, 이렇게 비슷한 양식에 따라 생성된 데이터를 통해 우리는 조금 더 정확하게 패턴을 찾아내고, 현재의 업무 방식을 개선할 수 있는 방법을 찾아낼 수 있지는 않을까?

 

교보문고에서 책을 검색하면 검색창 아래에 ‘이 책을 구매하신 분들이 함께 구매하신 상품입니다.’라는 메시지와 함께 추천목록이 뜬다. 이런 추천 시스템은 인터넷 서점뿐만 아니라 거의 모든 온라인 쇼핑몰에서 발견할 수 있는 서비스인데, 이 추천 시스템에 사용되는 기법이 바로 ‘친밀도 분석(Affinity analysis)’이다. 장바구니 분석(Market Basket Analysis: MBA)이라고도 불리는 ‘친밀도 분석’은 어떤 제품이 어떤 제품과 함께 팔리는 지, 그 규칙(Rule)을 찾아내는 기법이다.

 

온라인 교보문고에서 ‘공급사슬관리(서용원, 박건수, 신광섭, 정태수 저)’를 검색해봤을 때 나타나는 추천도서

 

각 규칙은 서로 다른 신뢰수준을 가지며, 높은 신뢰수준을 보이는 패턴을 기준으로 고객에게 다른 상품을 추천한다. 그렇다면 친밀도 분석을 위해서는 어떤 형태의 데이터가 필요하고, 그것을 통해 어떤 결과를 얻을 수 있을까? 다음 표는 친밀도 분석을 위해 필요한 데이터의 형태를 보여준다.

 

 

세로열(거래 ID)은 기업이 보유한 상품 전체이며, 가로열(상품X)은 과거 상품 거래내역이다. 각 셀에는 특정 거래를 통해 어떤 상품이 구매되었는지 여부를 기록한다. 이 데이터를 분석하면 {A, B} => {C}와 같은 규칙들이 도출되는데, “상품 A와 B를 구매한 고객은 상품 C를 함께 구매할 가능성이 높다”고 해석된다.

 

이러한 분석 기법이 사용된 유명한 사례가 바로 ‘맥주와 기저귀’ 사례다. 기업이 고객의 상품 구매 이력을 분석한 뒤 ‘맥주를 구매한 고객이 기저귀를 동시에 구매한 경우가 많다’는 것을 발견한 것이다. 기업은 이 규칙을 바탕으로 기저귀를 착용할 정도의 어린 아이가 있는 가정의 젊은 부부가 기저귀와 함께 맥주를 함께 구매한다는 정보를 얻을 수 있다.

 

그렇다면 기업은 이 정보는 어떻게 사용할 수 있을까? 쉽게는 맥주와 기저귀를 인근 진열장에 배치하여 고객 편의성을 높이는 전략으로 활용할 수 있다. 하지만 만약 고객이 맥주와 기저귀를 동시에 구입할 가능성이 매우 높다면(앞서 이야기한 규칙의 신뢰도가 높다면) 매장의 한 구석과 반대편 구석에 맥주와 기저귀를 진열해 두고 고객이 이동하는 동선에 다른 상품을 배치해서 추가적인 매출을 높이는 전략을 사용할 수도 있을 것이다.

 

빅데이터가 활용된 물류 사례

 

다음 그림은 하나의 적치장을 가진 야적장의 상품 배치 계획을 변경한 사례이다. 적치장은 야적장의 한 가운데 위치하고 있으며, 한 번에 트럭 두 대치의 상품을 상차할 수 있는 구조이다. 두 대의 지게차가 동시에 작업을 하는 셈이다. 기존 상품의 위치는 지게차 운전자들의 경험에 기반하여 결정됐다. 지게차 운전자의 오랜 작업 경험을 믿고, 그들의 운전 경로를 최적화할 수 있는 방법으로 상품을 배치, 적치했던 것이다.

 

기존 지게차 운전자의 경험을 기반으로 한 야적장 레이아웃(좌측)과 데이터를 통해 개선한 레이아웃(우측)

 

그러던 중 기업은 실제 데이터를 확보하여 주요 상품군을 분류하고(그림에서는 붉은색을 ‘주요상품’으로 분류했다), 상품들 사이의 친밀도를 분석해서 고객이 특정 상품을 구매할 때 어떤 상품을 함께 구매하는지 파악했다. 그 결과를 바탕으로 높은 신뢰도를 갖는 규칙을 찾아낸 뒤, 높은 신뢰도를 가진 상품군을 적치장 가까운 쪽으로 재배치하였다. 그 결과, 지게차의 운행 거리를 약 30% 이상 감소시킬 수 있었다. 이는 데이터를 기반으로 도출한 규칙(패턴)을 활용하여, 직관과 경험에 의존하던 기존 업무처리 방식을 보다 나은 방식으로 개선한 사례라고 할 수 있다.

 

숨은 ‘규칙’ 찾기

 

많은 사람들이 데이터로부터 사람의 욕망과 생각을 읽어낼 수 있다고 말한다. 물류에서도 고객의 마음을 읽어내는 것은 아주 중요하다. 과거 아마존은 “고객이 주문하기 전에 상품을 배송한다”는 신개념 서비스를 홍보한 적이 있다. 이는 아마존이 고객의 미래 주문 상품을 예측할 수 있을 정도로 빅데이터 역량을 쌓아왔다는 사실을 증명한다.

 

우리도 다시 생각해볼 필요가 있다. 사람의 욕망을 읽어내는 것처럼 거창하지는 않더라도 우리가 보유한 데이터를 기반으로 업무처리 방식에 숨어있는 규칙을 찾아내는 것은 충분히 가능한 일이다. 우리가 지금 하고 있는 방식이 최선이라고, 더 나은 방법은 없다고 단정해서는 안 된다. 우리가 알지 못했던 것, 혹은 당연하게 여기던 것들 가운데 업무 효율성을 높이고 비용을 절감할 수 있는 부분이 숨어있을 지도 모른다. 어쩌면 우리는 아주 쉽게 그것을 발견하게 될지도 모른다.