INSIGHT

[신광섭의 데이터바로보기] 빅테이터 분석, ‘최적화’ 위한 여정의 시작

by 신광섭

2017년 09월 01일

빅데이터

 

글. 신광섭 인천대 동북아물류대학원 교수

 

얼마 전 동문수학한 후배와 이야기를 나누던 중 빅데이터와 인공지능, 그리고 최적화의 관계에 대해 잠시 이야기 나눌 기회가 있었습니다. 저는 세 가지 개념의 연광성에 대해 후배에게 물었습니다. 후배는 “결국 최적화와 다르지 않습니다”라고 답했습니다. 후배의 이야기를 듣고, 우리가 주변에서 발생하는 다양한 이벤트에 매몰되어 본질을 놓치고 있는 것은 아닌지 다시 한 번 생각해보게 되었습니다. 그래서 이번 호에서는 앞서 이야기한 빅데이터와 인공지능, 그리고 최적화가 어떤 관계에 있는지 물류분야의 사례와 함께 짤막하게나마 살펴보고자 합니다.

 

온전한 사람의 일

 

필자는 지난 기고까지 빅데이터의 중요성과 의미, 데이터를 분석하는 방법에 대해 지속적으로 설명해 왔습니다. 제 생각에 빅데이터는 기술이라기보다는 ‘사회현상’에 가깝습니다. 그러니까 빅데이터는 무언가를 해결해주는 기술이 아니라, 모바일 중심의 정보통신기술, 사물인터넷과 같은 기술의 발전으로 인해 실시간으로 생성되는 데이터의 양이 엄청나게 증가한 결과 그 자체라고 할 수 있습니다.

 

우리가 안고 있는 중요한 숙제는, 빅데이터를 바탕으로 비즈니스 관점에서 유의미한 정보를 어떻게 찾아내느냐 하는 것입니다. 단순히 정보를 찾아내는 데 그쳐서는 안 됩니다. 빅데이터 기반으로 찾아낸 정보를 활용해 현재의 비즈니스 모델을 혁신하거나 프로세스를 개선해서 효율성을 높이고, 수익성을 향상시키는 방법을 설계하는 것이 최종 목표가 되어야 합니다.

 

그러나 많은 사람들의 강한 믿음과는 달리, 빅데이터는 우리가 처한 모든 문제를 해결해주지는 못 합니다. 인공지능도 마찬가지입니다. 문제를 해결하는 데는 ‘사람’의 개입이 반드시 필요합니다. 즉, 실시간으로 데이터를 확보하고 분석한 뒤 유의미한 정보를 찾아 현재 운영방식을 개선하는 과정은 바로 그러한 업무를 담당하는 사람이 직접 기획하고 운영해야만 하는 ‘온전한 사람의 일’인 것입니다.

 

최적화 문제의 기본 구성요소

 

요컨대 어떠한 문제를 해결하기 위해 ‘최적화 모형’을 설계하고 거기서 최적해를 도출해내는 과정에는 사람이 반드시 필요합니다. 그렇다면 우선 최적화를 위한 기본 구성요소 먼저 살펴보겠습니다. 그리고 이후 그것이 빅데이터와 인공지능과 어떻게 연관되는지 생각해보겠습니다.

 

산업공학이나 경영학을 공부하신 분은 아시겠지만, 수리계획(Mathematical Programming)을 통한 최적화 모형을 실제 현장에서 직접 개발하거나 적용하는 것은 쉬운 일이 아닙니다. 그렇다고 최적화가 지레 겁먹을 만큼 어려운 것도 아닙니다. 중고등학교 교과 과정 중에 한 번쯤은 보셨을 문제를 통해 최적화에 대해 간단히 살펴보겠습니다.

 

[예제] 오렌지를 하나 판매하면 3, 사과를 하나 판매하면 2의 이윤이 남는다고 한다. 오렌지는 하루에 최대 100개, 사과는 최대 100개까지 공급받을 수 있다. 매장의 공간제약으로 150 정도의 공간만 활용할 수 있으며, 오렌지는 하나에 5, 사과는 1의 공간을 차지한다. 하루에 오렌지와 사과를 구입하기 위해 사용할 수 있는 전체 예산은 80이며, 오렌지와 사과의 가격은 각각 2와 1이다. 구입한 오렌지와 사과를 전량 판매할 수 있다고 가정할 때 이윤을 최대화할 수 있는 오렌지와 사과의 구입량은 얼마일까?

 

위 예제를 수리적으로 모형화하기 위해서는 다음과 같은 과정을 거쳐야 합니다. 첫째, 수리 모형에서 우선 결정해야 할 사항은 오렌지의 구입량(x)과 사과의 구입량(y)입니다. 이 두 변수를 일반적으로 ‘결정변수(Decision Variable)’라고 합니다. 둘째, 예산과 공간, 일일 구매 한계량과 관련된 ‘제약조건’을 수식으로 표현해야 합니다. 위 예제의 제약조건은 다음과 같은 4가지 수식으로 표현됩니다. 1)5x + y ≤ 150, 2)2x + y ≤ 80, 3)0 ≤ x ≤ 100, 4)0 ≤ y ≤ 100. 끝으로 셋째, 문제를 해결하기 위한 목적을 명확히 해야 합니다. 이 문제에서의 목적은 수익을 극대화하는 것이므로, 수익함수(3x + 2y)가 바로 ‘목적함수’가 됩니다. 이러한 과정을 종합한 수리모형과 최적해를 찾기 위한 그래프 모형은 아래와 같습니다.

함수, 그래프

▲ 최적해를 찾기 위한 수식과 그래프 모형

 

그래프 모형에서 파란색 점선은 제약조건을 의미하고, 붉은색 실선은 목적함수를 의미합니다. 빗금이 그어진 가운데 사각형은 ‘가능해(Feasible Solution)’ 영역으로 매장의 관리자가 선택할 수 있는 결정변수 값의 가능한 조합을 나타냅니다. 이 조합들 중에서 목적함수의 값을 가장 크게 만드는 조합을 찾는 것이 바로 최적해를 찾는 방법입니다. 이 문제에서는 사각형의 네 꼭짓점 중 하나가 최적해가 될 것입니다.

 

물류 현장뿐 아니라 거의 대부분의 비즈니스 현장에서 우리는 이러한 가정과 모델링, 그리고 최적해를 찾아가는 과정을 반복합니다. 물론 현실에서는 더 많은 변수와 제약조건이 존재하기 때문에 최적해를 도출해내는 과정이 앞의 예제처럼 쉽지는 않습니다. 최적의 의사결정을 내리는 것은 매우 어렵거나 심지어 종종 불가능해 보이기도 합니다.

 

이때 빅데이터의 가치가 빛을 발할지도 모르겠습니다. 다음에서는 불가능해 보이는 문제를 해결하는 데 빅데이터가 어떻게 활용될 수 있을지에 대해 결정변수의 선택, 제약조건과 목적함수의 설계로 나누어 생각해도록 하겠습니다. 이해를 돕기 위해 앞의 예제를 다시 사용하겠습니다.

 

결정변수 선택, 고객에서 출발해야

 

최적화 문제를 고민할 때는 가장 먼저 ‘무엇을 결정할 것인지 결정’해야 합니다. 즉 ‘결정변수’를 선택해야 합니다. 앞의 예제에서는 오렌지와 사과의 구매량이 바로 그 결정변수였습니다. 그런데 앞의 예제를 복잡한 현실로 끌어와서 질문은 하나 던져보면, 우리는 꼭 오렌지와 사과만 구매해야 하는 것일까요. 오렌지와 사과만을 구매한다는 것은 매장 관리자가 의사결정의 범위를 제한했다는 것을 뜻합니다. 이는 오렌지와 사과가 다른 과일보다 잘 팔린다는 매장 관리자의 경험에 기반한 것일 가능성이 높습니다.

 

그러나 문제를 더욱 정확하게 모델링하기 위해서는(즉, 결정변수를 선택하기 위해서는) 관리자의 개인적 경험뿐 아니라 과거 판매내역을 분석하고 현재 상황과의 비교를 통해 정말 고객이 원하는 것은 무엇인지 파악할 필요가 있습니다. 오렌지와 사과 외에 멜론이나 수박, 포도가 대안이 될 수도 있으니까요. 바로 이 과정에서 빅데이터의 활용가치가 생깁니다.

 

현실감 있는 제약조건 설계

 

결정변수를 선택하고 난 뒤에는 이와 관련된 ‘제약조건’을 설계해야 합니다. 앞선 예제에서는 매장의 공간과 오렌지와 사과를 구매하는 데 사용할 수 있는 예산이 제약조건이 됩니다. 하루에 구입할 수 있는 최대량도 제약조건이 됩니다. 구매단가가 결정돼 있는 경우라면 예산을 설계하는 게 단순할 수도 있습니다. 그러나 특정한 업체로부터 사과와 오렌지를 구입해야 하는 조건이 없다면 매장 관리자는 더 낮은 가격에 더 좋은 품질의 오렌지와 사과를 공급할 수 있는 업체를 찾아야 합니다. 이렇게 되면 구매단가는 달라지고, 결국 예산과 관련된 기존의 제약조건도 다시 설계해야 합니다.

 

공간도 마찬가지입니다. 정말로 오렌지는 하나에 5, 사과는 1의 공간만 차지하는 것인지 다시 한 번 확인할 필요가 있습니다. 오렌지와 사과는 공산품이 아니기 때문에 크기가 모두 같지 않고, 따라서 차지하는 공간 역시 저마다 다를 것입니다.

 

물류에서도 마찬가지입니다. 우리는 물류센터의 공간 계획을 수립할 때나 택배 상하차 및 배송 계획을 수립할 때 종종 현실과 동떨어진 제약조건을 설정하곤 합니다. 제약조건으로 사용하는 화물의 크기와 무게, 배송거리, 속도, 구간별 소요시간, 상품배송을 위해 방문지에 머무는 시간 등의 정보는 모두 과거 경험으로부터 혹은 과거 데이터로부터 추출한 평균값에 지나지 않습니다. 물론 평균값이 가지는 대표성과 중요성을 무시할 수는 없겠습니다만, 평균값이 가지는 극명한 한계점(데이터 분포에 대한 정보 누락 등) 역시 간과해서는 안 될 것입니다.

 

앞선 예제에서 볼 수 있듯, 제약조건은 우리가 선택할 수 있는 범위를 결정합니다. 즉 가능한 것과 불가능한 것을 나누는 기준이 됩니다. 이러한 제약조건을 설계할 때도 빅데이터가 도움이 될 수 있습니다. 가령 우리는 과거에 축적된 데이터와 논리적 분석을 통해 실제 테스트 없이도, 현실을 어느 정도 반영하는 제약조건을 설계할 수 있을 것입니다.

 

목표는 명확하고 정확하게

 

마지막으로 목적함수에 대해 살펴보겠습니다. 예제에서 살펴본 바대로, 최적화의 과정은 선택 가능한 영역에 속한 결정변수의 조합 중에서 목적함수의 값을 최대 혹은 최소로 만드는 조합을 찾아내는 것입니다. 따라서 목적함수를 어떻게 설계하느냐에 따라 최적해가 현실적으로 의미가 있을 수도 그렇지 않을 수도 있습니다.

 

앞선 예제에서 목적은 이익을 최대화하는 것이었습니다. 그런데 정말 사과를 하나 팔면 2만큼의 이익이 남는다고 말할 수 있을까요. 수익은 매출액에서 비용을 차감한 값을 의미합니다. 매출액은 판매가격과 판매량의 곱으로 계산되기 때문에 계산이 비교적 간단합니다. 그러나 문제는 비용에서 발생합니다. 사과를 하나 판매한다고 했을 때 발생하는 비용의 주를 이루는 것은 사과의 매입비용일 것입니다. 그러나 여기에 매장을 운영하는 데 필요한 운영비와 인건비도 포함돼야 합니다. 현실적인 원가를 산정하는 데는 ABC(Activity Based Costing)와 같은 방법을 사용할 수도 있겠지만, 결국에는 다양한 데이터를 분석해 가장 현실에 적합한 모형을 찾아내야 합니다.

함수, 프로그램▲데이터를 가장 잘 표현하는 함수 찾기(왼쪽)와 최적 함수를 찾기 위한 도구(오른쪽)

 

왼쪽의 사진은 주어진 데이터(파란 점)를 가장 잘 표현하는 함수(붉은 선)를 찾는 사례를 나타내고, 오른쪽 사진은 가장 적합한 함수를 찾는 데 사용되는 도구를 보여줍니다.

 

다시 온전히 사람의 일

 

언급하지 않았지만, 사실 예제에서 아직까지 해결하지 못 한 문제가 하나 있습니다. 구입한 오렌지와 사과를 전량 판매할 수 있다는 가정은 과연 얼마나 현실적일까요. 이러한 가정은 사실 현실과는 멀어 보입니다. 만약 가정과 달리 오렌지와 사과를 다 판매하지 못 한다면 어떻게 될까요. 혹은 고객 수요가 폭발해 오렌지와 사과가 더 필요하다면요. 복잡하고 어려운 문제입니다. 빅데이터에 기대를 걸어 보아야겠습니다. 빅데이터는 이렇게 복잡하고 어려운 의사결정 문제의 최적해를 더욱 객관적이고 논리적으로 도출할 수 있도록 우리를 도울 수 있을 것입니다.

 

지금까지 최적화와 빅데이터의 관계를 수리적 모형을 설계하는 과정을 중심으로 살펴보았습니다. 비즈니스 현장에서 이뤄지는 의사결정의 궁극적인 목적은 대개 무언가를 최소화하거나 최대화하는 것입니다. 합리적인 의사결정을 내리기 위해서는 무엇을 결정할 것인지(결정변수), 가능한 것은 무엇인지(제약조건), 목적은 무엇인지(목적함수) 확인하는 과정이 필요합니다. 이 과정에서 빅데이터가 다양한 문제와 한계를 극복하는 데 유용하게 활용될 수 있을 것입니다. 물론 최적해를 찾는 데 알고리즘이나 인공지능 기법이 활용될 수도 있을 것입니다.

 

‘온전한 사람의 일’을 강조하며 이야기를 시작했습니다. 그리고 지금까지 빅데이터와 최적해의 관계에 대해 살펴봤습니다. 그렇다면 여기서 사람은 어디에 위치할까요. 요컨대 사람은 모든 곳에 있습니다. 가령 결정변수를 선택하는 과정에서 과거와 현재를 통해 축적된 빅데이터를 통해 어느 변수를 선택할 것인지를 결정하는 것은 아직까지 인공지능보다는 사람의 몫입니다. 어떤 제약조건이 현실을 더 적절하게 반영하는지도 사람의 판단에 달려 있습니다. 목적함수는 말 그대로 사람이 원하는 목적을 반영합니다.

 

최적해를 찾는 과정에서 빅데이터와 함께 인공지능을 활용하면 관리자의 직관에 의한 결정보다는 조금 더 객관적인 최적해를 찾을 수 있을지도 모르겠습니다. 그렇지만 여전히 수리모형을 실제로 설계하고, 현실을 가장 잘 반영하는 결정변수, 제약조건, 그리고 목적함수를 선택하는 것은 관리자, 즉 사람입니다. 성능이 아무리 뛰어난 인공지능이 나와도 우리의 역할을 대체할 수는 없을 것입니다.



신광섭

현재 인천대 동북아물류대학원 부원장으로 재임 중으로 물류 및 SCM 분야에서 빅데이터 및 인공지능 활용 방안을 연구 중이다. ksshin@inu.ac.kr




다음 읽을거리
추천 기사

잠시만 기다려 주세요...