“데이터는 21세기의 원유다”

중국 최고의 거부 중 한명이자 알리바바의 창업주인 마윈의 말이다. 그는 누가 더 많은 데이터를 빠르게 처리해 가치를 창출해 내느냐가 기업의 존폐를 좌우하는 핵심 경쟁력이 될 것이라고 이야기하며, 여러 차례 미래 핵심 산업 분야로 ‘빅데이터’를 꼽았다.

간단한 사례 몇 가지를 살펴보자. 수년 전 미국의 한 마트에서 맥주와 기저귀의 매출이 동반 상승하는 데이터가 관찰되었다. 이를 근거로 두 상품을 가까이 진열해 놓으니 매출 상승률이 더 뚜렷하게 보이는 결과가 나타났다. 이유인 즉, 남편들이 퇴근길에 아내의 심부름으로 마트에 들려 기저귀를 사면서, 보상 심리로 맥주도 같이 샀기 때문이라고 한다. 전통적인 마케팅의 관점으로는 찾아내기 어려울 수 있었던 소비자행동(consumer behavior)이지만 빅데이터를 통해 두 제품 간의 상관관계를 명확하게 관찰 할 수 있었던 사례이다.  

국내의 경우 신세계 백화점이 인천시에 명품관을 오픈했을 때 빅데이터 기반 맞춤형 마케팅을 진행한 바 있다. 신세계 그룹은 먼저 기존 인천점의 3-40대 전문직 여성 중 고급 화장품 구매한 경험이 있는 고객군을 1차로 추출했고, 이들 중 서울 지역 백화점에서 명품을 구매한 경험이 있는 고객들을 2차로 선별했다. 그 후 추가적인 세부 조건을 충족하는 고객들을 별도로 구분한 다음 4만명의 고객 리스트를 확보하여 이들을 대상으로 타겟 마케팅을 진행했다. 놀랍게도 이들 중 2만명 이상이 실제로 명품을 구매한 것으로 밝혀졌고, 인천점 전체 매출 역시 30% 이상 증가했다.  

이외에도 빅데이터가 기업경영에 활용된 사례는 매우 많다. 데이터의 중요성은 하루가 다르게 높아지고 있고, 수요의 증가는 국내외 빅데이터 시장의 급성장으로 이어지고 있다. 그럼에도 불구하고 여전히 마켓에는 전문 인력이 턱없이 부족하다. 2016년 한국데이터 진흥원 조사에 따르면 전문 인력 공급이 시장 수요에 비해 무려 40.9%나 부족하다고 밝혀졌으며, 맥킨지 보고서는 향후 추가적으로 150만명의 데이터 관리자와 분석 인력이 필요할 것 이라고 전망했다. 수요가 공급을 넘어서니 몸 값이 금 값이다. 미국의 채용전문 사이트 인디드(Indeed)에 따르면 미국에서 가장 연봉이 높은 직업 Top 3에 빅데이터 전문가가 포함되었다.

그렇다면 교육의 관점에서 대한민국의 초중고 대학생들이 빅데이터 시대의 새로운 기회를 포착하기 위해서는 어떤 준비를 해야 하는 것일까? 여러 요소들이 있겠지만 그 중 가장 중요한 지식은 바로 통계학과 프로그래밍 스킬이다.

특히 필자는 통계학의 중요성을 강조하지 않을 수 없다. 데이터가 많다는 것 자체는 아무런 쓸모가 없다. 필요한 ‘목적’에 따라 데이터를 활용하여 인사이트를 도출 할 수 있을 때 비로소 데이터에 ‘의미’가 부여된다. 통계학은 이런 데이터에 ‘의미’를 부여한다. 데이터 사이언스는 통계학을 통해 수많은 데이터들 속에서 특정한 패턴을 찾아낸다. 각각의 패턴은 특정한 분포와 확률을 가지고 있다. 이러한 패턴의 분류는 우리가 풀고 싶은 문제에 대한 단서를 제공한다. 또한 가설(hypothesis)을 세우고 검증하는 통계학의 가장 핵심적인 개념은 여타 학문과 마찬가지로 데이터 사이언스에도 매우 유용하게 사용된다. 참고로 최근 주목을 받고 있는 알파고 역시 방대한 양의 바둑 데이터를 기반으로 만들어진 AI인데, 알파고의 핵심 기술인 딥 러닝 (deep learning) 역시 인공신경망이라는 오래된 통계 기법을 기반으로 한다.

프로그래밍 언어에 대한 지식 역시 필수적이다. 정형화된 데이터의 경우는 SQL(Structured Query Language)이라는 데이터 관리 언어를, 좀 더 유연하지만 복잡하고 구조적이지 않은 비정형데이터의 관리는 NoSQL 을 기반으로 한다. 빅 데이터라고 총칭되는 대부분의 데이터는 이러한 ‘비정형 데이터’인 경우가 많아서 raw data를 정제하거나 조합하는 작업들이 필요하다. 이런 작업 등을 하기 위해서는 Python, R 등의 프로그래밍 언어의 활용이 필수적이다. 빅데이터 기술은 결국 방대한 양의 데이터를 획득하여, 이를 관리 및 분석하고, 도출한 인사이트를 필요한 영역에 적용하는 것이다. 이 중 데이터를 획득•저장•관리 하는 단계는 상당 부분이 전산학의 영역이라는 점을 참고할 필요가 있다.

이외에도 데이터를 시각화하는 능력, 특정 산업군에 대한 전문성, 수학적 사고 능력을 보유하고 있다면 더욱 더 매력적인 인재가 될 수 있을 것이다. 하지만 모든 분야의 전문가가 되기는 어려운 만큼, 일단 데이터 사이언스 안에서 본인이 가장 재미있고 자신 있게 할 수 있는 부분부터 역량을 쌓아 나가는 것이 바람직하다.

위에서 언급한 알리바바의 창업주 마윈은 다가오는 미래는 ICT를 넘어 DT(Data Technology)의 시대가 될 것이라고 애기했다. 데이터의 파도를 타고 디지털 시대를 항해할 대한민국의 인재들에게 본 칼럼이 도움이 되기를 바란다.