빅데이터가 주목받기 시작한 시기는 2년전이다. 처음에는 블로그, 페이스북, 트위터 등의 소셜미디어, 혹은 온라인 전체를 분석해서 위기를 감지하기 위한 모니터링 용도로 쓰이거나 브랜드나 제품에 대한 소비자 인식 조사를 위해 많이 사용되었다.
방법은 간단하다. 특정 키워드를 선정하여 온라인 상에서 수집 가능한 모든 데이터를 긁어 모아서 분석 프로그램으로 분석하는 방식이다. 뉴스 기사, 블로그 글, 트위터 글, 페이스북 글, 카페 글, 커뮤니티 게시판 글, 댓글 등 수집 가능한 모든 데이터를 모은다. 이렇게 수집되는 데이터를 '로우 데이터'라고 한다.
예를 들면 화장품 브랜드에 대한 소비자 인식 조사를 하고자 한다면 화장품 브랜드를 언급한 모든 글들을 수집하는 것이다. 이렇게 수집한 이후에 화장품 브랜드에 대해 긍정적인지, 부정적인지를 판별한다. 기계적으로도 분류하지만 분석원이 일일이 하나하나씩 보면서 검수 작업을 거친다. 말 그대로 노가다다. 첨단을 이야기하는 것 같지만 실상은 사람의 개입이 많을 수밖에 없다.
<이미지 출처: http://truestory.co.kr>
수동으로 수집하다 보니 시간도 많이 걸리고 비용도 많이 든다. 기존의 빅데이터는 이런 모습이었다.
하지만 최근에 이야기하고 있는 빅데이터는 조금 다른 모습이다. 신용카드사에서 회원들의 소비 행태를 분석해서 서비스 품질 향상에 적용하기도 하고, 빅데이터 분석을 통해 재난 안전 서비스를 만들기도 한다.
이미 축적해 놓은 방대한 데이터를 분석해서 유의미한 정보를 찾아내고 패턴을 찾아내서 그것을 경영 전략에 반영하는 식이다.
빅데이터의 정의는 다음과 같다.
빅데이터는 초대용량의 데이터 양(volume), 다양한 형태(variety), 빠른 생성 속도(velocity)라는 뜻에서 3V라고도 불리며, 여기에 네 번째 특징으로 가치(value)를 더해 4V라고 정의하기도 한다. 빅데이터에서 가치(value)가 중요 특징으로 등장한 것은 엄청난 규모뿐만 아니라 빅데이터의 대부분은 비정형적인 텍스트와 이미지 등으로 이루어져 있고, 이러한 데이터들은 시간이 지나면서 매우 빠르게 전파하며 변함에 따라 그 전체를 파악하고 일정한 패턴을 발견하기가 어렵게 되면서 가치(value) 창출의 중요성이 강조되었기 때문이다.
빅데이터에 대한 자세한 설명은 네이버 지식 백과를 참고하면 된다.
(네이버 지식백과: http://terms.naver.com/entry.nhn?docId=1691554)
빅데이터가 항상 맞을 수는 없겠지만 그래도 패턴을 파악하게 되면 미래 예측이 어느 정도는 가능하다. 그래서 재난 안전 시스템에 제격인 셈이다.
결국 최근의 빅데이터 개념은 수집보다는 분석쪽에 치중하는 모습이다. 같은 데이터를 가지고도 어떻게 분석하느냐에 따라 전혀 다른 결과를 나타낼 수 있기 때문이다. 그렇기 때문에 빅데이터가 뜨면서 데이터 분석가들의 수요도 자연스럽게 늘어날 수밖에 없다.
이렇게 수집보다는 분석쪽으로 관심이 바뀌면서 정부나 공공기관이 갖고 있는 공공 빅데이터에도 많은 사람이 주목하고 있다.
망 중립성이나 플랫폼 중립성과 같이 공공재 성격이 강한 빅데이터도 공개되어야 마땅하지 않겠느냐는 요구다.
다행히 정부에서도 정부 3.0의 기치를 내걸고 공공 빅데이터를 적극적으로 개방하고 있고 관련 산업 분야를 키우겠다는 입장이고, 경기도(도지사 남경필)에서도 빅파이(Big-data, Free-information) 프로젝트를 통해 공공 빅데이터를 개방하겠다는 방침이다.
<빅파이 프로젝트에서 추진중인 경기도 4대 권역별 데이터 벨리 조성 계획>
빅파이(BigFi)는 무료로 공개되는 대용량 정보, 즉 공공 빅데이터 개방을 뜻하는 신조어다. 남경필 경기도지사가 지난 지방선거 때 내세운 ‘빅파이 프로젝트’에 등장한 용어다. 공공기관이 가진 정보를 전면 개방해 창업을 지원하고 주민의 행정편의를 높이겠다는 공약이었다. 이는 박근혜 정부의 국정과제인 ‘정부 3.0’의 취지와 비슷하다. 모든 디지털 흔적이 실시간으로 남는 스마트사회에서 빅파이는 새로운 산업이나 행정의 근간이 될 수 있는 분야로 떠오르고 있다.
빅데이터는 수많은 정보의 집합으로 이미 선진국에서는 정부가 직접 나서서 정책개발과 산업육성에 활용하고 있지만, 우리나라에서는 아직 구체적인 정책이 없는 실정이다. ‘빅파이 프로젝트 추진계획’에 보면, 경기도 4대 권역별 데이터 벨리가 조성된다. 동부권은 빅데이터산업 벨트, 북부권은 인재육성 벨트, 서부권은 콘텐츠 중심의 창조산업 벨트, 육성 남부권은 서비스산업 벨트가 구축될 예정이다.
정부나 지자체에서도 적극적으로 빅데이터를 활용한 정책들을 앞다투어 내놓고 있다. 부산시는 앞으로 빅데이터를 활용하는 재난 대응 시스템 구축이 필요하다고 보고, 이를 위해 보다 심도 깊은 논의를 진행키로 했다. 지휘통제실에서 모든 재난현장을 파악하고 빅데이터 기술을 접목, 소셜미디어상의 각종 재난정보를 분석하는 기능을 갖춘 시스템을 구축하게 될 것으로 보인다.
이미 주사위는 던져졌다. 빅데이터 개방 속도는 더욱 가속화될 것이다. 우리는 이렇게 공개되는 빅데이터를 활용해 어떤 서비스를 만들어 나갈지를 고민해야 한다. 비즈니스에 있어서 많은 기회가 오기도 하고 사라져 간다. 지금 이 순간의 기회는 바로 빅데이터에 있다. 특히 정부에서 적극적으로 공개하고 나서고 있는 빅데이터를 어떻게 활용해 우리의 삶을, 생활을, 미래를 바꿔나갈지를 고민해야 할 때이다.
