나도 모르는 나를 빅데이터는 알고 있다!

He's Column/IT 2016.04.07 11:45 Posted by 깜냥 윤상진





얼마전 빅데이터가 한참 이슈이더니 최근에는 잠잠한 듯 보인다.


그런데 전혀 잠잠하지가 않다. 알리바바 마윈 회장이 이야기했던 것 처럼 이제는 IT, 정보기술의 시대가 아니라 DT, 데이터기술의 시대인지도 모른다.


빅데이터가 갈수록 정교해 지면서 이제는 나도 모르는 나를 빅데이터는 알고 있을 정도다.


사실 어찌보면 당연하다. 왜냐하면 인간이란 무의식중에 다양한 행동을 하게 마련인데, 이게 일정한 패턴이 있을 수밖에 없다. 


그런데 인간은 무의식중에 일어난 일들에 대해서 신경을 쓸수가 없지만 그게 데이터로 남게 되면 얼마든지 나도 모르는 나를 분석해 낼 수 있는 것이다.


요즘은 페이스북 등의 거대한 플랫폼뿐만 아니라 쇼핑몰 등의 작은 규모의 서비스들도 빅데이터를 이용해 소비자의 행동 패턴을 분석하고 있다.


소비자의 행동 패턴을 분석해서 소비자가 원하는 것이 무엇인지를 알아낸다면 당장에 매출로 연결시킬 수 있지 않겠는가?


빅데이터가 이제는 이슈를 넘어 생활 깊숙이 넘어온 모습이다.


알파고의 경우에도 따지고 보면 빅데이터의 일종이다. 알파고는 엄밀히 말해서 인공지능이 아닐 수 있다. 빅데이터를 종합적으로 분석해서 최상의 수를 찾아내는 것이기 때문이다.


그래서인지 요즘 빅데이터 관련 교육이나 자격증과정도 많이 생겨나고 있다.


앞으로 10년간은 데이터의 시대라고 한다면 우리도 무언가 준비를 해야 하지 않겠는가?


물론 IoT, 웨어러블 디바이스, 인공지능 등 많은 이슈가 있기는 하지만 지금 당장은 데이터의 이슈가 더 커보인다. 아니, 모든 이슈들의 근간이 바로 데이터라고 볼 수도 있다.


정보기술, 즉 IT의 시대는 저물고 있는지도 모른다. 그렇다고 해서 사라지는 것이 아니라 미래 기술들을 이루는 기본 줄기가 되어줄 것이다.



이미지소스: http://discovertext.com/2015/08/29/the-importance-of-a-data-literate-world/

댓글을 달아 주세요







빅데이터를 통한 자가학습의 알파고가 이세돌 9단을 꺾었다.


실로 충격적이라 하지 않을 수 없다.


알고리즘이고 뭐고 이론적으로야 얼마든지 가능한 이야기이겠지만 진짜로 이겨버리니 정말 할말이 사라졌다.


인간의 과학기술이 이렇게 발전했단 말인가?


수많은 기보를 분석하여 최상의 수를 둔다는 알파고! 문제는 알파고의 실력이 이게 끝이 아니라 시작에 불과하다는 것이다.


프로바둑기사는 예전부터 컴퓨터보다도 정확하다는 표현을 했다. 이창호는 컴퓨터 끝내기로 유명하다.


분명 프로바둑기사도 컴퓨터 못지 않은 계산 능력과 수읽기 능력이 있다. 다만 아무리 정확해도 컴퓨터보다 정확할 수는 없을 것이다. 매 순간 컴퓨터는 정확한 계가가 가능하지만 인간은 그렇게 할수도 없고 100% 정확할 수도 없다.


무엇보다도 알파고가 이길 정도로만 둔다는 명령을 하달 받았다거나 3집 반만 이길 정도로만 두라고 명령을 하달 받았다거나, 그리고 그것에 성공한 수준이라고 한다면 이세돌이 이길 수 없는 수준이 되었을 것이다. 알파고의 최종 실력을 가늠할 방법이 없다는 게 문제다. 


인간 대표 이세돌이 알파고에 패하면서 인공지능의 수준이 이미 상상을 초월하는 수준이라는 것을 확인시켜 주었다.


남은 대국에서 이세돌이 역전승할 수 있다고 해도 이번 1패의 의미는 상당하다.


체스고 장기고 다 떠나서 바둑은 아직 아닐거라고 생각했는데 그 희망이 여지없이 무너졌기 때문이다.


인간들은 충격에 휩싸였고 두려움에 떨고 있다.


정말 인공지능은 인간을 대체하게 될 것인가?


하지만 이제 시작이다. 알파고와 한판을 두어봤기 때문에 알파고의 장단점, 기풍을 파악했을 것이고, 그것에 맞춰서 전략을 짜면 나머지 4판중 4판을 모두 이길 수 있을 것이다.


실수를 줄이고 감정에 휘둘리지만 않으면 이세돌이 이길 것이다. 아니 꼭 이겨줘야 한다.


매 순간 최상의 수를 찾는다고는 하지만 초반 포석과 복잡한 전투에서는 인간이 유리할 것이다. 이세돌이 알파고의 약점을 파고 들어 꼭 승리할 수 있기를 바란다.



댓글을 달아 주세요







빅데이터가 주목받기 시작한 시기는 2년전이다. 처음에는 블로그, 페이스북, 트위터 등의 소셜미디어, 혹은 온라인 전체를 분석해서 위기를 감지하기 위한 모니터링 용도로 쓰이거나 브랜드나 제품에 대한 소비자 인식 조사를 위해 많이 사용되었다.


 

방법은 간단하다. 특정 키워드를 선정하여 온라인 상에서 수집 가능한 모든 데이터를 긁어 모아서 분석 프로그램으로 분석하는 방식이다. 뉴스 기사, 블로그 글, 트위터 글, 페이스북 글, 카페 글, 커뮤니티 게시판 글, 댓글 등 수집 가능한 모든 데이터를 모은다. 이렇게 수집되는 데이터를 '로우 데이터'라고 한다.

 

예를 들면 화장품 브랜드에 대한 소비자 인식 조사를 하고자 한다면 화장품 브랜드를 언급한 모든 글들을 수집하는 것이다. 이렇게 수집한 이후에 화장품 브랜드에 대해 긍정적인지, 부정적인지를 판별한다. 기계적으로도 분류하지만 분석원이 일일이 하나하나씩 보면서 검수 작업을 거친다. 말 그대로 노가다다. 첨단을 이야기하는 것 같지만 실상은 사람의 개입이 많을 수밖에 없다.


<이미지 출처: http://truestory.co.kr>

 

수동으로 수집하다 보니 시간도 많이 걸리고 비용도 많이 든다. 기존의 빅데이터는 이런 모습이었다.

 

하지만 최근에 이야기하고 있는 빅데이터는 조금 다른 모습이다. 신용카드사에서 회원들의 소비 행태를 분석해서 서비스 품질 향상에 적용하기도 하고, 빅데이터 분석을 통해 재난 안전 서비스를 만들기도 한다.

 

이미 축적해 놓은 방대한 데이터를 분석해서 유의미한 정보를 찾아내고 패턴을 찾아내서 그것을 경영 전략에 반영하는 식이다.

 

빅데이터의 정의는 다음과 같다.

 

데이터의 생성 양ㆍ주기ㆍ형식 등이 기존 데이터에 비해 너무 크기 때문에, 종래의 방법으로는 수집ㆍ저장ㆍ검색ㆍ분석이 어려운 방대한 데이터를 말한다. 빅데이터는 각종 센서와 인터넷의 발달로 데이터가 늘어나면서 나타났다. 컴퓨터 및 처리기술이 발달함에 따라 디지털 환경에서 생성되는 빅데이터와 이 데이터를 기반으로 분석할 경우 질병이나 사회현상의 변화에 관한 새로운 시각이나 법칙을 발견할 가능성이 커졌다. 일부 학자들은 빅데이터를 통해 인류가 유사 이래 처음으로 인간 행동을 미리 예측할 수 있는 세상이 열리고 있다고 주장하기도 하며, 이를 주장하는 대표적인 학자로는 토머스 멀론(Thomas Malone) 미국 매사추세츠공과대학 집합지능연구소장이 있다.

 

빅데이터는 초대용량의 데이터 양(volume), 다양한 형태(variety), 빠른 생성 속도(velocity)라는 뜻에서 3V라고도 불리며, 여기에 네 번째 특징으로 가치(value)를 더해 4V라고 정의하기도 한다. 빅데이터에서 가치(value)가 중요 특징으로 등장한 것은 엄청난 규모뿐만 아니라 빅데이터의 대부분은 비정형적인 텍스트와 이미지 등으로 이루어져 있고, 이러한 데이터들은 시간이 지나면서 매우 빠르게 전파하며 변함에 따라 그 전체를 파악하고 일정한 패턴을 발견하기가 어렵게 되면서 가치(value) 창출의 중요성이 강조되었기 때문이다.

 

빅데이터에 대한 자세한 설명은 네이버 지식 백과를 참고하면 된다.

(네이버 지식백과: http://terms.naver.com/entry.nhn?docId=1691554)

 

빅데이터가 항상 맞을 수는 없겠지만 그래도 패턴을 파악하게 되면 미래 예측이 어느 정도는 가능하다. 그래서 재난 안전 시스템에 제격인 셈이다.

 

결국 최근의 빅데이터 개념은 수집보다는 분석쪽에 치중하는 모습이다. 같은 데이터를 가지고도 어떻게 분석하느냐에 따라 전혀 다른 결과를 나타낼 수 있기 때문이다. 그렇기 때문에 빅데이터가 뜨면서 데이터 분석가들의 수요도 자연스럽게 늘어날 수밖에 없다.

 

이렇게 수집보다는 분석쪽으로 관심이 바뀌면서 정부나 공공기관이 갖고 있는 공공 빅데이터에도 많은 사람이 주목하고 있다.

 

망 중립성이나 플랫폼 중립성과 같이 공공재 성격이 강한 빅데이터도 공개되어야 마땅하지 않겠느냐는 요구다.

 

다행히 정부에서도 정부 3.0의 기치를 내걸고 공공 빅데이터를 적극적으로 개방하고 있고 관련 산업 분야를 키우겠다는 입장이고, 경기도(도지사 남경필)에서도 빅파이(Big-data, Free-information) 프로젝트를 통해 공공 빅데이터를 개방하겠다는 방침이다.


<빅파이 프로젝트에서 추진중인 경기도 4대 권역별 데이터 벨리 조성 계획>


빅파이(BigFi)는 무료로 공개되는 대용량 정보, 즉 공공 빅데이터 개방을 뜻하는 신조어다. 남경필 경기도지사가 지난 지방선거 때 내세운 ‘빅파이 프로젝트’에 등장한 용어다. 공공기관이 가진 정보를 전면 개방해 창업을 지원하고 주민의 행정편의를 높이겠다는 공약이었다. 이는 박근혜 정부의 국정과제인 ‘정부 3.0’의 취지와 비슷하다. 모든 디지털 흔적이 실시간으로 남는 스마트사회에서 빅파이는 새로운 산업이나 행정의 근간이 될 수 있는 분야로 떠오르고 있다.


빅데이터는 수많은 정보의 집합으로 이미 선진국에서는 정부가 직접 나서서 정책개발과 산업육성에 활용하고 있지만, 우리나라에서는 아직 구체적인 정책이 없는 실정이다. ‘빅파이 프로젝트 추진계획’에 보면, 경기도 4대 권역별 데이터 벨리가 조성된다. 동부권은 빅데이터산업 벨트, 북부권은 인재육성 벨트, 서부권은 콘텐츠 중심의 창조산업 벨트, 육성 남부권은 서비스산업 벨트가 구축될 예정이다.​ 


정부나 지자체에서도 적극적으로 빅데이터를 활용한 정책들을 앞다투어 내놓고 있다. 부산시는 앞으로 빅데이터를 활용하는 재난 대응 시스템 구축이 필요하다고 보고, 이를 위해 보다 심도 깊은 논의를 진행키로 했다. 지휘통제실에서 모든 재난현장을 파악하고 빅데이터 기술을 접목, 소셜미디어상의 각종 재난정보를 분석하는 기능을 갖춘 시스템을 구축하게 될 것으로 보인다.

 

이미 주사위는 던져졌다. 빅데이터 개방 속도는 더욱 가속화될 것이다. 우리는 이렇게 공개되는 빅데이터를 활용해 어떤 서비스를 만들어 나갈지를 고민해야 한다. 비즈니스에 있어서 많은 기회가 오기도 하고 사라져 간다. 지금 이 순간의 기회는 바로 빅데이터에 있다. 특히 정부에서 적극적으로 공개하고 나서고 있는 빅데이터를 어떻게 활용해 우리의 삶을, 생활을, 미래를 바꿔나갈지를 고민해야 할 때이다.

댓글을 달아 주세요







2014 스마트국토엑스포를 참관하기 위해 8월 27일 코엑스에 방문했다. 무엇보다 빅데이터특별관에 방문하기 위해서였다.

 

위치 정보, 공간 정보를 활용해 다양한 비즈니스들이 만들어 지고 있는 생생한 현장을 확인할 수 있었다. 특히 빅데이터특별관에서는 빅데이터가 현재 우리의 삶에 얼마나 밀접하게 다가와 있는지 몸소 느낄 수 있는 좋은 경험이었다.

 

그러면서도 한편으로는 우리의 행동 하나하나가 기록되고 분석된다는 것이 내심 불편하기는 했다. 내가 어떤 라이프스타일로 사느냐에 따라 일정한 패턴이 보일테니 말이다.

 

빅데이터는 이제 멀리 있지 않다. 조만간 우리의 삶에 깊숙히 자리잡게 될 것이다. 그것이 바로 빅데이터의 미래다!

 

 

 

 

 

 

 

댓글을 달아 주세요







빅데이터가 산업 전반에 걸쳐 이슈로 떠오르면서 공공 빅데이터 개방에 관심이 쏠리고 있다.

 

망 중립성, 플랫폼 중립성 등의 이슈와 함께 떠오른 것이 바로 공공재 논란이다. 통신망이든 플랫폼이든 일정 수준 이상이 되면 기업의 소유물이 아니라 공공재가 되어야 한다는 이야기다.

 

공공 빅데이터 역시 같은 맥락이다. 정부에서 보유하고 있는 각종 빅데이터를 개방함으로써 그것을 기관이나 민간에서 활용할 수 있도록 해겠다는 것이다.

 

미국은 이미 2009년부터 연방정부의 공공 빅데이터(www.data.gov)를 공개하고 있고, 한국은 현재 공공데이터포털(www.data.go.kr)에서 개방된 공공 빅데이터를 서비스하고 있다.

 

 

하지만 물론, 개방된 수준이 극히 초보적인 수준이라는 평이다.

 

박근혜 정부 들어 공공 데이터 개방을 추진 중이지만 민간이 활용하기에는 양과 질 모두 불충분하다. 지난해 월드와이웹재단과 오픈데이터연구소가 각국 정부의 데이터 개방 정책현황을 분석한 결과 한국은 전체 대상 77개국 중 12위에 그쳤다.

 

공공 빅데이터가 제대로 개방되기 시작한다면 그 데이터를 활용한 각종 신규 비즈니스 모델이 만들어질 수 있고 결국 일자리 창출로 이어질 수 있게 될 것이다.

 

손쉽게 정부의 데이터를 활용할 수 있게 되면 그것을 활용해 국민들이 편리하게 이용할 수 있는 모바일 앱이나 웹 서비스를 만들어 낼 수 있기 때문이다.

 

이제는 개방의 시대다. 공공 빅데이터 개방도 시간만 끌 것이 아니라 새로운 미래를 위해 적극적으로 동참해야 할 것이다.

댓글을 달아 주세요







요즘 주위에서 빅데이터, 빅데이터 하고 노래를 부르고 있다. 보스턴 마라톤 대회 테러 범을 잡는데도 빅데이터가 활용되었다고 한다. 그 활용 방법을 살펴보니..


IT전문 매체인 더버지는 인디애나폴리스에 있는 LEVA에서 포렌식 동영상 분석 전문가로 활동하고 있는 그랜드 프레데릭스의 설명을 토대로 범죄 관련 데이터 분석 과정을 설명했다.


수집한 동영상은 곧바로 분석 전문가들의 손에 넘어간다. 동영상을 넘겨받은 분석 전문가들은 일단 형식 통일 작업부터 진행하게 된다. 무수히 많은 동영상들이 서로 호환될 수 있도록 하는 작업이다. 이렇게 한 뒤엔 중앙 관리시스템에 업로드하게 된다. 본격적인 분석 작업은 이때부터 시작된다. 


동영상 분석 작업은 주로 정밀 관찰한 뒤 코드를 붙이는 방식으로 진행된다. 이 과정에서 범죄 용의자나 전과자들에겐 특수 코드가 부착된다. 용의자에게 태그를 붙이는 건 나중에 신원 확인 작업을 좀 더 수월하게 하기 위한 것이다.


동영상 분석 과정에서 용의자를 잘못 선정할 가능성은 없을까? 이에 대해 프레데릭스는 더버지와 인터뷰에서 "프로파일링 과정에선 특정 개인을 선별하는 게 아니라 유형을 뽑아내는 것"이라고 설명했다. 이번 사건 같은 경우 '백팩을 맨 사람' 같은 증거 자료에 따라 분류하게 돼 있다는 것이다.


따라서 제대로 된 용의자를 찾아내는 건 동영상 분석팀이 아니라 경찰의 몫이란 게 프레데릭스의 설명이다. 다른 증거 자료까지 전부 취합한 뒤 용의자 체포에 나서기 때문. 최종 판단을 위한 근거 자료를 제공해주는 것까지가 멀티미디어 분석 팀의 역할과 책임인 셈이다.

(기사인용: http://news.inews24.com/php/news_view.php?g_serial=739181&g_menu=020600&rrf=nv)


결국은 동영상 죄다 모아서 분석가들이 분석한 다음 경찰들이 투입되어 용의자를 체포한다는 것!


사실 빅데이터는 새로운 그 무엇도 아니고 어려운 것도 아니다. 빅데이터가 이슈화되기 전에도 무수히 많은 모니터링 업체들이 인터넷 웹문서들을 뒤지고 수집하고 분석하면서 의미있는 데이터를 찾기 위해 프로그램을 돌리고 있었다. 지금 내가 쓰고 있는 이 글도 누군가에 의해 분석당하게 될 것이다.


문제는 수집 능력, 분석 능력이 시간을 더할 수록 엄청난 속도로 발전하고 있다는 것! 거기다가 소셜미디어, 스마트폰 등을 통해 데이터도 폭증하고 있기 때문에 앞으로 빅데이터가 세상을 지배하게 될지도 모른다.


결국은 이러한 불안감때문에 너도 나도 빅데이터에 관심을 갖게 되는 건 아닌지 모르겠다. 하지만 나는 두렵다. 분명 그 빅데이터라는 것이 우리들을 옥죄어올 것이기 때문이다.


나보다 나를 더 잘 알 수밖에 없는.. 그것이 바로 빅데이터이기 때문이다.


댓글을 달아 주세요







최근 소셜 빅데이터에 대한 관심이 뜨겁습니다. 특히 '10.26 재보궐선거'에서 박원순 서울시장이 당선되면서 특히나 소셜에 대한 관심이 고조되고 있습니다. 소셜미디어 내에서의 여론을 분석해 보면 전체 여론의 추이를 파악할 수 있다는 것입니다. 실제로 이번 재보궐선거에서 맹위를 떨쳤던 20~40대의 유권자가 소셜미디어를 통해 자신의 생각을 적극적으로 이야기한 것으로 조사되었으며 선거 판도에도 큰 영향을 미쳤습니다.

이는 정치권뿐만 아니라 경제분야에서도 마찬가지입니다. 소셜 빅데이터를 분석함으로써 소비자가 기업이나 브랜드에 대해 어떻게 생각하는지 파악할 수 있습니다.

이와같이 지금 이슈가 되고 있는 소셜 빅데이터와 여론 분석에 대해 알아볼 수 있는 좋은 컨퍼런스가 있어 소개합니다.

소셜에서 OOOO의 마음을 읽다-여론 어떻게 형성하고 분석할 것인가? : 소셜 빅데이터 및 여론 분석 전략

11월 30일(수) 개최되는데요.. 프로그램도 아주 흥미롭습니다. 관심 있으신 분이 계시다면 참석하시면 좋은 정보를 많이 얻어가실 수 있을 겁니다. 물론 저도 참석 예정입니다.

그리고 컨퍼런스에 참석하고자 하시는 분이 계시면 댓글로 <성함, 소속, 이메일, 휴대폰번호>를 남겨주시면 30% 할인 초대장을 보내드리겠습니다.

컨퍼런스 등록하러 가기 : http://edu.2u.lc <-- 이쪽에서 바로 신청하셔도 됩니다. ^^

연말이라서 다들 바쁘시겠지만 좋은 컨퍼런스이니 한번쯤 들어보는 것도 좋을 듯 합니다.




<< 컨퍼런스 상세 소개 >>

사단법인 한국소셜네트워크협회(KOSNA)에서 주최하고, 이스토리랩(eStoryLAB)과 (주)이투커뮤니케이션즈가 주관하는 '소셜 빅데이터 및 여론 분석 전략 컨퍼런스'가 11월 30일(수) 페럼타워 3층 페럼홀에서 개최됩니다. 이번 컨퍼런스는 "소셜에서 ( )의 마음을 읽다-여론 어떻게 형성하고 분석할 것인가?"라는 주제로 열립니다.


컨퍼런스 등록하러 가기 : http://edu.2u.lc/



소셜
(Social)에서는 수많은 이야기와 정보가 실시간으로 오고 갑니다. 소셜네트워크서비스(SNS)를 통해 새롭게 형성된 SNS 여론은 우리 사회에서 큰 의미가 되고 있으며 무시할 수 없는 힘을 얻고 있습니다.

영국에서는 트위터 데이터를 분석한 소셜펀딩 상품이 출시되었고, 해외 공공기업은 시민의 소셜 채널을 이용한 정책 참여 환경을 활발하게 추진하고 있습니다. 또 국내 10.26 보궐선거에서는 국민의 여론을 분석하고 활용한 후보가 유리한 선거전략을 구사한 바 있습니다.


때문에
SNS에서 여론을 분석하는 것은 지금 살아가는 시대를 읽는 방법이 됩니다. 여기에 소셜을 통해 다양한 의견과 아이디어가 모이는 집단지성이 발휘되면 불필요한 에너지를 줄이고 다양한 시너지가 기대되는 경쟁력을 갖게 됩니다.

이에 (사)한국소셜네트워크협회와 이스토리랩은 "소셜 빅데이터 및 여론 분석 전략 컨퍼런스"를 통해 소셜 여론을 어떻게 형성하고 분석할 것인지를 조명하고자 합니다.



보다 자세한 소개는  http://edu.2u.lc/

그럼 컨퍼런스장에서 뵙겠습니다. ^^


댓글을 달아 주세요


BLOG main image
깜냥이의 웹2.0 이야기!
깜냥닷컴은 최근 트랜드로 급부상하고 있는 웹2.0, 소셜웹, SNS, 플랫폼에 대하여 IT업계의 실무자로써 일하면서 생각하고 있는 것들에 대하여 솔직하고 허심탄회하게 이야기하는 열린 블로그입니다.
by 윤상진

공지사항


Bookmark and Share

카테고리

깜냥이의 웹2.0 이야기! (1543)
Notice (24)
He's Story (134)
He's Talk (140)
Childcare Diary (125)
He's Column (1076)
Multimedia (23)
Various things (13)
Vision board (2)

달력

«   2018/09   »
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30            
윤상진's Blog is powered by Textcube. Designed by Qwer999. Supported by TNM Media.