본문 바로가기

빅데이터

나도 모르는 나를 빅데이터는 알고 있다! 얼마전 빅데이터가 한참 이슈이더니 최근에는 잠잠한 듯 보인다. 그런데 전혀 잠잠하지가 않다. 알리바바 마윈 회장이 이야기했던 것 처럼 이제는 IT, 정보기술의 시대가 아니라 DT, 데이터기술의 시대인지도 모른다. 빅데이터가 갈수록 정교해 지면서 이제는 나도 모르는 나를 빅데이터는 알고 있을 정도다. 사실 어찌보면 당연하다. 왜냐하면 인간이란 무의식중에 다양한 행동을 하게 마련인데, 이게 일정한 패턴이 있을 수밖에 없다. 그런데 인간은 무의식중에 일어난 일들에 대해서 신경을 쓸수가 없지만 그게 데이터로 남게 되면 얼마든지 나도 모르는 나를 분석해 낼 수 있는 것이다. 요즘은 페이스북 등의 거대한 플랫폼뿐만 아니라 쇼핑몰 등의 작은 규모의 서비스들도 빅데이터를 이용해 소비자의 행동 패턴을 분석하고 있다. 소.. 더보기
알파고가 이세돌을 또 꺾는다면 이건 혁명이다! 빅데이터를 통한 자가학습의 알파고가 이세돌 9단을 꺾었다. 실로 충격적이라 하지 않을 수 없다. 알고리즘이고 뭐고 이론적으로야 얼마든지 가능한 이야기이겠지만 진짜로 이겨버리니 정말 할말이 사라졌다. 인간의 과학기술이 이렇게 발전했단 말인가? 수많은 기보를 분석하여 최상의 수를 둔다는 알파고! 문제는 알파고의 실력이 이게 끝이 아니라 시작에 불과하다는 것이다. 프로바둑기사는 예전부터 컴퓨터보다도 정확하다는 표현을 했다. 이창호는 컴퓨터 끝내기로 유명하다. 분명 프로바둑기사도 컴퓨터 못지 않은 계산 능력과 수읽기 능력이 있다. 다만 아무리 정확해도 컴퓨터보다 정확할 수는 없을 것이다. 매 순간 컴퓨터는 정확한 계가가 가능하지만 인간은 그렇게 할수도 없고 100% 정확할 수도 없다. 무엇보다도 알파고가 이길 .. 더보기
공공 빅데이터를 개방해 혁신을 이루겠다는 빅파이(BigFi) 프로젝트는 세상을 어떻게 바꿀 것인가? 빅데이터가 주목받기 시작한 시기는 2년전이다. 처음에는 블로그, 페이스북, 트위터 등의 소셜미디어, 혹은 온라인 전체를 분석해서 위기를 감지하기 위한 모니터링 용도로 쓰이거나 브랜드나 제품에 대한 소비자 인식 조사를 위해 많이 사용되었다. 방법은 간단하다. 특정 키워드를 선정하여 온라인 상에서 수집 가능한 모든 데이터를 긁어 모아서 분석 프로그램으로 분석하는 방식이다. 뉴스 기사, 블로그 글, 트위터 글, 페이스북 글, 카페 글, 커뮤니티 게시판 글, 댓글 등 수집 가능한 모든 데이터를 모은다. 이렇게 수집되는 데이터를 '로우 데이터'라고 한다. 예를 들면 화장품 브랜드에 대한 소비자 인식 조사를 하고자 한다면 화장품 브랜드를 언급한 모든 글들을 수집하는 것이다. 이렇게 수집한 이후에 화장품 브랜드에 대.. 더보기
2014 스마트국토엑스포 빅데이터특별관에서 빅데이터의 미래를 보았다. 2014 스마트국토엑스포를 참관하기 위해 8월 27일 코엑스에 방문했다. 무엇보다 빅데이터특별관에 방문하기 위해서였다. 위치 정보, 공간 정보를 활용해 다양한 비즈니스들이 만들어 지고 있는 생생한 현장을 확인할 수 있었다. 특히 빅데이터특별관에서는 빅데이터가 현재 우리의 삶에 얼마나 밀접하게 다가와 있는지 몸소 느낄 수 있는 좋은 경험이었다. 그러면서도 한편으로는 우리의 행동 하나하나가 기록되고 분석된다는 것이 내심 불편하기는 했다. 내가 어떤 라이프스타일로 사느냐에 따라 일정한 패턴이 보일테니 말이다. 빅데이터는 이제 멀리 있지 않다. 조만간 우리의 삶에 깊숙히 자리잡게 될 것이다. 그것이 바로 빅데이터의 미래다! 더보기
공공 빅데이터 개방되면 어떤 세상이 펼쳐질까? 빅데이터가 산업 전반에 걸쳐 이슈로 떠오르면서 공공 빅데이터 개방에 관심이 쏠리고 있다. 망 중립성, 플랫폼 중립성 등의 이슈와 함께 떠오른 것이 바로 공공재 논란이다. 통신망이든 플랫폼이든 일정 수준 이상이 되면 기업의 소유물이 아니라 공공재가 되어야 한다는 이야기다. 공공 빅데이터 역시 같은 맥락이다. 정부에서 보유하고 있는 각종 빅데이터를 개방함으로써 그것을 기관이나 민간에서 활용할 수 있도록 해겠다는 것이다. 미국은 이미 2009년부터 연방정부의 공공 빅데이터(www.data.gov)를 공개하고 있고, 한국은 현재 공공데이터포털(www.data.go.kr)에서 개방된 공공 빅데이터를 서비스하고 있다. 하지만 물론, 개방된 수준이 극히 초보적인 수준이라는 평이다. 박근혜 정부 들어 공공 데이터 개방.. 더보기
빅데이터가 이슈로 떠오르고 있지만 그렇다고 새로운 이야기도 아니고 어려운 이야기도 아니다! 요즘 주위에서 빅데이터, 빅데이터 하고 노래를 부르고 있다. 보스턴 마라톤 대회 테러 범을 잡는데도 빅데이터가 활용되었다고 한다. 그 활용 방법을 살펴보니.. IT전문 매체인 더버지는 인디애나폴리스에 있는 LEVA에서 포렌식 동영상 분석 전문가로 활동하고 있는 그랜드 프레데릭스의 설명을 토대로 범죄 관련 데이터 분석 과정을 설명했다. 수집한 동영상은 곧바로 분석 전문가들의 손에 넘어간다. 동영상을 넘겨받은 분석 전문가들은 일단 형식 통일 작업부터 진행하게 된다. 무수히 많은 동영상들이 서로 호환될 수 있도록 하는 작업이다. 이렇게 한 뒤엔 중앙 관리시스템에 업로드하게 된다. 본격적인 분석 작업은 이때부터 시작된다. 동영상 분석 작업은 주로 정밀 관찰한 뒤 코드를 붙이는 방식으로 진행된다. 이 과정에서 범.. 더보기
소셜 빅데이터 및 여론 분석 전략 컨퍼런스에 여러분을 초대합니다. 최근 소셜 빅데이터에 대한 관심이 뜨겁습니다. 특히 '10.26 재보궐선거'에서 박원순 서울시장이 당선되면서 특히나 소셜에 대한 관심이 고조되고 있습니다. 소셜미디어 내에서의 여론을 분석해 보면 전체 여론의 추이를 파악할 수 있다는 것입니다. 실제로 이번 재보궐선거에서 맹위를 떨쳤던 20~40대의 유권자가 소셜미디어를 통해 자신의 생각을 적극적으로 이야기한 것으로 조사되었으며 선거 판도에도 큰 영향을 미쳤습니다. 이는 정치권뿐만 아니라 경제분야에서도 마찬가지입니다. 소셜 빅데이터를 분석함으로써 소비자가 기업이나 브랜드에 대해 어떻게 생각하는지 파악할 수 있습니다. 이와같이 지금 이슈가 되고 있는 소셜 빅데이터와 여론 분석에 대해 알아볼 수 있는 좋은 컨퍼런스가 있어 소개합니다. 소셜에서 OOOO의 마음을.. 더보기