4차 산업혁명에 관한 미래 과학1- 빅데이터
안녕하세요. 만물박사입니다. 4차 산업혁명의 시대가 도래했습니다. 4차 산업 혁명이라는 것은 인공지능, 사물인터넷, 드론 자율주행차, 빅데이터, 로봇기술, 가상현실 등이 주도하는 차세대 산업혁명을 말합니다. 물론, 이전에도 1차, 2차, 3차 산업 혁명이 있었듯이 이번에는 4차 산업혁명으로서 지금까지 이어져 왔던 이러한 혁명들에 이어서 이번 4차 산업혁명도 전 세계의 질서를 새롭게 만들 것이라고 전문가들은 말하고 있습니다. 이 중에서 오늘은 빅데이터에 관해서 한번 알아보려고 합니다.
1. 빅데이터란 무엇인가
빅데이터란 무엇인지 먼저 알아보겠습니다. 이것은 디지털 환경에서 생성이 되는 데이터로서 그 규모가 방대하고 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말합니다. 요새는 정말 스마트폰을 비롯해서 여러 가지 다양한 편리한 IT 기기 들과 여러 가지 새로운 정보들이 워낙 빠르게 다가오는 시대입니다. 이러한 시대에 맞게 빅데이터는 과거에 비해서 데이터의 양이 어마어마하게 폭증을 했다는 점을 비롯해서 데이터의 종류도 다양해져 사람들의 행동은 물론 위치정보와 SNS를 통해 생각과 의견까지 분석하고 예측할 수 있다고 합니다.
2. 빅데이터의 출현
현재는 한집에 컴퓨터 혹은 1인당 스마트폰을 가지고 있지 않은 사람이 없을 정도로 정말 인터넷과 관련된 모바일 기기 이용이 생활화되어 있습니다. 이것과 관련해서 모든 사람들이 남기고 기록해놓은 데이터들은 기하급수적으로 증가하고 있습니다. 요새 유튜브를 안 보는 사람은 거의 없을 거라고 생각이 됩니다. 그래서 유튜브를 예로 한번 들어 보겠습니다. 저도 유튜브를 항상 보는 애청자로서 예전에는 유튜브에서 어떤 영상을 보면 내가 꼭 표시를 해놓고 하는 것들에 대해서만 기록이 되었었는데 요새는 유튜브에서 내가 어떤 동영상을 보았는지 혹은 어떤 종류의 동영상에 관심이 있는지 그리고 어떤 동영상을 몇 분이나 보았는지 좋아요를 추가한 동영상은 어떤 것인지에 대해서 저절로 유튜브가 저장을 하고 기록을 해놓습니다. 이런 유튜브뿐만 아니라 요새는 모든 것들에 이러한 것이 적용이 됩니다. 주식이나 혹은 증권을 예로 들면 내가 어떤 주식에 관심이 있었고 어떤 종류의 회사에 관심이 있어서 투자를 했고 이러한 것들이 저절로 데이터가 쌓입니다. 이러한 것들을 이제는 컴퓨터가 데이터로서 처리를 하기 때문에 계속해서 이것들에 대한 데이터가 방대하게 쌓이고 디지털 정보들이 엄청나게 증가하게 되는 것입니다. 유튜브를 예로 들어서 설명했지만 유튜브뿐만이 아니라 개인적으로 사용자가 제작하는 동영상 콘텐츠, 예를 들면 아프리카 티브이 혹은 트위치 같은 여러 가지 플랫폼들의 동영상이 있고 스마트폰을 이용한 SNS에서도 요새는 어마어마한 데이터의 증가가 이루어지고 있습니다. 저는 SNS를 하지는 않지만 제 주변 사람을 비추어 볼 때 항상 스마트폰을 보면서 개인 SNS에 사람들이 올리는 여러 가지 정보들을 24시간 보고 있는 듯한 느낌으로 생활을 하고 있습니다. 그리고 이것은 데이터의 모든 형태와 질적으로도 예전 과는 비교가 되지 않을 정도로 다른 양상을 보이고 있습니다. 지금도 저는 블로그를 작성하고 있는 사람으로서 이 블로그를 통해서 제가 올리는 콘텐츠 내용에 대한 정보는 저 개인에 대한 성향이나 제가 이 글을 포스팅 함으로써 이 글을 읽고 있는 사람들에 대해서 이 사람이 어떠한 성향을 가지고 있는지에 대한 것까지도 분석이 가능한 시대입니다. 물론 데스크톱이 스마트폰을 아직까지는 따라갈 수는 없지만 스마트폰을 이용해서 사진이나 동영상 등을 제작하는 것은 물론이고 여러 가지 다양한 애플리케이션을 통해서 삶을 살아가는 것이 이제는 정말 일반화가 되었고 영화를 보거나 혹은 유튜브 시청 그리고 넷플릭스까지 해서 다양한 정보들을 이제는 스마트폰으로 보는 것에 정말 익숙한 시대가 되었습니다. 유튜브의 하루 평균 동영상 재생건수가 40억 회에 이른다고 하니 어마어마한 수치입니다. 이뿐만 아니라 요새는 CCTV의 활용이 정말 높아져서 이러한 CCTV 영상 자료들도 어마어마하게 쌓이고 있는 실정입니다. 저는 현재 빌라에 거주하고 있는데 제가 사는 빌라만 해도 총 6대의 CCTV가 주차장을 비롯해서 각각의 사각지대가 보이지 않도록 설치가 되어 있습니다. 이러한 CCTV 자료들도 계속해서 쌓이고 있고 항상 내가 어디를 가는지 언제 집을 나가는지 언제 집에 들어왔는지를 촬영하고 있는 데이터들이 저장이 되고 있다고 생각을 하면 정말 어마어마한 자료가 아닐까 싶습니다. 이렇게 생각을 해보면 각양각색의 다양한 분야에서 쌓이는 방대한 데이터가 우리 생활에 얼마나 큰 영향을 미칠지 상상이 되지 않습니다.
3. 빅데이터의 특징
빅데이터는 단순하게 생각해서 큰 데이터 혹은 양이 많은 데이터가 아닙니다. 기존에 우리가 정립해놓은 데이터는 물론이고 여기에 우리가 지금까지 정의하지 못한 새롭게 추가가 된 모든 데이터들까지 포함해서 이것들을 같이 활용하려고 하는 것이 빅데이터입니다. 이 빅데이터는 기본적으로 속도와, 양 그리고 다양성을 의미할 수가 있습니다. 먼저 양은 데이터의 물리적인 크기를 말합니다. 다음으로 속도는 데이터 처리능력을 말합니다. 데이터를 모으고 분석하는 과정을 얼마나 빠르게 해서 원하는 시간에 맞게 처리할 수 있도록 하는 것입니다. 마지막으로 다양성입니다. 다양성은 쉽게 말해 데이터의 형태를 말합니다. 현재 존재하고 있는 우리가 알고 있는 형태의 데이터인지 아니면 새롭게 정의되는 데이터인지 등등 다양한 여러 가지 루트에서 나오는 이 데이터들에 대해서 우리는 정리를 하고 분석을 해야 하기 때문에 다양성을 인지하는 기술이 필요합니다. 지금까지 얘기한 3가지는 기존에 가지고 있던 빅데이터의 특징이고 최근에는 3가지가 더 추가되었습니다. 정확성, 가변성, 시각화입니다. 정확성은 정보의 홍수라는 시대에 살고 있는 사람으로서 어떤 데이터는 도움을 줄 수 있는 즉, 신뢰가 가는 정보가 있는 반면에 어떤 것은 우리에게 맞지 않는 거짓된 정보를 주는 데이터들이 분명 존재합니다. 실제로 축구 혹은 스포츠 세계의 이적시장에 관한 정보를 여기에 빗댈 수가 있습니다. 어떤 선수가 어떤 팀으로 이적을 할 것이고 얼마의 금액에 이적을 할 것이다 라는 수많은 정보들이 여러 매체들에 의해서 발표가 됩니다. 어떤 매체는 어디로 갈 것이라고 하고 또 다른 매체는 다른 곳으로 갈 것이라고 하는 등 사람들을 혼란스럽게 하는 여러 정보들이 발표가 됩니다. 하지만 여기에서 가장 중요한 것은 신뢰성입니다. 믿을 만한 정보를 사람들에게 주어야 그 사람들도 혼란스럽지 않게 되고 좋아하는 스포츠를 즐길 수가 있게 되는 것입니다. 다음으로 가변 성입니다. 가변성은 어떠한 데이터의 맥락에 따라서 의미가 달라질 수 있다고 하여 제시된 것입니다. 제가 블로그에 글을 포스팅하는 것이 좋은 정보를 사람들에게 전달하려고 하는 것인데 사람마다 성향이 다르고 성격이 다르기 때문에 제가 쓴 글에 대해서 의미 부여를 제가 원하지 않는 느낌으로 하는 사람이 있을 수가 있기 때문에 의미 변화라는 뜻을 부여하는 가변성 또한 중요한 빅데이터의 요소입니다. 마지막으로 시각화입니다. 시각화라는 의미의 적용은 빅데이터가 어떠한 데이터를 분석하고 그 사람의 생각에 맞게 맞춰서 가공하는 작업을 수행한다고 치면 이 가공한 데이터가 그 사람에게 필요한 데이터가 돼야 하는데 그 사람은 이 가공한 데이터에 대해 이해를 하지 못한 다라고 하면 가공하는 방법이 잘못되었거나 빅데이터로서 가공을 잘못한 것이 되게 됩니다. 이렇게 되면 쓸 수가 없는 데이터가 되기 때문에 이렇게 사용자에 맞는 시각화 작업이 정말 중요하다고 생각되어 추가된 빅데이터의 요소 중에 하나입니다.
4. 빅데이터의 플랫폼
기본적으로 축구를 예로 들면 리오넬 메시 같은 선수를 만들기 위해서는 메시만을 위한 주위에서의 어마어마한 지원이 필요합니다. 기본적으로 축구 스킬을 위한 코치와 영양을 챙기기 위한 영양사, 스트레칭을 위한 코치, 쾌적한 옷과 축구화를 준비해줄 수 있는 지원자 등등 메시만을 위해 뒤에서 묵묵히 지원하고 있는 서포터들이 엄청 많을 것입니다. 빅데이터도 마찬가지입니다. 빅데이터를 잘 가공하고 활용하기 위해서는 빅데이터만을 위한 최고의 환경이 주어져야 합니다. 이것을 빅데이터의 플랫폼이라고 합니다. 이 준비된 플랫폼을 이용해서 이용하고자 하는 사람들은 빅데이터를 수집하고 저장하고 처리하고 관리를 할 수가 있습니다. 축구와 마찬가지로 스카우터가 메시라는 선수를 발굴하고 훈련시키고 세계적인 선수로 만들듯이 빅데이터 플랫폼은 빅데이터를 발굴하고 가공하는 과정을 제공합니다. 세세하게 들어가 보자면 일단 일반적이든 일반적이지 않든 데이터를 먼저 수집을 하고 데이터를 분산해서 저장을 합니다. 그리고 빅데이터의 핵심 기술인 초고속 병렬 처리를 하고 데이터를 가공, 추출합니다. 마지막으로 이 빅데이터에 대한 품질관리를 함으로써 빅데이터의 플랫폼은 그 기능을 다합니다.
5. 빅데이터의 전망
빅데이터가 떠오르면서 빅데이터 전문가들이 등장하기 시작합니다. 바로 빅데이터 분석가라고 하는 사람들입니다.
빅데이터 분석가는 1초마다 정보가 발생하는 이 시대에서 빅데이터를 어떻게 잘 활용할 것인지를 생각하는 사람들입니다. 유튜브를 예로 들면 이 사람이 주로 찾는 정보의 동영상은 무엇이며 이 사람은 나이가 어떻게 되며 성별은 무엇인지 등등 이 사람의 취향이나 성향에 맞는 동영상을 제공할 수 있도록 분석을 하는 것입니다. 요즘은 데이터의 시대 이기 때문에 빅데이터 분석가는 항상 최신의 트렌드를 많이 알고 있어야 합니다. 만약 기업에서 일을 하는 빅데이터 분석가라면 그 기업을 이용하는 고객들의 취향에 맞게 데이터를 분석하고 항상 시장 동향을 파악하고 있어야 합니다. 현재 빅데이터를 이용하는 기업들이 전 세계적으로 증가하는 추세이고 우리나라 기업들도 계속해서 빅데이터의 중요성을 언급하고 있습니다. 이것이 기업의 이익창출과 맞닿는 길이기 때문입니다. 빅데이터 분석가는 우리나라에서 전문 학원 혹은 대학교 등에서 빅데이터 관련 커리큘럼 과정을 이수하면 도움이 되고 한국데이터산업진흥원에서 발급해주는 빅데이터 분석기 사라는 자격증이 있습니다. 자격조건은 아래 항목을 참고하시면 됩니다.
1. 산업기사 등급 이상의 자격을 취득하고 직무분야에서 1년 이상 실무에 종사한 사람
2. 기능사 자격을 취득한 후 응시하려는 종목이 속하는 동일 및 유사 직무분야에서 3년 이상 실무에 종사한 사람
3. 응시하려는 종목이 속 하는 동일 및 유사 직무분야의 다른 종목의 기사 등급 이상의 자격을 취득한 사람
4. 관련학과의 대학 졸업자 등 또는 그 졸업예정자
5. 3년제 전문대학 관련학과 졸업자 등으로서 1년 이상 실무에 종사한 사람
6. 2년제 전문대학 관련학과 졸업자 등으로서 2년 이상 실무에 종사한 사람
7. 동일 및 유사 직무분야의 기사 수준 기술훈련과정 이수자 또는 예정자
8. 동일 및 유사 직무분야의 산업기사 수준 기술훈련과정 이수자로서 유사 직무분야에서 2년 이상 실무 종사자.
9. 4년 이상 실무에 종사한 사람
10. 외국에서 동일한 종목에 해당하는 자격을 취득한 사람
6. 빅데이터의 단점
마지막으로 빅데이터의 단점에 대해서 한번 살펴보겠습니다. 지금까지 설명한 이 빅데이터는 점점 발전하는 세계경제의 추세에 맞게 없어서는 안 될 하나의 요소로 자리 잡았습니다. 이렇게 없어서는 안 될 요소로 자리 잡은 빅데이터의 단점은 바로 사생활 침해 그리고 보안에 취약하다는 것입니다. 가끔씩 뉴스에서 어떤 포털사이트 혹은 사람들이 많이 이용하는 웹사이트에서 개인정보가 유출이 되었다는 소식을 접하고는 하실 겁니다. 이러한 일들과 같이 빅데이터는 기업들이 개개인의 정보와 취향 그리고 성향을 파악하는 데 있어 유용하게 사용되는 기술입니다. 이러한 기술이 기업에는 이익이 되겠지만 잘못하게 되면 한 개인의 사생활을 침해할 수 있다는 것입니다. 한 사람의 고객을 만족시키기 위해서 그 사람에 대한 정보를 파악하고 가공하고 관리를 하는 개념은 좋지만 가공하고 관리하는 절차 중에 혹여나 휴먼에러 혹은 여타 다른 문제로 인해서 해킹을 당하거나 개인정보가 유출이 된다면 이것 또한 크나큰 문제가 되지 않을까 싶습니다. 이러한 일이 발생하지 않도록 기업에서는 빅데이터를 항상 최상의 상태로 관리하고 취급한다면 기업과 개인 모두에게 좋은 의미로 상생이 되는 이중적인 효과가 발생하지 않을까 싶습니다.