빅 데이터분석 사이언티스트(Data Scientist) 개발자의 중요성과 한계

 

 

빅 데이터분석 사이언티스트(Data Scientist) 개발자의 중요성과 한계

 

 

 

21세기에 가장 주목을 받고 있는 직업 중에 하나로 불리는 데이터사이언티스트에 대해 소개하도록 하겠습니다. 수학, 통계, 컴퓨팅, 시각화, 해커, 도메인전문가, 데이터엔지니어링 등 매우 다양한 분야에서 활동하고 있으며 더욱 자세히 알아보도록 하겠습니다. 데이터 사이언티스트는 앞서말한것처럼 다양한 분야에서 활동하고 있습니다. 하지만 자세히 들여다 보면 4가지정도의 분야에서 전문적으로 활동하고 있습니다. 사업이나 도메인관련, 수학관련, 컴퓨터과학 관련, 의사소통 관련 분야가 있습니다. 이 분야에서 데이터 사이언티스트의 기둥이라고 할 정도로 이런 분야에서 정보와 통찰력을 기반으로 의사결정을 하는데에 매우 도움을 주고 있으며 고객에게 경험을 극대화시켜 결국 매출을 늘리려는 시도가 이뤄지고 있습니다.

데이터 사이언티스트들이 도출하고 있는 결과물들을 한번 알아보도록하겠습니다. 앞서말한 기둥들과 연계가되며 이 모든 과정은 매우 중요합니다. 기본적으로 데이터를 추출하여 분석해서 미래를 예측하거나, 정보를 분류하고, 컨텐츠를 추천, 패턴을 인지하여 그룹화, 오류 감지, 자동화된 의사결정, 마케팅, 위험인지 및 관리 등 다양한 목표를 세워 일을 처리하고 자신에게 주어진 문제에 대해 해결하기 위해 각자의 도구를 사용하여 결과를 도출합니다. 어떤 사람은 위에서 말한것처럼 매출을 늘리기 위해서 도구를 사용하여 데이터를 얻을려고 하는 사람이 있는 반면, 자신이 생각하는 좋은 프로그래밍을 하기위해 데이터를 얻을려고 하는 사람도 있습니다. 물론 이러한 과정에서 모두 목적을 이룰수 있는 것은 아니지만 데이터 사이언티스트들이 왜 이러한 일들을 하고 어떠한 시행착오가 있는지는 잘 알고 있어야 중요함과 한계를 잘 알 수 있기 때문입니다.

간단히 데이터사이언스가 뭐가 중요한지 말씀드리겠습니다. 데이터 사이언티스트들로 하여금 기본적으로 기업이 더 개선될수 있고 고객에게 더 나은 경험을 선물할 수 있습니다. 왜냐하면 제품과 서비스는 실패에서 성장하는데 데이터적 사고를하면 빠른 시간내에 피드백을 할 수 있고 더 좋은 품질과 성능을 기대해 볼 수 있기때문입니다. 또한 데이터를 기반으로 더 고객에게 알맞은 스토리를 전달할 수 있습니다. 문제가 생기면 고객에게 들려진 이야기가 있기때문에 문제점을 더 빠르게 개선할 수 있습니다. 구체적으로 여행이나, 의료, 교육에서는 수많은 데이터가 나오면서 현재 주어진 문제점을 빠르게 개선시키고 있습니다. 뿐만아니라 거의 모든 생태계에서 데이터과학은 사용되고 있고 이미 수많은 데이터가 존재하여 이를 기반으로 나아가고 있습니다. 이렇게 나온게 빅데이터라는 개념입니다. 자영업자들도 사람들이 선호하는 제품을 잘 알고 있을것입니다. 모두 데이터에서 나온 결과물입니다. 대부분의 분야에서 빠질수없는것은 데이터 입니다. 계속 강조하고 있는이유는 그만큼 중요하기 때문입니다. 이러한 데이터의 증가로 데이터과학의 중요성도 힘을얻고 있습니다. 그래서 그런지 수요가 매우 높습니다. 2026년까지 생각해보면 1200만개가 넘는 직장이 전세계적으로 생길거라는 이야기가 나오고 있습니다. 데이터과학은 그만큼 중요함을 간접적으로 알 수 있습니다. 수요가 넘처나는데 생각이상으로 데이터과학을 소화하는 사람은 거의 없습니다. 그래서 데이터 사이언티스트들은 매우매우 필요하고 중요해짐을 알 수 있습니다. 

하지만 모든 기술이 그렇듯 장점만이 존재하는 것은 아닙니다. 데이터과학은 아직 정확히 정해지지 않았습니다. 이게 무슨말이냐면 다른 분야는 어느정도 정의가 존재하고 약속이 있습니다. 하지만 데이터과학은 정확한 선이 존재하지 않습니다. 그냥 데이터만 다룬다는 것만 알고 있죠. 그래서 데이터과학을 마스터하는것은 거의 불가능합니다. 그리고 데이터는 생각보다 정확하지 않습니다. 내가 만든 결과물이 예측하지 못하는 상황으로 변질될수있다는 말입니다. 그리고 데이터는 막대한 약점을 가지고 있습니다. 바로 개인정보라는 약점입니다. 어떤 어느곳을 가더라도 데이터는 개인정보를 침해할수있다는 상황을 가지고 있습니다. 데이터의 유출로 그 누구도 안전하지 않습니다.

 

 

 

오늘은 빅 데이터분석 사이언티스트(Data Scientist) 개발자의 중요성과 한계에 대해 알아보았습니다. 데이터가 모여 빅데이터를 이루고 이러한 데이터를 다루는 사람을 데이터사이언티스트라고 합니다. 이런 사람들이 어떤 사람들인지 대충이나마 이해하셨을거라 저는 생각합니다. 저는 항상 모든 글에는 흐름이 있고 맨 마지막에 제생각과 요약을 하여 다시 개념을 머리속에 집어 넣는 과정을 하고 있습니다. 데이터과학자들은 우선 기본적으로 미래까지 생각해봤을때 수요가 매우 많습니다. 그리고 데이터들로 생각보다 문제를 잘 해결할 수 있고 생각지도 못한 결과를 도출 할 수 있습니다. 단점도 매우 명확하구요. 하지만 항상 그렇듯 단점보다 장점이 매우매우 큰 데이터과학이라고 생각합니다. 저는 어쩔수없는 흐름이라고 생각하고 데이터와 친해지는 상황을 많이 만들어야된다고 생각합니다. 데이터는 정말정말 중요하고 이미 우리가 매일 마시고 있는 물처럼 우리들의 생활에 녹아내리고 있습니다.