데이터 크런칭

데이터 수치 처리에 대하여

오늘 알아본 미래 선도 기술은 데이터 크런칭입니다. 그렇다면 데이터 수치 처리란 무엇일까? 이것은 다른 말로 수치 처리이라고도합니다. 다음 산업 혁명(제 4 차 산업 혁명)라는 인더스트리 4.0 시대의 주요 분야 중 하나인 빅 데이터와 관련이 있는 직업입니다. 앞으로의 미래가 빅데이터의 시대가 될 것이라는 데에는 아무도 이의를 제기하지 않습니다. 그렇다면 이 빅데이터를 다룰 줄 아는 전문가와 그 직업이 반드시 생겨나게 될 것이고 이미 그 직업은 많은 나라에서 유망 직업이 되고 있습니다. 데이터 수치 처리는 컴퓨터에 부담을 될 수 있는 한 최소화합니다. 거기다가 빠르게 데이터를 처리하고 추출하여 보다 의미있는 정보를 가공하는 것입니다. 밖에서 볼 때는 분명 화려한 직업과 작업은 아닙니다. 하지만 그만큼 고급의 지적 수준이 필요한 아주 중요한 작업이고 직업입니다. 데이터 수치 처리는 새로운 직업이냐고 묻는다면 아니라고 대답해야 합니다. 이 분야에서는 SAS가 세계적으로 알려진 유명하고 대표적인 기업입니다. 아주 오래된 이야기입니다만, 미국의 모 대형 슈퍼마켓이 제품의 매장 진열을 아기 기저귀와 맥주를 가까이 배치했는데 그 순간부터 맥주의 매출이 평소에 대비해서 많이 늘어난 일은 아주 잘 알려져 있는 사실입니다. 부인의 부탁으로 기저귀를 사러 오는 남편들의 심리와 행동을 파악한 결과입니다. 요즘 집에서 부인들이 남편들에게 아기의 기저귀 심부름을 잘 시킵니다. 그러면 남편은 차를 몰고 슈퍼로 가는데 기저귀 매장에 갔더니 사고 나오는데 맥주 매장이 옆에 있는 것입니다. 그럼 남자들은 맥주를 구입하는 유혹에 빠져드는 것입니다. 슈퍼마켓의 경쟁이 매우 엄격한 미국에서는 각각의 체인이 SAS를 도입하고 있으며, SAS의 재킷을 착용 한 직원을 보는 것은 이제 어려운 일이 아닙니다. 이 사례는 소비자의 행동 패턴과 심리를 제대로 파악되고 있으며, 절묘한 타이밍에 원하는 제품 할인 쿠폰 및 무료 쿠폰이 보내져 오는 것에 SAS가 기여하고 있습니다. 이것은 다음의 예로 설명을 분명히 할 수 있습니다. 예를 들어 사과를 인터넷에 검색을 했는데 다음 날 사과와 전혀 관계없는 사이트에 접속을 했는데 광고로 사과 판매 회사 사이트가 나오는 것입니다. 그렇다면 사람들은 그 회사를 한번쯤은 더 눌러보게 되는 것입니다. 데이터와 정보의 차이는 무엇입니까? 근본적으로 이 둘은 의미가 다릅니다. 데이터는 날 것의 숫자 정보를 가공된 데이터에서 의미있는 모습으로 변신을 시킨 것입니다. 예를 들어, 각 아파트의 월세는 숫자 데이터입니다. 인근 아파트의 월세 평균과 세입자의 가족 구성 방법 등은 세부 정보입니다. 이 정보를 사용하여 아파트의 월세를 결정하고 구조를 결정할 수 있습니다. 또한 가까운 사무실의 예에서는 Excel시트에 입력한 만큼의 상태는 원시 데이터라고 하고 이것을 그래프와 표로 구성하고 프레젠테이션이나 경영 전략에 사용할 수 있도록 한 것이 바로 정보입니다. 위기이란 무엇일까요? 눈길이나 흙길 위를 걸을 때의 엻심히라는 소리를 의미합니다. 견실한 것을 잘게 부수어 모양이 있는 것으로 만들어낸다는 의미로 데이터 수치 처리로 불리게 된 것이락 생각합니다. 주요 직업 타이틀 데이터를 보면 아키텍트는 원시 데이터를 처리 가공하고 분석하기 위한 도구로 만들어 드립니다. 예를 들어, Google 웹 로그 분석이나 Facebook 등 소매 업계를 중심으로 활용합니다. 데이터 과학자는 일반적으로 개인 정보를 취급하는 기업은 데이터 과학자와 데이터 과학팀이 반드시 있어야 한다라고 말해도 좋을 정도입니다. 원시 데이터 처리 가공의 선두 주자는 데이터를 유용한 정보로 추출하는 중심적인 역할을 합니다. 보통 데이터 분석가로 경력을 시작하고 과학자에 도달하는 사람이 주류입니다. 요구되는 지식은 SAS, R, RHadoop, Pig, Hive, Python, SQL 등으로 수학, 통계학, 인공 지능, 언어 처리 등의 지식과 경험, 수계의 능력이 필요합니다.