빅데이터 기술

빅데이터 기술

빅데이터 기술은 체계적으로 구성 및 기능이 복잡하기 때문에 전문화된 기술과 제품을 부문별로 통합해야 한다. 빅 데이터 기술은 크게 데이터 수집, 저장, 처리, 분석, 표현 / 활용 및 관리로 나눌 수 있습니. 각 분야에서 요구되는 문제와 기술은 다음과 같다. 수집 기술은 데이터로드 시간 단축 및 실시간 대량 데이터 수집과 관련된 기술이 필요하다. 문제는 대용량 데이터의로드 시간이 대부분의 시간을 차지하고 데이터가 계속 증가한다는 것이다. 스토리지 기술은 대용량 데이터의 스토리지 및 효율적인 관리, 낮은 총 소유 비용 (TCO) 실현 기술이 필요하다. 문제는 데이터 저장 및 관리 비용이 많이 든다는 것이다. 처리 기술은 고속 작업을 수행 할 수있는 다차원 데이터의 다중 노드와 분산 / 병렬 처리 기술이 필요하다. 그러나 장기적인 처리로 인해 데이터의 적시성이 결여되어 처리 및 운영에 많은 비용이 든다. 분석 기법은 통계 기법, 고급 분석 및 탐색 적 데이터 분석 기법을 기반으로 한 실시간 분석이 필요하다. 문제에는 높은 비용의 데이터 분석, 계산에 너무 많은 시간이 걸리는 사실, 통계 분석 기술의 검증 문제, 프로그램 구현 및 분석가 부재가 포함된다. 표현 /활용 기술은 방대한 양의 데이터, 실시간 인식 및 응답 기술, 직관적인 표현 기술, 분석 표현 기술 및 다차원 데이터 비교, 빅 데이터 분석의 의미 파악 및 파악을위한 도구 지원 기술 필요하다. 관리 기술은 오픈 소스 관리 도구 제공 및 설치, 모니터링 및 제어, 수집에서 활용에 이르기까지 각 필드를 통합하는 비즈니스 논리 관리 기술과 같은 통합 인프라 관리 시스템 기술이 필요하다. 단점은 오픈 소스 기반 관리 도구가 부족하고 여러 장비로 구성된 인프라를 관리하기가 어렵고 분석 관련 비즈니스 로직이 확산되어 분석 관련 비즈니스 로직을 관리하기가 어렵다는 것이다. 빅 데이터 기술의 분류는 구현 방법에 따라 디스크 (디스크) 기반 기술, 메모리 내 (in-memory) 기반 기술 및 데이터베이스 내 (in-database) 기반 기술로 구분된다. 디스크 기반 기술은 대부분 오픈 소스 기술로, 저렴한 디스크를 사용하여 대량의 데이터를 관리, 저장, 배포 및 병렬화한다. 스토리지를 확장하기 위해 네트워크를 통해 여러 서버를 분산, 연결 및 저장하고 병렬 처리를 사용하여 계산 성능을 향상시킨다. 디스크 기반 SW 솔루션에는 Hadoop, DISCO, Hbase, Cassandra, MongoDB, Sybase IQ, GreenPlumn, Vertica Endeca 등이 포함된다. 인 메모리 기반 기술로 탐색 적 데이터 분석 가능하다. 메모리의 고속 컴퓨팅 기능으로 방대한 양의 데이터를 빠르게 처리 할 수 ​​있다. 디스크보다 읽기 및 쓰기 속도가 빠르며 압축 기술 및 그리드 컴퓨팅 형태의 단일 노드에 대한 메모리 제한을 극복했다. SW 솔루션에는 R, Revolution R, Tableau, Spotfire 및 SAP HANA가 포함되다. In-DB 기반 기술에는 RDBMS (관계형 데이터베이스 관리 시스템) 또는 분산 / 병렬 데이터베이스 관리 시스템 (DBMS)이 포함되어 DB 서버 간의 데이터 이동 및 로드 시간 단축, SAS In-Database 및 Tera 데이터와 같은 분석 효율성을 강조한다.