아파치 스파크
- 통합 컴퓨팅 엔진
- 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합
- 오픈소스
- 저장소 시스템의 데이터를 연산하는 역할만 수행, 영구 저장소 역할은 수행하지 않음
- 애저 스토리지 Azure storage
- 아마존 S3
- 아파치 하둡
- 아파치 카산드라 Apache Cassandra (키-밸류 저장소)
- 아파치 카프카 (메세지 전달 서비스)
스파크 기능 구성
- 저수준 API
- 구조적 API
- 구조적 스트리밍
- 고급 분석
- 라이브러리 및 에코시스템