-
[Apache Spark] Spark RDD, DataFrame and DataSet
Spark API 중에 중요하면서 유사한 RDD, DataFrame 그리고 DataSet에 대해서 공부한 것을 정리했다.
-
[Apache Spark] Spark Architecture
Spark의 Architecture에 대해서 알아보자
-
[Apache Spark] Spark?
빅데이터를 처리할 때 많이 사용한다는 Spark Spark는 어떤 녀석인지 알아보겠다.
-
[Apache HBase] HBase의 아키텍처
HBase가 무엇인지 알아봤으니, HBase의 아키텍처에 대해서 알아보겠다.
-
[Apache HBase] HBase가 무엇일까
우리가 흔히 알고 있는 NoSQL DB하면 떠오르는 DB 중 하나이면서, Hadoop에서 많이 사용되고 있는 HBase는 어떤 녀석일까?
-
[Apache Storm] Storm Concepts
실시간 스트리밍 처리에 사용하는 Apache Storm과 그 Concept에 대해서 공부한 것을 공유한다.
-
[BigData] 데이터 수집 파이프라인과 메시지 중복 제거
메시지 브로커를 포함한 데이터 수집 파이프라인과 함께 메시지 브로커에서 at least once를 통해 메시지가 중복으로 올 때, 이를 어떻게 중복제거를 할지 공부한 것을 정리한다.
-
[BigData] 빅데이터 스트리밍 데이터 수집을 위한 Message Broker
지난 포스트에서 언급하고 말았던, 스트리밍형 데이터의 수집을 위한 Message Broker의 여러가지에 대해 공부한 것을 공유하려 한다.
-
[BigData] 빅데이터의 데이터 수집형태, 벌크와 스트리밍
데이터를 수집할 때 빅데이터에서는 2가지 형태로 데이터를 수집한다. 벌크형태와 스트리밍형태로 이 두가지인데 이 두가지 형태에 대한 수집 방법에 대해 공부한 것을 작성한다.
-
[BigData] 대규모 분산 처리
빅데이터를 다룰 때 대규모 분산 처리를 위해서 프레임워크를 사용한다. 대표적으로 Apache Hadoop과 Apache Spark를 사용한다.