등장배경2

• 

  Apache Kafka(카프카) 기본개념 Apache Kafka는 실시간 데이터 처리와 스트리밍에 필요한 강력한 도구입니다. 대용량 데이터를 빠르게 이동하고 처리하는 데 적합하며, 로그 처리, 데이터 스트리밍 등 다양한 분야에서 활용됩니다. 이번 글에서는 Kafka가 무엇인지, 등장배경과 주요 개념 등을 알아보겠습니다. Kafka(카프카)란? 카프카는 대용량의 실시간 데이터 스트림 처리를 위한 고성능 분산 이벤트 스트리밍 플랫폼이며 pub-sub 모델의 메시지 큐 형태로 동작을 합니다. 카프카는 높은 처리량과 낮은 지연 시간을 제공하여 실시간 데이터 처리에 적합하며, 분산 아키텍처로 설계되어 확장성과 내고장성을 가지고 있습니다. 등장배경 링크드인(Linked-Id)은 수억 명의 사용자와 연결되어 있는 소셜 네트워크 서비스로, 효율적인 데이터 처.. Big Data 2023. 6. 9.

• 

  Apache Spark란? Spark(스파크)란? 스파크는 대규모 데이터 처리 및 분석을 위한 오픈소스 클러스터 컴퓨팅 프레임워크입니다. 스파크는 데이터를 분산 처리하고, 인메모리 방식을 사용하여 효율적이고 빠른 처리 속도를 제공합니다. 등장배경 스파크는 빅데이터 처리를 위한 도구로, Hadoop Ecosystem 내에서 등장했습니다. 이를 이해하기 위해서는 Hadoop의 등장 배경을 먼저 간단하게 살펴보겠습니다. Apache Hadoop 빅데이터 문제를 해결하기 위해 Hadoop이 등장합니다. Hadoop은 분산 파일 시스템인 HDFS와 분산 데이터 처리 모델인 MapReduce로 구성되어 있으며 Hadoop의 등장으로 빅데이터 문제를 해결할 수 있을 것으로 보였습니다. 그러나 Hadoop의 처리 방식은 Disk I/O 기반으로.. Big Data 2023. 6. 2.