• 컴퓨터/IT > 프로그래밍 > 웹프로그래밍

2018/2 컴퓨터/IT 17위 | 현재 컴퓨터/IT 17위 |

출판사 리뷰

출판사 서평 ★ 요약 ★ 아파치 카프카(Apache Kafka)는 오픈소스 메시지 브로커(message broker)로서 확장성과 고가용성을 가지고 분산 기반으로 대용량 데이터를 처리한다. 이러한 아파치 카프카를 실제로 적용하?는 데 알아야 할 카프카 활용 사례와 카프카 내부 디자인에 대해 알아본다. 이를 바탕으로 브로커에 데이터를 집어넣는 생산자와 데이터를 가져오는 소비자를 직접 구현해본다. 배치 처리하는 서비스와 스트리밍 처리하는 외부 서비스에 연동하는 법을 배운 후 마지막으로 카프카를 실제 관리하기 위한 도구와 카프카와 연동할 수 있는 서... ★ 요약 ★ 아파치 카프카(Apache Kafka)는 오픈소스 메시지 브로커(message broker)로서 확장성과 고가용성을 가지고 분산 기반으로 대용량 데이터를 처리한다. 이러한 아파치 카프카를 실제로 적용하는 데 알아야 할 카프카 활용 사례와 카프카 내부 디자인에 대해 알아본다. 이를 바탕으로 브로커에 데이터를 집어넣는 생산자와 데이터를 가져오는 소비자를 직접 구현해본다. 배치 처리하는 서비스와 스트리밍 처리하는 외부 서비스에 연동하는 법을 배운 후 마지막으로 카프카를 실제 관리하기 위한 도구와 카프카와 연동할 수 있는 서드파티 도구에 대해 알아 본다. ★ 이 책에서 다루는 내용 ★ ■ 카프카 다운로드와 빌드 ■ 단일 또는 다중 노드 카프카 클러스터 설정과 메시지 전송 ■ 내부 디자인과 메시지 압축의 이해 ■ 카프카의 리플리케이션 동작 이해 ■ 카프카 API를 사용한 생산자와 소비자 작성 ■ 소비자 설정 개요 ■ 아파치 하둡과 스톰을 카프카와 연동 ■ 카프카 관리 도구 사용 ★ 이 책의 대상 독자 ★ 이 책의 독자는 실전에서 아파치 카프카 사용에 대해 알기를 원하는 사람이다. 아파치 카프카나 비슷한 기술에 대한 사전 경험이 없는 사람을 주요 독자 대상으로 삼았다. 또한, 기업용 애플리케이션 개발자이나 기타 발행 구독 기반의 시스템을 다뤘지만, 차후 확장성 있는 솔루션으로 아파치 카프카를 도입하기를 고려하는, 빅데이터에 관심이 많은 개발자들을 위해 집필했다. ★ 이 책의 구성 ★ 1장. 카프카 소개: 조직들이 어떤 방법으로 데이터의 진짜 가치를 깨달았는지와 데이터를 수집하고 처리하는 방법을 발전시켜온 방법을 알아본다. 2장. 카프카 설치: 카프카 0.7과 0.8을 빌드하고 설치하는 방법을 알아본다. 3장. 카프카 클러스터 설정: 단일/다중 브로커(broker)를 설정하는 데 필요한 단계를 알아본다. 4장. 카프카 디자인: 카프카의 견고한 토대를 만드는 디자인 개념을 알아본다. 5장. 생산자 작성: 기본 생산자(producer)와 메시지 파티셔닝(partition)을 이용하는 고급 레벨 자바 생산자를 작성하는 법을 알아본다. 6장. 소비자 작성: 소비자와 파티션으로부터 메시지를 소비하는 고급 레벨의 소비자를 작성하는 법을 알아본다. 7장. 카프카 연동: 실시간과 배치 처리를 다루기 위한 하둡 연동이 동작하는 방법을 알아본다. 8장. 카프카 도구: 관리 도구와 카뮈(Camus), 아파치 카멜(Apache Camel), 아마존 클라우드 등과의 연동에 대해 알아본다. ★ 저자 서문 ★ 이 책에서는 수백만의 메시지를 발행-구독(publisher-subscriber) 아키텍처로 소비(consume)하는 과제를 아파치 카프카로 해결할 수 있도록 아파치 카프카에 익숙해지는 방법에 대해 설명할 것이다. 카프카 프로그래밍에 대한 감을 얻어 카프카의 다양한 구현과 연동에 대해 깊이 있게 이해할 수 있는 단단한 토대를 쌓게 하는 데 목적이 있다. 아파치 카프카에 대한 설명과 더불어 카프카와 연동하는 아파치 하둡이나 스톰에 대해서도 다룬다. 단지 카프카에 대해 이해하는 것뿐만 아니라 이용하는 법을 알려줘 독자의 기술적인 기반을 넓히는 것이 목표다. ★ 옮긴이의 말 ★ 아파치 카프카(Apache Kafka)는 2011년 링크드인(LinkedIn)이 자사에서 웹사이트가 생성하는 다양한 소스로부터 나오는 대량의 이벤트를 처리하기 위해 만들어졌다. 페이지뷰, 검색, 소셜네트워크 활동 같은 다양한 데이터 소비자가 접근해 정보를 가져오는 저장소 역할도 수행했다. 이렇게 자사에서 사용한 프로그램을 오픈소스화한 프로젝트가 바로 아파치 카프카다. 아파치 카프카 프로젝트는 같은 해인 2011년 6월에 아파치 인큐베이터 프로젝트에 등록되었고 불과 1년 만인 2012년 10월에 아파치 인큐베이터를 졸업해 아파치 탑 프로젝트로 승격되었다. 아파치 카프카는 저지연성을 가지지만, 스루풋(throughput)에 주안점을 두지 않은 액티브엠큐(ActiveMQ)와 다양한 소비자를 다룰 때 지연시간(latency)을 보장하지 못하는 플룸(Flume)과 스크라이브(Scribe) 두 솔루션 간의 큰 차이를 메우기 위해 만들어졌다. 하둡 같은 대용량 배치 처리 시스템과 스트리밍 처리를 하는 스톰에 데이터를 전달하는 중간자 역할을 할 수 있다. 이 프로젝트는 최근에 나온 빅데이터 관련 프로젝트가 그렇듯 짧은 시간 동안 많이 변화했지만, 카프카만이 가지는 고유한 특징이 있기 때문에 앞으로 계속 발전하는 프로젝트가 될 것이라고 조심스럽게 예측해본다. 다른 모든 시스템이 그렇듯 아파치 카프카 역시 만능은 아니다. 그러나 독특한 성격의 카프카의 장점을 활용해 목적에 맞게 사용한다면, 인프라 문제 해결에 열쇠가 될 수 있을 것이다.

★ 저자 서문 ★
이 책에서는 수백만의 메시지를 발행-구독(publisher-subscriber) 아키텍처로 소비(consume)하는 과제를 아파치 카프카로 해결할 수 있도록 아파치 카프카에 익숙해지는 방법에 대해 설명할 것이다. 카프카 프로그래밍에 대한 감을 얻어 카프카의 다양한 구현과 연동에 대해 깊이 있게 이해할 수 있는 단단한 토대를 쌓게 하는 데 목적이 있다. 아파치 카프카에 대한 설명과 더불어 카프카와 연동하는 아파치 하둡이나 스톰에 대해서도 다룬다. 단지 카프카에 대해 이해하는 것뿐만 아니라 이용하는 법을 알려줘 독자의 기술적인 기반을 넓히는 것이 목표다.

★ 옮긴이의 말 ★
아파치 카프카(Apache Kafka)는 2011년 링크드인(LinkedIn)이 자사에서 웹사이트가 생성하는 다양한 소스로부터 나오는 대량의 이벤트를 처리하기 위해 만들어졌다. 페이지뷰, 검색, 소셜네트워크 활동 같은 다양한 데이터 소비자가 접근해 정보를 가져오는 저장소 역할도 수행했다. 이렇게 자사에서 사용한 프로그램을 오픈소스화한 프로젝트가 바로 아파치 카프카다.
아파치 카프카 프로젝트는 같은 해인 2011년 6월에 아파치 인큐베이터 프로젝트에 등록되었고 불과 1년 만인 2012년 10월에 아파치 인큐베이터를 졸업해 아파치 탑 프로젝트로 승격되었다.
아파치 카프카는 저지연성을 가지지만, 스루풋(throughput)에 주안점을 두지 않은 액티브엠큐(ActiveMQ)와 다양한 소비자를 다룰 때 지연시간(latency)을 보장하지 못하는 플룸(Flume)과 스크라이브(Scribe) 두 솔루션 간의 큰 차이를 메우기 위해 만들어졌다. 하둡 같은 대용량 배치 처리 시스템과 스트리밍 처리를 하는 스톰에 데이터를 전달하는 중간자 역할을 할 수 있다.
이 프로젝트는 최근에 나온 빅데이터 관련 프로젝트가 그렇듯 짧은 시간 동안 많이 변화했지만, 카프카만이 가지는 고유한 특징이 있기 때문에 앞으로 계속 발전하는 프로젝트가 될 것이라고 조심스럽게 예측해본다. 다른 모든 시스템이 그렇듯 아파치 카프카 역시 만능은 아니다. 그러나 독특한 성격의 카프카의 장점을 활용해 목적에 맞게 사용한다면, 인프라 문제 해결에 열쇠가 될 수 있을 것이다.

양원국

목차
1장 카프카 소개
카프카의 필요성
카프카의 사용 예
요약
2장 카프카 설치
카프카 설치
___카프카 다운로드
사전에 필요한 소프트웨어 설치
___자바 1.6 또는 이후 버전 설치
카프카 빌딩
요약
3장? 카프카 클러스터 설정
단일 노드 단일 브로커 클러스터
___주키퍼 서버 구동
___카프카 브로커 시작
___카프카 토픽 생성
___메시지를 보내기 위한 생산자 구동
___메시지를 소비하기 위한 소비자 구동
단일 노드 다중 브로커 클러스터
___주키퍼 구동
___카프카 브로커 구동
___카프카 토픽 생성
___메시지를 보내기 위한 소비자 구동
___메시지 소비를 위한 소비자 구동
다중 노드 다중 브로커 클러스터
카프카 브로커 속성 목록
요약
4장 카프카 디자인
카프카 디자인의 핵심 토대
카프카 메시지 압축
카프카의 클러스터 미러링
카프카 리플리케이션
요약
5장 생산자 작성
자바 생산자 API
간단한 자바 생산자
___클래스 임포트
___속성값 정의
___메시지를 만들고 보내기
메시지 파티셔닝을 하는 단순한 자바 생성자 생성
___클래스 임포트
___속성값 정의
파티셔너 클래스 구현
___메시지 만들고 보내기
카프카 생산자 속성 목록
요약
6장 소비자 작성
자바 소비자 API
상위 레벨 소비자 API
단순 소비자 API
단순 상위 레벨 자바 소비자
___클래스 임포팅
___속성 정의
토픽으로부터 메시지를 읽고 출력
다중 파티션 토픽을 위한 멀티스레드 소비자
___클래스 임포트
___속성 정의
___스레드로부터 메시지를 읽고 출력
카프카 소비자 속성 목록
요약
7장 카프카 연동
스톰과 카프카 연동
___스톰 소개
___스톰과 연동
하둡과 카프카의 연동
___하둡 소개
___하둡과 연동
___하둡 생산자
___하둡 소비자
요약
8장 카프카 도구
카프카 관리 도구
___카프카 토픽 도구
___카프카 리플리케이션 도구
다른 도구와 연동
카프카 성능 테스팅
요약