Kafka9

• 

  AWS 기반 Spring Cloud Config + Cloud Bus Kafka + Config Monitor 구성 Spring Cloud Config Monitor 와 Spring Cloud Bus, Kafka 를 이용한 설정 변경내용 적용 아키텍쳐 Git Repository 에 별도로 구성되어있는 설정파일을 변경하면 Hook을 통해 Spring Cloud Config 의 /monitor EndPoint 를 호출 Spring Cloud Bus Kafka 가 Kafka 를 통해 Spring Cloud Config Client 들에게 refresh 메세지를 전송하여 변경된 설정사항이 적용되게 한다 Spring Cloud Config Architecher 1) Config Server 도메인 생성 및 ALB 호스트 헤더 기반 규칙 추가 ALB 호스트 헤더 기반 규칙 추가하는 방법은 링크 참조 https://freedeve.. SpringCloud 2021. 7. 23.

• 

  [Apache kafka 조금 아는 척하기] 카프카 컨슈머 https://www.youtube.com/watch?v=xqrIDHbGjOY&list=PLwouWTPuIjUgr29uSrSkVo8PRmem6HRDE&index=1 컨슈머 토픽 파티션에서 레코드 조회 Properties prop = new Properties(); prop.put("bootstrap.servers","localhost:9092") prop.put("group.id","group1"); // group.id 지정 prop.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); prop.put("value.serializer", "org.apache.kafka.common.serialization.Str.. 개발강의정리/DevOps 2021. 1. 5.

• 

  [Apache kafka 조금 아는 척하기] 카프카 프로듀서 https://www.youtube.com/watch?v=geMtm17ofPY&list=PLwouWTPuIjUgr29uSrSkVo8PRmem6HRDE&index=2 프로듀서 토픽에 메시지 전송 토픽, 키, 값 프로듀서를 사용해서 메시지를 보내는 코드 // Properties를 통해서 ack, batch사이즈 등의 설정 함 Properties prop = new Properties(); prop.put("bootstrap.servers", "kafka01:9092,kafka01:9092,kafka01:9092"); prop.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); prop.put("value.serial.. 개발강의정리/DevOps 2021. 1. 5.

• 

  [Apache kafka 조금 아는 척하기] 카프카란? https://www.youtube.com/watch?v=0Ssx7jJJADI&list=PLwouWTPuIjUgr29uSrSkVo8PRmem6HRDE&index=3&t=4s 카프카란? https://kafka.apache.org 고성능 분산 이벤트 스트리밍 플랫폼 Fortune 100개 기업 기준으로 80%이상이 kafka 를 사용하고 있음 제조, 은행, 통신 등 다양한 업종에서 높은 비율로 사용중 국내에서도 큰 회사들은 많이 사용하고 있음 기본구조 카프카 클러스터 메세지를 저장하는 저장소 하나의 여러개의 브로커(각각의 서버)로 구성이 됨 브로커들이 메세지를 나눠서 저장, 이중화 처리, 장애가 나면 대체 함 데이터를 이동하는데 필요한 핵심 역할을 맡음 주키퍼 클러스터(앙상블) 카프카 클러스터 관리 카프카.. 개발강의정리/DevOps 2021. 1. 5.

• 

  [아파치 카프카 입문과 활용] 5. Apache kafka 파이프라인 실습 www.youtube.com/watch?v=OX6s1-bYBI4&list=PL3Re5Ri5rZmkY46j6WcJXQYRlDRZSUQ1j&index=20 Kafka 활용 실습 서버 메트릭 수집 및 적재 파이프라인 만들기 서버 메트릭(cpu, ram, network)을 수집 이슈 확인 및 모니터링을 위해 사용 그라파나를 활용하면 그래프 시각화 및 slack alert 가능 그라파나(Grafana)란? - 로그 시각화 도구로서 키바나와 비슷한 역할. 다양한 db source 지원 Metric collect pipeline 요구 사항 CPU, RAM 정보 수집 👉 Telegraf agent 사용 : https://github.com/influxdata/telegraf Telegraf : influxdata에서 .. 개발강의정리/DevOps 2021. 1. 4.

• 

  [아파치 카프카 입문과 활용] 4. Apache kafka 컨슈머 애플리케이션 개발, 실습 www.youtube.com/watch?v=5FEE5wVi8uY&list=PL3Re5Ri5rZmkY46j6WcJXQYRlDRZSUQ1j&index=19 Kafka Consumer application Consumer 데이터를 가져가는(polling) 주체 commit을 통해 읽은 consumer offset을 카프카에 기록 Java Kafka-client 제공 그 외 3rd party language의 경우 아래 링크 참고 👉 https://cwiki.apache.org/confluence/display/KAFKA/Clients 어디에 데이터를 저장하나요? FileSystem(.csv .log .tsv) Object Storage(S3, Minio) Hadoop(Hdfs, Hive) RDBMS(Oracl.. 개발강의정리/DevOps 2021. 1. 4.

• 

  [아파치 카프카 입문과 활용] 3. Apache kafka 프로듀서 애플리케이션 개발, 실습 www.youtube.com/watch?v=4BbKCsKSq_I&list=PL3Re5Ri5rZmkY46j6WcJXQYRlDRZSUQ1j&index=18 Kafka Producer application PRACTICE - Import project from github https://github.com/freeserver1191/tacademy-kafka git clone $ git clone https://github.com/freeserver1191/tacademy-kafka.git Cloning into 'tacademy-kafka'... remote: Enumerating objects: 286, done. remote: Counting objects: 100% (286/286), done. rem.. 개발강의정리/DevOps 2021. 1. 4.

• 

  [아파치 카프카 입문과 활용] 2. Apache kafka 설치, 실행, CLI www.youtube.com/watch?v=ozxVgaqGNhM&list=PL3Re5Ri5rZmkY46j6WcJXQYRlDRZSUQ1j&index=16 Kafka 설치, 실행, CLI https://github.com/freeserver1191/tacademy-kafka 카프카 실습 과정 AWS EC2 발급 EC2접속 EC2 - 주키퍼, 카프카 다운로드 EC2 - 카프카 설치 및 실행 local - 카프카 다운로드 local - 카프카 명령어 실행 PRACTICE - AWS EC2 발급 및 접속 AWS EC2 : AWS의 확장식 컴퓨팅. 즉시 가상 서버 발급 가능 pem 키 받아서 권한 변경 $ chmod 400 test-kafka.pem EC2 접속 $ ssh -i kafka-test.pem ec2-u.. 개발강의정리/DevOps 2021. 1. 4.

• 

  [아파치 카프카 입문과 활용] 1. Apache kafka 기본개념 및 생태계 www.youtube.com/watch?v=catN_YhV6To&list=PL3Re5Ri5rZmkY46j6WcJXQYRlDRZSUQ1j&index=13 Kafka 기본개념 및 생태계 Before Kafka 엔드투엔드(end-to-end) 연결 방식의 아키텍쳐 데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등) 각기 다른 데이터 파이프라인 연결 구조 확장에 엄청난 노력 필요 모든 시스템으로 데이터를 전송 실시간 처리도 가능한 것 데이터가 갑자기 많아지더라도 확장이 용이한 시스템이 필요함 After Kafka 프로듀서/컨슈머 분리 메시지 데이터를 여러 컨슈머에게 허용 높은 처리량을 위한 메시지 최적화 스케일 아웃 가능 관련 생태계 제공 Kafka broker 실행된 카프카 애플리케이션 서버 중 1대 .. 개발강의정리/DevOps 2021. 1. 4.