2025.05.27 - [Big Data] - [HADOOP] hadoop ha 설치하기 [hadoop 설정] [HADOOP] hadoop ha 설치하기 [hadoop 설정]prerequisite아래와 같이 준비 작업을 하자. software 준비- hadoop 2.10.1 다운https://hadoop.apache.org/release/2.10.1.html Apache HadoopRelease 2.10.1 available hadoop.apache.org - zookeeper 3.7.0 다운https://archive.apache.org/dist/zookeepyujuwon.tistory.com 위 작업이 완료되었다면, 현재 namenode[1:2]에서는 zookeeper만 덩그러니 떠 있을 것이다!! ..

prerequisite아래와 같이 준비 작업을 하자. software 준비- hadoop 2.10.1 다운https://hadoop.apache.org/release/2.10.1.html Apache HadoopRelease 2.10.1 available hadoop.apache.org - zookeeper 3.7.0 다운https://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/ Index of /dist/zookeeper/zookeeper-3.7.0 archive.apache.org - java8 설치 namenode 서버 2대, datanode 서버 3대 준비- namenode[1~2]- datanode[1~3] - hadoop 구성 시작하기 [ssh k..

10년?? 간 잘 동작하고 있던 앱에서 갑자기 아래와 같은 무시무시한 메일을 받게 되었다.. 해당 메일로는 어떤 문제가 있는지 확인 할 수가 없어서 애드몹에 들어가서 상세한 내용을 확인해 보기로 했다. 상세 내용은 정책 센터의 메뉴를 클릭하면 확인을 할 수가 있었다.하지만 상세 내용은 아래와 같이 고작 7글자 뿐... 사이트 행동: 탐색 과연 이게 무슨 뜻일까... 일단은 해당 화면이 콘텐츠 영역과 광고 영역이 따로 구분이 없어서 생기는 문제 같아서 콘텐츠 영역에 아래와 같이 boundary 경계선을 추가한 후 다시 승인 요청을 했다. 하지만 승인 실패...도저히 이유를 모르겠어서 애드몹 고객센터를 통해 원인을 문의했다. (지금 생각한 거지만.. 모를 땐 물어보는게 가장 빠른 방법이었던 것 같다.) ..

2025.05.23 - [Big Data] - [KAFKA] kafka broker scale out 하기 topic 이전 -> 기존 broker server remove 위의 순서대로 진행할 예정이다. 일단 broker scale out을" data-og-host="yujuwon.tistory.com" data-og-source-url="https://yujuwon.tistory.com/entry/KAFKA-kafka-broker-server-%EA%B5%90%EC%B2%B4-%ED%95%98%EA%B8%B0" data-og-url="https://yujuwon.tistory.com/entry/KAFKA-kafka-broker-server-%EA%B5%90%EC%B2%B4-%ED%95%98%EA%B8%..

kafka를 서비스 중인 broker server의 연식이 다 되어서 교체할 필요가 생겼다. 교체 순서는 우선 broker scale out -> topic 이전 -> 기존 broker server remove 위의 순서대로 진행할 예정이다. 일단 broker scale out을 위해 신규 서버에 kafka를 설치한다.kafka 설치는 https://kafka.apache.org/downloads 해당 사이트에 들어 간 후 자신이 원하는 버전의 kafka를 다운 받으면 된다. 다운을 다 받았다면 압축을 푼 후, kafka/config 폴더 내의 server.properties 파일을 수정해 주자. 우선 수정해야 할 것은 broker.id를 수정해 준다.기존 kafka broker에 scale out을 하..

kafka의 효율적인 관리를 위해 kafka-ui를 설치해 보자.kafka-ui는 k8s 상에서 설치하는 것을 전제로 했기 때문에 helm chart를 이용해서 설치하도록 한다. 우선 helm에 kafka-ui를 설치하기 위해 helm repo를 추가해 준다. $> helm repo add kafka-ui https://provectus.github.io/kafka-ui-charts 차트에 value 값을 수정하기 위해 value 데이터를 저장한다. $> helm show values kafka-ui/kafka-ui > override-values.yaml override-values.yaml을 열어서 아래와 같이 내용을 수정해 준다. .....yamlApplicationConfig: kafka: ..