[ELASTICSEARCH] es 모니터링하기

es 클러스터 상태 확인하기 $> curl -s "http://localhost:9200/_cat/health?format=json&pretty" timestampAPI를 호출한 시간cluster클러스터 이름status클러스터의 상태green : 정상 상태yellow : 모든 primary shard는 정상적으로 동작하나 일부 혹은 전체 replica shard가 정상 동작하지 않음red : 일부 혹은 전체 primary / replica shard가 정상 동작하지 않음node.total클러스터의 전체 노드 수node.data클러스터 내의 데이터 노드 수shards클러스터 내의 전체 shard 수pri클러스터 내의 primary shard 수relo재배치되고 있는 shard 수. 해당 값이 높은 경우 ..

특정 index의 replica 개수 변경하기 $> curl -X PUT "localhost:9200/test/_settings?pretty" -H 'Content-Type: application/json' -d'{ "index.number_of_replicas": 3}' url의 첫 번째 path에 index 명(여기서는 test)을 넣어 준다. 만약 모든 index를 대상으로 설정하고 싶은 경우에는 _all 지시자를 넣어주자. $> curl -X PUT "localhost:9200/_all/_settings?pretty" -H 'Content-Type: application/json' -d'{ "index.number_of_replicas": 3}' index 색인 갱신 주기 설정 $> c..

elasticsearch version upgrade 클러스터로 구성된 es의 버전을 업그레이드 하는 방법으로는 모든 es node를 다 중지한 후 업그레이드 하는 방식과 클러스터로 구성된 node를 하나씩 중지한 후 es 버전 업그레이드 한 후 클러스터에 다시 조인시키는 방법이 있다. 두 번째 방법에 대해 설명하고자 한다. 우선 es 버전 업그레이드를 하기 위해서는 아래의 버전 규칙을 따라야 한다. 5.6 이하 버전인 경우 : es 5.6 버전으로 업그레이드 -> 6.8 버전으로 업그레이드 -> 7.8 버전으로 업그레이드 5.6 이상 6.8 이하인 경우 : 6.8 버전으로 업그레이드 -> 7.8 버전으로 업그레이드6.8 이상 7.8 이하인 경우 : 7.8 버전으로 업그레이드 1. 업그레이드를 하기 전에..

es 구동시에 jvm 설정과 관련이 있는 jvm.options 파일에 대해 알아보자.위치는 es를 설치한 위치에서 config 폴더로 들어가면 jvm.options 파일을 확인할 수 있다. 주요 설정은 아래와 같다. heap memory 설정 -Xms1g-Xmx1g Xms : java application에서 사용하게 될 heap memory의 최소 메모리 크기를 의미한다.Xmx : java application에서 사용하게 될 heap memory의 최대 메모리 크기를 의미한다. 처음 실행 시에는 최소의 heap memory(Xms)의 크기만 확보하다가 더 많은 heap memory가 필요하게 된다면 Xmx까지 메모리를 확장하게 된다. Xms에서 필요에 의해 Xmx로 메모리를 확장했을 시에 성능 상의 ..

es의 가장 중요 요소인 config 파일에 대해 분석해 보기로 한다. es를 설치하면 config 폴더가 생성이 되고 그 안에 elasticsearch.yml 파일이 존재하게 되는데 사실상 es 설치의 핵심이라고 볼 수가 있다. 이에 대해 분석해 보자. Cluster cluster.name: elasticsearch 클러스터의 이름을 설정할 수가 있다. 내가 가진 노드들을 하나의 클러스터로 묶기 위해서는 해당 이름이 모두 똑같아야 하나의 클러스터로 구성 할 수가 있다. Node node.name: ${HOSTNAME}node.attr.rack: r1node.master: truenode.data: falsenode.ingest: false node.name : node 별 이름을 설정할 수가 있다. 하..

2025.05.27 - [Big Data] - [HADOOP] hadoop ha 설치하기 [hadoop 설정] [HADOOP] hadoop ha 설치하기 [hadoop 설정]prerequisite아래와 같이 준비 작업을 하자. software 준비- hadoop 2.10.1 다운https://hadoop.apache.org/release/2.10.1.html Apache HadoopRelease 2.10.1 available hadoop.apache.org - zookeeper 3.7.0 다운https://archive.apache.org/dist/zookeepyujuwon.tistory.com 위 작업이 완료되었다면, 현재 namenode[1:2]에서는 zookeeper만 덩그러니 떠 있을 것이다!! ..