es에서 index가 기하급수적으로 늘어나면서 디스크 용량이 부족해지기 시작했다.
index 정리를 하자...
그래서 찾아본게 curator!!
쉽게 말해서 index를 날짜 패턴별로 삭제를 쉽게 도와주는 프로그램이다.
이제 curator를 설치하고 실행하는 걸 해 보자.
아래와 같이 curator를 설치한다.
$> pip install elasticsearch-curator
설치 시에 중요한 점이 있는데 curator 버전과 es의 버전을 major 정도는 맞춰주어야 동작이 원할하게 된다.
만약에 버전이 안 맞는 경우 curator 실행 시에 아래와 같은 에러가 발생 할 수 있다.
File "/hanmail/.pyenv/versions/3.9.4/lib/python3.9/base64.py", line 45, in _bytes_from_decode_data
raise TypeError("argument should be a bytes-like object or ASCII "
TypeError: argument should be a bytes-like object or ASCII string, not 'NoneType'
내가 쓰고자 하는 es는 6.x 였기 때문에 curator도 6점대 버전으로 지정해서 설치해 주었다.
$> pip install elasticsearch-curator==v6.0.0
curator가 잘 설치가 되었는지 확인하자.
curator --version이라고 실행하면 아래와 같은 결과가 출력된다.
curator, version 6.0.0
이제 curator 실행을 위한 config 파일과 action 파일을 생성하자.
config.yml
client:
hosts:
- es 주소
port: 9200
url_prefix:
use_ssl: False
certificate:
client_cert:
client_key:
ssl_no_validate: False
http_auth:
timeout: 30
master_only: False
logging:
loglevel: INFO
logfile:
logformat: default
blacklist: ['elasticsearch', 'urllib3']
특이한 옵션 중 master_only과 blacklist가 있는데 각각에 대해 살펴보자.
master_only : True로 설정하면, master로 선출된 노드에 대해서만 curator가 설치가 된다. 만약 master_only이 True이고 hosts의 값이 2개 이상일 경우에는 에러가 발생한다.
blacklist : 선택된 항목에 대해서는 logging을 남기지 않는다.
action.yml
actions:
1:
action: delete_indices
options:
ignore_empty_list: True
continue_if_exception: False
disable_action: False
filters:
- filtertype: pattern
kind: prefix
value: test1-
- filtertype: age
source: name
direction: older
timestring: '%Y.%m'
unit: days
unit_count: 365
2:
action: delete_indices
options:
ignore_empty_list: True
continue_if_exception: False
disable_action: False
filters:
- filtertype: pattern
kind: prefix
value: test2-
- filtertype: age
source: name
direction: older
timestring: '%Y'
unit: months
unit_count: 12
위와 같이 해당 패턴으로 삭제하고자 하는 index를 등록함으로써 curator에서 삭제를 하도록 설정할 수가 있다.
unit의 경우 seconds, minutes, hours, days, weeks, months, years 의 설정이 가능하다.
또한 해당 action을 잠시 중지시키고 싶을 때는 disable_action 값을 True로 선언하면 된다.
이렇게 두 개의 파일 생성이 끝났다면 이제 curator를 실행해보자.
$> curator --config config.yml action.yml
아래와 같이 index가 잘 삭제되는 걸 확인할 수가 있다.
참고로 아래와 같이 dry-run 모드로 실행하면 실제 index 삭제는 이뤄지지 않는다. test 경우에만 dry-run 모드로 실행하도록 하자.
$> curator --config config.yml --dry-run action.yml
