Programming/python67 es curator es에서 index가 기하급수적으로 늘어나면서 디스크 용량이 부족해지기 시작했다. index 정리를 하자... 그래서 찾아본게 curator!! 쉽게 말해서 index를 날짜 패턴별로 삭제를 쉽게 도와주는 프로그램이다. 이제 curator를 설치하고 실행하는 걸 해 보자. 아래와 같이 curator를 설치한다. $> pip install elasticsearch-curator 설치 시에 중요한 점이 있는데 curator 버전과 es의 버전을 major 정도는 맞춰주어야 동작이 원할하게 된다. 만약에 버전이 안 맞는 경우 curator 실행 시에 아래와 같은 에러가 발생 할 수 있다. File "/hanmail/.pyenv/versions/3.9.4/lib/python3.9/base64.py", line .. 2024. 3. 8. python-snappy 설치하기 단순하게 pip install python-snappy를 실행하면 snappy.h 파일이 없다는 에러 메시지가 나온다. mac silicon 기준으로 일단 brew로 snappy를 설치해주자. $> brew install snappy 이 후 이제 이 snappy를 wrapping하는 python-snappy를 설치해야 한다. silicon의 경우 CPPFLAG 옵션을 통해 library와 헤더파일 경로를 명시해주어야 한다. 아래와 같이 명시해 주자. $> CPPFLAGS="-I/opt/homebrew/include -L/opt/homebrew/lib" pip install python-snappy 설치가 잘 되는 것을 확인할 수가 있다. 2023. 12. 15. anaconda에서 pipenv 그리고 다시 pyenv로... anaconda을 그다지 추천하지 않는 방법이라 pipenv를 써보기로 결정했다. 일단 anaconda의 단점으로 너무나 큰 패키지 파일.. 그리고 conda install 시, anaconda에 패키징 되어 있는 패키지만 설치가 된다는 단점.. 요런 것들이 사용자로 하여금 약~~~간 찝찝함을 주었다. 게다가 pipenv는 python에서 공식으로 지원해주는 패키지 툴이라길래 믿음이 갔다. pipenv에는 lock 파일이 있어서, 보다 명확한 패키지 dependency를 보장한다. 단순 requirements.txt로도 해당 패키지의 의존패키지까지 dependency를 보장해주지는 않는다고 들었는데, pipenv는 해당 문제를 개선할 수 있어 보였다. $> brew install pipenv 위 명령을 .. 2023. 12. 14. 눈물의 pyenv .... 맥을 arm64로 변경하고 나서부터인가.. 갑자기 pyenv intall 이 동작이 되지 않았다!!! ~/.pyenv 폴더를 지우고, brew로 pyenv를 다시 깔아 봤으나 pyenv install로 파이썬을 설치하려고 하면 아래와 같은 에러가 발생!! Traceback (most recent call last): File "", line 1, in File "/Users/machizhov/.pyenv/versions/3.8.6/lib/python3.8/curses/__init__.py", line 13, in from _curses import * ModuleNotFoundError: No module named '_curses' 분명 mac에서 python 실행 후 from _curses impor.. 2023. 12. 14. logging config 사용하기 python에서는 log config를 활용해서 코드 상에서의 로그 설정 없이 로그를 설정 할 수가 있다. 우선 아래와 같은 로그 파일을 생성한다. [loggers] keys=root,test1Logger,test2Logger [handlers] keys=streamHandler,fileHandler, rotatingFileHandler [formatters] keys=simpleFormatter,complexFormatter [formatter_simpleFormatter] format=[%(name)s] %(message)s [formatter_complexFormatter] format=%(asctime)s %(levelname)s [%(name)s] [%(filename)s:%(lineno)d] .. 2023. 1. 9. 동적으로 module import 하기 파이썬에서 정적으로 module을 import를 하려고 하면 아래와 같이 사용하면 된다. import xxxx 그렇다면 동적으로 import는 어떻게 해야 할까?? 여기서는 손쉽게 import 할 수 있도록 importlib를 이용한 방법을 소개한다. 예를 들어 lib폴더에 module.py라는 함수가 있다고 가정하자. module.py def print(): print('module') 아래와 같이 사용함으로써 lib의 module.py package를 가져올 수가 있다. import os import sys sys.path.append(os.path.dirname(os.path.abspath(os.path.dirname(__file__)))) import importlib pkg = importlib.. 2022. 10. 1. selenium으로 크롤링 하기 로그인 한 후 데이터를 긁어와야 하는 웹 페이지는 어떤 식으로 데이터를 긁어와야 할까?? 이것 저것 찾아보다가 selenium이란 패키지를 발견했다. selenium은 headless (브라우저를 띄우지 않고 브라우저처럼 행동하는 것) chrome을 이용해서 실제 사용자가 액션을 취한 것처럼 동작시키는 작업을 한다. 기본 작업 방법은 다음과 같다. 1. chrome driver 설치 2. crawling 관련 패키지 설치 3. selenium으로 로그인 후 세션 찾기 4. 세션을 python requests 세션에 넣은 후 api 호출하기. 1. 우선 selenium을 사용하기 위해서는 chrom driver를 설치해야 한다. 해당 환경은 mac이라서 brew를 이용해서 아래와 같이 설치했다. $> br.. 2022. 2. 24. multi process 구현하기 python을 이용해서 multi process를 구현해 보기로 한다. 코드는 엄청 간단하다. from multiprocessing import Process def start_node(index): print(index) if __name__ == "__main__": num = 1 proc = Process(target=start_node, args=(num,)) proc.start() proc.join() 위의 예제 코드를 활용해서 기존 코드를 multi process로 전환하였지만 아래와 같은 문제가 발생했다. 해당 프로세스를 종료시켰으나, fork시킨 process가 종료되지 않고 좀비 프로세스로 남아있는 문제였다. 이를 방지하기 위해 Process 생성 시 daemon = True argume.. 2021. 11. 19. gunicorn 메모리 leak 해결하기. 파이썬에서 가장 간편한 웹 서버로 flask를 주로 이용한다. flask를 이용하다가 조금 규모가 커지거나 로직이 필요한 작업이 생기면, 이때부터 async를 고려하게 되는데, 나 같은 경우에는 gnicorn을 사용함으로써 async 문제를 풀곤 했다. 그런데 gunicorn 사용 후 어느 순간부터 메모리가 차츰 차츰 올라가는 것을 발견했다. '어.. 이거 왜 안떨어지지??' 메모리가 아주 느리지만 조금씩 올라가고 있는 것을 확인해 볼수가 있다. 엄청난 인고의 고통 속에 원인이 gunicorn이란 것을 밝혀냈다. 또한 구글에서 "gunicorn memory leak" 으로 검색해보면 나같이 메모리 릭으로 고생하고 있는 수많은 블로그들을 찾아볼 수가 있다. 원인은 gunicorn에서 생성한 worker 노.. 2021. 10. 6. 이전 1 2 3 4 ··· 8 다음
