spark session 생성 시에 아래와 같은 에러가 발생 했다. java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x706a04ae) cannot access class sun.nio.ch.DirectBuffer 에러가 발생되는 코드는 아래와 같다. SparkSession.builder().config(sparkConf) .getOrCreate() 평상 시에 늘 쓰던 구문인데 갑자기 에러가 발생해서 당황했다. ㅠ_ㅠ 구글링을 해도 별다른 말을 없고.... intelliJ에서 이리저리 설정을 찾던 도중 아래와 같이 Run configuration이 java 11로 되어 있다는 사실을..

mac 환경에서 성능 테스트를 진행할 목적으로 k6를 써보기로 했다. 설치는 간단하다. 아래와 같이 설치 하자 $> brew install k6 k6를 실행하기 위해서는 실행 코드가 담긴 js 스크립트 파일이 있어야 한다. 아래와 같이 작성하자. import http from 'k6/http'; import { SharedArray } from 'k6/data'; import { htmlReport } from "https://raw.githubusercontent.com/benc-uk/k6-reporter/main/dist/bundle.js"; import { textSummary } from "https://jslib.k6.io/k6-summary/0.0.1/index.js"; export funct..

bitbucket에 저장된 저장소로부터 프로젝트를 pull 받은 후 push를 하려고 하니 unauthorized 에러가 발생했다. (아... 요새 자꾸 안되는 것만 포스팅을 하는.....) stack overflow에 다음과 같이 설명이 되어 있었다. Use access keys to gain read-only access to this repository. Learn more about using SSH keys. 즉 프로젝트에 ssh 공개키만 등록이 되어 있는 상태라면 프로젝트 read-only 밖에 되지 않는다는 것이었다. 아... 언제 바꼈지.. 저장소 설정에 등록하는 ssh 키는 삭제하고 사용자 설정 화면에서 ssh 키를 추가로 등록 하자. Personal Bitbucket settings를 ..

단순하게 pip install python-snappy를 실행하면 snappy.h 파일이 없다는 에러 메시지가 나온다. mac silicon 기준으로 일단 brew로 snappy를 설치해주자. $> brew install snappy 이 후 이제 이 snappy를 wrapping하는 python-snappy를 설치해야 한다. silicon의 경우 CPPFLAG 옵션을 통해 library와 헤더파일 경로를 명시해주어야 한다. 아래와 같이 명시해 주자. $> CPPFLAGS="-I/opt/homebrew/include -L/opt/homebrew/lib" pip install python-snappy 설치가 잘 되는 것을 확인할 수가 있다.

anaconda을 그다지 추천하지 않는 방법이라 pipenv를 써보기로 결정했다. 일단 anaconda의 단점으로 너무나 큰 패키지 파일.. 그리고 conda install 시, anaconda에 패키징 되어 있는 패키지만 설치가 된다는 단점.. 요런 것들이 사용자로 하여금 약~~~간 찝찝함을 주었다. 게다가 pipenv는 python에서 공식으로 지원해주는 패키지 툴이라길래 믿음이 갔다. pipenv에는 lock 파일이 있어서, 보다 명확한 패키지 dependency를 보장한다. 단순 requirements.txt로도 해당 패키지의 의존패키지까지 dependency를 보장해주지는 않는다고 들었는데, pipenv는 해당 문제를 개선할 수 있어 보였다. $> brew install pipenv 위 명령을 ..

맥을 arm64로 변경하고 나서부터인가.. 갑자기 pyenv intall 이 동작이 되지 않았다!!! ~/.pyenv 폴더를 지우고, brew로 pyenv를 다시 깔아 봤으나 pyenv install로 파이썬을 설치하려고 하면 아래와 같은 에러가 발생!! Traceback (most recent call last): File "", line 1, in File "/Users/machizhov/.pyenv/versions/3.8.6/lib/python3.8/curses/__init__.py", line 13, in from _curses import * ModuleNotFoundError: No module named '_curses' 분명 mac에서 python 실행 후 from _curses impor..