2017/1112 [HBASE] 테이블 읽어보기 HBASE에 있는 table이 제대로 읽어지는지 확인이 필요해서 아래와 같이 코드를 작성했다.HBASE Client와 server version은 모두 0.98.11을 사용했다. (낮아도 한~~참 낮다 -_-) HBaseConfiguration으로 hbase 설정을 해 준후, HBaseAdmin을 이용해서 table list를 가져오자.Scan 객체를 생성한 후 table의 row마다 print를 해줘서 해당 row 내용을 읽는다.참고로 위에서 선언한 객체들은 다 deprecated 된 상태이다. (-_-!!!!)테스트 용으로 대충 만든 거라... 실제 서비스용으로 사용하기 위해서는 다른 코드를 사용하는 것이 정신 건강에도 더 좋을 듯 하다. 2017. 11. 10. [RUBY] 간단하게 사용해보기 우연찮게 RUBY 프로젝트를 접할 기회가 생겨서, 간단하게 사용 방법을 정리해 보고자 한다. 기준은 역시나 Ubuntu 14.04..아래와 같이 ruby를 설치하자.$> apt-get install ruby 제대로 설치가 되었는지 확인하기 위해 version을 확인해 보자.$> ruby --version 제대로 설치가 되었다면 이제 gem을 통해 bundler를 설치하자. 참고로 gem은 python에서의 pip와 같이 패키지를 설치할 수 있게 도와주는 툴인 것 같고 bundler는 패키지 의존성을 관리해주는 툴인 것 같다. 대부분 github를 살펴보면, Gemfile이 있는 것을 볼 수가 있는데, 이는 python의 requirement.txt와 비슷하게 설치하고자 하는 패키지들을 쫙 나열하고, 한번.. 2017. 11. 9. [MYSQL] LOAD DATA 사용하기 MYSQL 데이터를 마이그레이션 해야 하는 일이 발생 했다. 데이터를 밀어 넣기 위해 아래와 같이 sql alchemy를 이용해서 작업을 진행했는데.. 속도가 너무나 느렸다. 1건 당 commit을 진행하도록 코드를 작성한 것도 느린 속도에 큰 영향을 끼쳤을 것 같다. for value in valuelist: try: item = db_session.query(TEST).filter_by(id = value['id']).first() if item == None: test = TEST(value) db_session.add(test) db_session.commit() except ValueError as e: log.error('insert error %s' %(e)) for 문으로 10000개씩 묶.. 2017. 11. 7. 이전 1 2 다음
