대부분의 웬만한 웹사이트는 Beautiful soup를 사용하여 parsing을 하면 손쉽게 데이터를 가져올 수 있다.그런데 간혹 웹사이트들 중 Javascript에서 html을 만들어서 실행되는 동적페이지가 있다. 곤란하게도 Beautiful soup에서는 Javascript를 실행해주지 않으며, 그 결과로 parsing도 제대로 동작하지 않느다.이를 해결하기 위해서는 Javascript가 rendering 된 후에 parsing을 할 수 있는 방법을 찾아야 하며 아래 사이트는 그에 대한 해결 방안을 3가지 방법으로 제시하였다.https://www.quora.com/Can-beautifulsoup-scrape-javascript-rendered-webpages내가 사용한 방법은 위의 세 가지 중 Pha..

Python에서는 switch문이나 case문이 존재하지 않는다.그래서 python에서는 switch문과 비슷한 동작을 할 수 있도록 dictionary를 이용해서 아래와 같이 구현한다.switch_map = { 'APPLE' : 1, 'BANANA' : 2, 'TOMATO' : 3}print switch_map['APPLE']print switch_map['BANANA']

절대 경로에 있는 파이썬 class를 import하려면 어떻게 해야 할까?/home/test/define.py 란 python 코드가 아래와 같이 있다고 가정하자.class TestClass: def testFunction(self, flag): print "test Function"/home/test2/main.py 에서 /home/test/define.py에 있는 class를 import 하려면 어떻게 해야 할까?import sys를 이용해서 쉽게 해결할 수 있다.import syssys.path.append('/home/test')from define import TestClasstest = TestClass()test.testFunction('Hello World')

파이썬에서 폴더 안의 파일을 검색해서 처리해야 하는 일들이 종종 생긴다.하지만 중첩된 폴더일 경우 이게 폴더도 있는 건지 파일만 있는 건지 확인도 해야하고, 생각외로 처리해야 할 것들이 많다.간단하기 재귀로 폴더 안의 파일들을 검색하는 로직을 짜봤다.처음 위치의 폴더 경로를 시작으로 해당 하위의 파일들을 찾아서 검색한 후, 만약에 파일이 아니고 폴더면 다시 함수를 호출해서 재귀적으로 폴더 내의 모든 파일을 찾는 함수이다.위와 같은 방법으로 짤 수도 있지만 python에서는 더 좋은 함수를 제공해 주고 있다.os.walk를 사용하면 코드의 간결함 뿐만 아니라 처리 속도 향상도 얻을 수가 있다.(재귀는 좀 찝찝하기도 하고.. )

DB를 사용함에 있어 PK가 있는 경우에는 Update를, PK가 없는 경우에는 Insert를 써야 하는 경우가 많다.Django에서는 insert_or_update라는 함수를 따로 제공해 줘서 이 API를 이용했던 기억이 있는데, sqlalchemy 같은 경우에는 이러한 기능을 따로 제공하지 않는 것 같다.찾아본 결과 sql 쿼리를 직접 날려서 insert_or_update를 처리하거나, select를 해서 pk 여부를 확인한 후 insert를 하는 방법 이렇게 두가지 방법을 확인하였으며, 두 번째 방법으로 insert_or_update 구현하기로 하였다.(사실 oracle처럼 merge란 방법을 쓰란 것도 있었는데, 이건 진짜 도통 모르겠어서 패쓰~)간략하게 코드 설명을 하자면, 우선 연결되어 있는 ..

Package자바, C#과 마찬가지로 Scala에서도 namespace 격인 package가 존재한다. Scala에서는 아래와 같은 3가지 방법으로 package를 선언하고 사용할 수가 있다.자바에서의 package 사용 용법1. 자바와 비슷한 형태package com.jufactoryclass factory12. C#과 비슷한 형태package com.jufactory { class factory1} 3. 중첩 형태package com { package jufactory { class factory1 package otherfactory{ class factory2 } }}만약에 아래와 같은 중첩 코드라면 package의 s..