아래와 같이 코드를 작성하여 해당 주소에 대한 crawling을 시도하였는데 계속 response timeout이 발생하였다. import urllib2 try: response = urllib2.urlopen(url)except urllib2.HTTPError, e: print e.reason.args[1]except urllib2.URLError, e: print e.reason.args[1] '어 안될리가 없는데??'하도 이상해서 브라우저 창에 직접 쳐봤더니 데이터를 제대로 가져온다. '아.. header 검사하나보다.'신속하게 아래와 같이 user-agent header 추가. import urllib2 try: req = urllib2.Request(url) req.add_header('User..

foreach를 사용하여 코딩하는 일이 많은데, foreach에서 index를 건너뛰고 싶은 경우에 어떻게 하는지를 알고 싶었다. for문으로 바꿔서 스탭을 주자니 먼가 좀 찝찝하고... sampleList = [1, 2, 3, 4, 5, 6] sampleList_length = len(sampleList) for i in range(1, len(sampleList), 2):print sampleList[i] 이렇게 바꿔서 표현해도 정상 동작했지만, foreach에서 동작하게 해보고 싶었다. 하는 방법은 너무도 간단..foreach에도 아래와 같이 코딩하여 step을 지정해 줄 수 있었다. for i in sampleList[::2]:print i [] 안의 요소는 문자열 sliding 규칙과 동일하다...

beautiful soup 설치 (우분투 환경)$> pip install beautifulsoup4 웹페이지의 GET 데이터 정보 가져오기from bs4 import BeautifulSoupimport urllib2 try: response = urllib2.urlopen("가져올 웹페이지 주소") page = response.read().decode('cp949', 'ignore') # 인코딩 변환이 필요할 경우 response.close()except urllib2.HTTPError, e: print e.reason.args[1]except urllib2.URLError, e: print e.reason.args[1] soup = BeautifulSoup(page) 웹페이지의 GET 데이터 정보 가져..

파이썬에서 현재 날짜 가져오기.. 자주 쓰는 기능인데 항상 까먹는다..이 기회에 외우자. from datetime import datetime datetime.today() # 현재 날짜 가져오기 datetime.today().year # 현재 연도 가져오기datetime.today().month # 현재 월 가져오기datetime.today().day # 현재 일 가져오기datetime.today().hour # 현재 시간 가져오기 위와 같이 데이터를 가져오는 경우가 있고, 나같은 경우에는 내가 원하는 포멧으로 출력을 원하기 때문에 아래와 같이 strftime() 함수를 이용한다. datetime.today().strftime("%Y%m%d%H%M%S") # YYYYmmddHHMMSS 형태의 시간 출력..

요즘 대부분의 python 업무를 Django로 진행하여서 ORM을 따로 신경쓰지 않아도 됐었는데, 때마침 기존 python script에서 DB를 호출해서 사용해야 할 업무가 생겨났다. JAVA 같은 경우에는 mybatis라는 좋은 ORM 도구가 있는데, 과연 python에도 이렇게 쓸 수 있는게 있을까? 열심히 구글링 하였고 예전부터 많이 들어보았던 SQLAlchemy를 사용하게 되었다. 기존 ORM과 그리 크게 다르지 않으며, 좀 더 이해를 쉽게 하기 위해 Model부분, database부분, controller부분 이렇게 세 부분으로 나누어 봤다. 일단 sqlalchemy를 사용하기 위해서는 sqlalchemy를 설치해야 한다. pip install sqlalchemy 만약 데이터베이스로 mysq..

파이썬에서 외부 명령어를 사용할 때 대부분 os.system(cmd) 를 많이 쓴다. 하지만 os.system을 쓸 경우에는 결과 값을 문자열로 가져오려면 꽤나 번거롭다. 파일로 저장한 후 파일로 읽어서 가져오는 방법이 있기는 하지만 너무나 번거롭다. 하지만 아래의 코드와 같이 사용하면 외부 결과를 문자열로 저장할 수가 있다.