PhantomJS 사용하기

대부분의 웬만한 웹사이트는 Beautiful soup를 사용하여 parsing을 하면 손쉽게 데이터를 가져올 수 있다.

그런데 간혹 웹사이트들 중 Javascript에서 html을 만들어서 실행되는 동적페이지가 있다. 

곤란하게도 Beautiful soup에서는 Javascript를 실행해주지 않으며, 그 결과로 parsing도 제대로 동작하지 않느다.

이를 해결하기 위해서는 Javascript가 rendering 된 후에 parsing을 할 수 있는 방법을 찾아야 하며 아래 사이트는 그에 대한 해결 방안을 3가지 방법으로 제시하였다.

https://www.quora.com/Can-beautifulsoup-scrape-javascript-rendered-webpages

내가 사용한 방법은 위의 세 가지 중 PhantomJS를 이용한 방법을 사용하였다.

우선 PhantomJS를 설치해 보자.

환경은 우분투 14.04를 기준으로 작성하였다.

처음에는 PhantomJS 실행을 위한 기본 라이브러리들을 설치한다.

$> sudo apt-get install build-essential g++ flex bison gperf ruby perl libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev libpng-dev libjpeg-dev python libx11-dev libxext-dev

설치가 완료되었으면, git 저장소에 있는 PhantomJS 소스 파일을 가져온 후, 빌드를 해준다.

$> git clone git://github.com/ariya/phantomjs.git

$> cd phantomjs

$> git checkout 2.0

$> ./build.sh

빌드가 완료되면 bin 폴더 안에 phantomjs라는 실행 파일이 생성될 것이다. 이제 이 파일을 이용해서 동적 웹페이지를 호출하면 된다.

이제 본격적으로 PhantomJS를 어떻게 사용하는지를 살펴보자.

PhantomJS를 사용하기 위해서는 실행 가능한 Javascript 파일이 하나 필요하다.

나는 아래와 같은 내용의 Javascript 파일을 만들었다.

var page = require('webpage').create();

var system = require('system');

var fs = require('fs');

if (system.args.length === 1){

    console.log('Usage: loadspeed.js <some URL>');

    phantom.exit();

}

var address = system.args[1];

page.open(address, function(status){

     if (status) {

         fs.write('test.html', page.content, 'w');

     }

     phantom.exit();

});

로딩될 동적 페이지 주소를 파라미터로 받아서 test.html을 만들어 주는 Javascript 파일이다.

$> ./phantomjs test.js <someURL>

위의 명령을 입력하면 동적페이지가 로딩된 test.html의 이름을 가진 파일이 생성된다.

이제 이렇게 만들어진 html 파일을 beautiful soup에서 parsing하면 크롤링 작업이 완료된다.

나 같은 경우에는 phantomjs 실행 명령 자체를 python 코드에 내재해서 코드를 작성하였다.

import urllib

import urllib2

import os

import sys

import logging

from bs4 import BeautifulSoup

reload(sys)

sys.setdefaultencoding('utf-8')

def getWebSite(link) :

os.system("phantomjs test.js '" + link + "'")

try:

          f = open('test.html')

          tt = f.read()

          soup = BeautifulSoup(tt)

except urllib2.HTTPError, e:

          logging.exception('http Error : ' + e.reason)

          pass

except urllib2.URLError, e:

          logging.exception('url Error : ' + e.reason)

          pass