[SPARK] docker로 스파크 설치하기 (우분투 14.04)

DOCKER를 이용해서 우분투 14.04 환경에서 SPARK를 설치해보자. (이게 가장 쉬우니깐..)

DOCKER HUB에서 위의 사이트 이미지가 spark 사용하기에는 가장 적합한 것 같다. (ipython notebook도 설치 되어 있고, scala, python2, python3 모두 연결되어 있음)

아래 명령어로 docker hub에서 이미지를 가져온다.

$> sudo docker pull jupyter/all-spark-notebook

위의 명령어를 실행하면 아래와 같이 이미지를 다운받고 extract 하는 과정을 볼 수가 있다.

image 다운이 다 되었으면, 아래의 명령어를 통해 다운 받은 image를 확인할 수가 있다.

$> sudo docker images

제대로 설치가 되었다면 아래와 유사한 목록 리스트가 나타나야 한다.

이제 이미지를 이용해서 컨테이너를 만들고 해당 컨테이너 서비스를 구동시켜보자.

컨테이너를 만들고 실행시키기 위해서 아래의 명령어를 이용한다.

$> sudo docker run -d -p [외부포트]:[컨테이너내부포트] -e GRANT_SUDO=yes --name [컨테이너 이름] jupyter/all-spark-notebook

ex) sudo docker run -d -p 8888:8888 -e GRANT_SUDO=yes --name test_spark jupyer/all-spark-notebook

docker ps 명령을 통해 해당 컨테이너가 잘 실행되었는지를 확인하자.

$> sudo docker ps

방금 만든 컨테이너가 보인다면, 해당 서비스가 잘 구동되어 있음을 나타내는 것이다.

이제 웹상에서 해당 machine의 ip와 port(ex) 8888)를 친후 ipython-notebook을 실행해보자.

Ju Factory