[TENSORFLOW] tensorboard 사용하기

TensorFlow 에서는 Tensorboard라고 하는 시각화 서비스를 제공한다. Tensorboard를 통해 Loss의 흐름이나 각 스텝 별 값이 변화등을 확인할 수가 있다.

그럼 이제 어떻게 Tensorboard를 사용하는지 우선 코드를 보자.

import tensorflow as tf

import numpy as np

raw_data = np.random.normal(10, 1, 100)

alpha = tf.constant(0.05)

curr_value = tf.placeholder(tf.float32)

prev_avg = tf.Variable(0.)

update_avg = alpha * curr_value + (1 - alpha) * prev_avg

avg_hist = tf.summary.scalar("running_average", update_avg)

value_hist = tf.summary.scalar("incoming_values", curr_value)

merged = tf.summary.merge_all()

writer = tf.summary.FileWriter("./logs")

init = tf.global_variables_initializer()

with tf.Session() as sess:

sess.run(init)

for i in range(len(raw_data)):

summary_str, curr_avg = sess.run([merged, update_avg], feed_dict={curr_value:raw_data[i]})

sess.run(tf.assign(prev_avg, curr_avg))

writer.add_summary(summary_str, i)

우선 평균이 10이고 표준편차가 1인 100개의 랜덤 변수를 만들어서 raw_data에 저장한다. alpha는 현재의 평균값과 이전 평균값에 대한 가중치를 말하는데 0.05로 설정을 해준다. (모멘텀 같은 개념)

curr_value가 tf.placeholder로 되어 있는데 실제 값이 들어가는 것은 아니고 run할 때 값들이 들어 갈 수 있도록 장소만 제공해주는 것을 말한다.

prev_avg는 상수 0으로 설정해주고, update_avg는 현재 평균에 가중치를 곱한 값에 이전 평균에 1-가중치를 곱한 값을 더하도록 operator를 만들어 준다.

이제 tensorboard에서 보기 위한 summary note를 만들 것이다.

avg_hist, value_hist에 대한 summary note를 각각 만들고, 해당 summary note를 한꺼번에 실행하기 위해 merge_all을 통해 summary note들을 merge한다.

summary의 결과는 현재 위치의 log폴더 안에 쓸 수 있도록 설정한다. tensorboard는 operator가 실행 시 실시간으로 데이터를 받아서 뿌려주는 것이 아니라 summary의 결과로 쓰여진 파일을 읽어서 해당 값을 display 해주도록 되어 있기 때문에 해당 경로 설정이 상당히 중요하다.

이제 tensorboard에서 보여질 summary에 대한 설정이 끝났으며, tf.session을 실행시켜서 실제 operator를 실행시키고 summery를 실제로 writing 해보자.

sess.run([merge, update_avg])를 하면 update_avg operator가 실행이 되고, summery note에서 요약한 update_avg와 curr_value가 summary_str에 쓰여진다.

그 옆에 dict 파라미터로 feed_dict={curr_value:raw_data[i]]} 가 있는데 방금 위에서 설명 했듯이 curr_value는 데이터를 저장할 공간인 placeholder이고 raw_data[i]의 데이터를 매번 새롭게 받아서 curr_value에 저장하게 된다.

tf.assign으로 이전 평균의 값을 현재 평균의 값으로 바꾸자.

마지막으로 sess.run을 통해 수신된 summary_str과 해당 step 값을 파라미터로 받아 writer로 써주게 되면 해당 log 위치 (현재 예에서는 ./log/) 내에 파일을 만들고 해당 내용을 write 한다.

그럼 이번에는 tensorboard를 실행시켜 보자.

tensorFlow가 설치되어 있는 shell에서 아래와 같이 실행하면 된다.

$> tensorboard --logdir=./logs

--logdir에는 아까 코드상에서 summary_note를 파일로 옮겨쓴 폴더의 위치를 명시해 주어야 tensorboard에서 올바르게 해당 값을 찾아 낼 수가 있다.

디폴트 포트는 6006이기 때문에 브라우저 상에서 해당 ip:6006을 치게 되면 아래와 같이 요약된 그래프들을 볼 수가 있다.

tensorboard 단점이 하나 있는데, tensorboard를 띠운 상태에서 log 파일이 수정되거나 삭제되었을 시 해당 log파일을 인식하지 못하는 문제가 있다. 

그래서 나같은 경우에는 log가 새로 생길때마다 tensorboard 서비스를 죽였다가 다시 띠워서 확인을 하고 있긴 하다.

(번거롭긴 함...)