[Tensor Flow] 간단한 텐서플로우 예제에서 원하는 변수 히스토리 만들기

얼마전에 AND 연산을 학습(^^)하는 걸로 간단히 텐서플로우를 익혔는데요. 이번에는 그 간단한 예제[바로가기]에서 cost나 weight등의 변수의 히스토리를 저장해서 plot해 보는 이야기를 해볼려고 합니다. 원리는 아주 간단한데요. 빈 list를 만들고 append 명령으로 현재 상태에서의 값을 추가해서 학습이 끝난 후 plot해 보는 것입니다.

아이폰을 그냥 구매해서 실제 아이폰이 나올때까지 박스를 뜯는 과정도 블로그에 개봉기라는 이름으로 올리는 세상입니다. 어떤 강좌 어떤 책의 내용에 따른 코드가 잘 동작하는지를 올리는 것도 분명 의미있는 일이라고 생각합니다. 그렇게 해서 몇몇 분들이라도 또 도움이 되고, 또 공부하는 저에게 그 내용이 피드백이 와서 저 또한 공부가 되면 좋겠습니다. 이번 연재는 김성훈 교수님의 유명한 딥러닝과 텐서플로우 공개 강좌[바로가기], 그 외에 엣지있게 설명한 텐서플로우[바로가기], 딥러닝 첫걸음[바로가기]을 정말 단순히 따라가는 수준입니다.

뭐 그렇다는 거구요...  그리고 특히나 이번 글은 더더욱 김성훈 교수님의 내용과 동일합니다. 또 즐겁게 실습해보죠~~

import tensorflow as tf
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt
%matplotlib inline

tf.set_random_seed(777)
print(tf.__version__)

먼저 지난번과 동일하게 시작합니다. 현재 저는 버전이 1.3.1입니다. 그리고 나서 

# AND
x_data = [[0, 0],
          [0, 1],
          [1, 0],
          [1, 1]]
y_data = [[0],
          [0],
          [0],
          [1]]

x_data = np.array(x_data, dtype=np.float32)
y_data = np.array(y_data, dtype=np.float32)

AND 연산에 맞게 입력과 출력을 잡구요~~

X = tf.placeholder(tf.float32, [None, 2], name='x-input')
Y = tf.placeholder(tf.float32, [None, 1], name='y-input')

W = tf.Variable(tf.random_normal([2, 1]), name='weight')
b = tf.Variable(tf.random_normal([1]), name='bias')
    
hypothesis = tf.sigmoid(tf.matmul(X, W) + b)

X, Y는 placeholder로 잡고, W, b는 variable로 잡았습니다. 그리고, hypothesis는 XW+b에서 activation function으로 sigmoid를 사용합니다. 여기까지는 지난번 글과 동일하구요^^

# Variables for plotting cost function
W_history = []
cost_history = []
b_history = []

이렇게 원하는 변수에 history라고 변수명 뒤에 붙여주고, 빈 리스트를 선언해 둡니다. 이제

# cost/loss function
cost = -tf.reduce_mean(Y * tf.log(hypothesis) + (1 - Y) * tf.log(1 - hypothesis))
train = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost)

# Accuracy computation
# True if hypothesis>0.5 else False
predicted = tf.cast(hypothesis > 0.5, dtype=tf.float32)
accuracy = tf.reduce_mean(tf.cast(tf.equal(predicted, Y), dtype=tf.float32))

cost는 cross entropy로 잡고, gradient descent로 optimizer를 풀도록 하겠습니다. 지난번과 동일하게 predicted와 accuracy를 잡았구요. 이제.. 학습해야죠^^

# Launch graph
with tf.Session() as sess:
    # Initialize TensorFlow variables
    sess.run(tf.global_variables_initializer())

    for step in tqdm_notebook(range(10001)):
        sess.run(train, feed_dict={X: x_data, Y: y_data})
        
        W_history.append(sess.run(W))
        b_history.append(sess.run(b))
        cost_history.append(sess.run(cost, feed_dict={X: x_data, Y: y_data}))

    # Accuracy report
    h, c, a = sess.run([hypothesis, predicted, accuracy], feed_dict={X: x_data, Y: y_data})
    print("\nHypothesis: ", h, "\nCorrect: ", c, "\nAccuracy: ", a)

지난 번[바로가기]과 다른 것은 with 구문 안에 for문에서 tqdm_notebook을 사용한다는 거죠. 그러고 보니 제일 위에 모듈을 import할 때 이미 tqdm_notebook도 import를 했습니다. tqdm은

이렇게 Jupyter Notebook에서 진행 정도를 보여주어서 관찰하기 좋거든요. tqdm에 대해서는 이전에 한 번 소개[바로가기]했었죠^^ 뭐 그게 있든 없든 학습을 합니다.~ 당연히 결과는 지난번과 동일하구요.

# Show the cost function
plt.figure(figsize=[12,6])
plt.plot(cost_history)
plt.grid()
plt.show()

로 append로 쌓아둔 list 중 cost를 볼까요~

네.. 이렇게 말이죠^^ 뭐 이렇게 하지 않고 또 tensor board를 사용하는게 더 보편적이겠죠?? 그래도 기초적인 부분으로 테스트하고 싶었습니다.^^.  다음엔 조금 더 재미있는거 할께요^^