얼마전에 AND 연산을 학습(^^)하는 걸로 간단히 텐서플로우를 익혔는데요. 이번에는 그 간단한 예제[바로가기]에서 cost나 weight등의 변수의 히스토리를 저장해서 plot해 보는 이야기를 해볼려고 합니다. 원리는 아주 간단한데요. 빈 list를 만들고 append 명령으로 현재 상태에서의 값을 추가해서 학습이 끝난 후 plot해 보는 것입니다.
뭐 그렇다는 거구요... 그리고 특히나 이번 글은 더더욱 김성훈 교수님의 내용과 동일합니다. 또 즐겁게 실습해보죠~~
import tensorflow as tf import numpy as np from tqdm import tqdm_notebook import matplotlib.pyplot as plt %matplotlib inline tf.set_random_seed(777) print(tf.__version__)
먼저 지난번과 동일하게 시작합니다. 현재 저는 버전이 1.3.1입니다. 그리고 나서
# AND x_data = [[0, 0], [0, 1], [1, 0], [1, 1]] y_data = [[0], [0], [0], [1]] x_data = np.array(x_data, dtype=np.float32) y_data = np.array(y_data, dtype=np.float32)
AND 연산에 맞게 입력과 출력을 잡구요~~
X = tf.placeholder(tf.float32, [None, 2], name='x-input') Y = tf.placeholder(tf.float32, [None, 1], name='y-input') W = tf.Variable(tf.random_normal([2, 1]), name='weight') b = tf.Variable(tf.random_normal([1]), name='bias') hypothesis = tf.sigmoid(tf.matmul(X, W) + b)
X, Y는 placeholder로 잡고, W, b는 variable로 잡았습니다. 그리고, hypothesis는 XW+b에서 activation function으로 sigmoid를 사용합니다. 여기까지는 지난번 글과 동일하구요^^
# Variables for plotting cost function W_history = [] cost_history = [] b_history = []
이렇게 원하는 변수에 history라고 변수명 뒤에 붙여주고, 빈 리스트를 선언해 둡니다. 이제
# cost/loss function cost = -tf.reduce_mean(Y * tf.log(hypothesis) + (1 - Y) * tf.log(1 - hypothesis)) train = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost) # Accuracy computation # True if hypothesis>0.5 else False predicted = tf.cast(hypothesis > 0.5, dtype=tf.float32) accuracy = tf.reduce_mean(tf.cast(tf.equal(predicted, Y), dtype=tf.float32))
cost는 cross entropy로 잡고, gradient descent로 optimizer를 풀도록 하겠습니다. 지난번과 동일하게 predicted와 accuracy를 잡았구요. 이제.. 학습해야죠^^
# Launch graph with tf.Session() as sess: # Initialize TensorFlow variables sess.run(tf.global_variables_initializer()) for step in tqdm_notebook(range(10001)): sess.run(train, feed_dict={X: x_data, Y: y_data}) W_history.append(sess.run(W)) b_history.append(sess.run(b)) cost_history.append(sess.run(cost, feed_dict={X: x_data, Y: y_data})) # Accuracy report h, c, a = sess.run([hypothesis, predicted, accuracy], feed_dict={X: x_data, Y: y_data}) print("\nHypothesis: ", h, "\nCorrect: ", c, "\nAccuracy: ", a)
지난 번[바로가기]과 다른 것은 with
구문 안에 for
문에서 tqdm_notebook
을 사용한다는 거죠. 그러고 보니 제일 위에 모듈을 import
할 때 이미 tqdm_notebook
도 import
를 했습니다. tqdm
은
이렇게 Jupyter Notebook에서 진행 정도를 보여주어서 관찰하기 좋거든요. tqdm에 대해서는 이전에 한 번 소개[바로가기]했었죠^^ 뭐 그게 있든 없든 학습을 합니다.~ 당연히 결과는 지난번과 동일하구요.
# Show the cost function plt.figure(figsize=[12,6]) plt.plot(cost_history) plt.grid() plt.show()
로 append로 쌓아둔 list 중 cost를 볼까요~
네.. 이렇게 말이죠^^ 뭐 이렇게 하지 않고 또 tensor board를 사용하는게 더 보편적이겠죠?? 그래도 기초적인 부분으로 테스트하고 싶었습니다.^^. 다음엔 조금 더 재미있는거 할께요^^
'Theory > DeepLearning' 카테고리의 다른 글
[Tensor Flow] 신경망을 조금 더 깊게 하고 xavier_initializer를 이용해서 MNIST 숫자 판독해보기 (30) | 2018.04.09 |
---|---|
[Keras] 케라스로 풀어보는 다변수 입력에 대한 선형회귀 예제 - 나이, 체중에 대한 혈액지방함량 문제- (18) | 2018.04.06 |
[Tensor Flow] 단층 신경망으로 텐서플로우를 이용해서 MNIST 숫자 판독해보기 (18) | 2018.03.02 |
[Tensor Flow] XOR 문제를 해결하기 위해 은닉층(Hidden Layer)를 하나 추가해 보기 (20) | 2018.02.19 |
[Tensor Flow] 텐서보드 Tensorboard 사용해보기 (26) | 2018.02.09 |
[Tensor Flow] 텐서플로우로 풀어보는 다변수 입력에 대한 선형회귀 예제 - 나이, 체중에 대한 혈액지방함량 문제- (26) | 2018.01.30 |
[Tensor Flow] 간단한 예제로 텐서플로우 시작해보기 (20) | 2018.01.25 |