Tensorflow製作並用CNN訓練自己的數據集

來自專欄 一起學習機器學習

學習完用MNIST數據集訓練簡單的MLP、自編碼器、CNN後，我想著自己能不能做一個數據集，並用卷積神經網路訓練，所以在網上查了一下資料，發現可以使用標準的TFrecords格式，參考見最後面的鏈接。但是，我也遇到了問題，製作好的TFrecords的數據集，運行的時候報錯，網上沒有找到相關的方法。後來我自己找了個方法解決了。

1. 準備數據

我準備的是貓和狗兩個類別的圖片,分別存放在D盤train_data文件夾下，如下圖：

2. 製作tfrecords文件

代碼起名為make_own_data.py

代碼如下：

# -*- coding: utf-8 -*-"""@author: caokai"""import os import tensorflow as tf from PIL import Image import matplotlib.pyplot as plt import numpy as np cwd=D:/train_data/classes={dog,cat} #人為設定2類writer= tf.python_io.TFRecordWriter("dog_and_cat_train.tfrecords") #要生成的文件 for index,name in enumerate(classes): class_path=cwd+name+/ for img_name in os.listdir(class_path): img_path=class_path+img_name #每一個圖片的地址 img=Image.open(img_path) img= img.resize((128,128)) img_raw=img.tobytes()#將圖片轉化為二進位格式 example = tf.train.Example(features=tf.train.Features(feature={ "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])), img_raw: tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw])) })) #example對象對label和image數據進行封裝 writer.write(example.SerializeToString()) #序列化為字元串 writer.close()

這樣就『狗』和『貓』的圖片打上了兩類數據0和1，並且文件儲存為dog_and_cat_train.tfrecords，你會發現自己的python代碼所在的文件夾里有了這個文件。

3. 讀取tfrecords文件

將圖片和標籤讀出，圖片reshape為128x128x3。

代碼如下：

# -*- coding: utf-8 -*-"""tensorflow : read my own dataset@author: caokai"""import tensorflow as tfdef read_and_decode(filename): # 讀入dog_train.tfrecords filename_queue = tf.train.string_input_producer([filename])#生成一個queue隊列 reader = tf.TFRecordReader() _, serialized_example = reader.read(filename_queue)#返迴文件名和文件 features = tf.parse_single_example(serialized_example, features={ label: tf.FixedLenFeature([], tf.int64), img_raw : tf.FixedLenFeature([], tf.string), })#將image數據和label取出來 img = tf.decode_raw(features[img_raw], tf.uint8) img = tf.reshape(img, [128, 128, 3]) #reshape為128*128的3通道圖片 img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #在流中拋出img張量 label = tf.cast(features[label], tf.int32) #在流中拋出label張量 return img, label

4. 使用卷積神經網路訓練

這一部分Python代碼起名為dog_and_cat_train.py

4.1 定義好卷積神經網路的結構

要把我們讀取文件的ReadMyOwnData導入，這邊權重初始化使用的是tf.truncated_normal，兩次卷積操作，兩次最大池化，激活函數ReLU，全連接層，最後y_conv是softmax輸出的二類問題。損失函數用交叉熵，優化演算法Adam。

卷積部分代碼如下：

# -*- coding: utf-8 -*-"""@author: caokai"""import tensorflow as tf import numpy as npimport ReadMyOwnDatabatch_size = 50#initial weightsdef weight_variable(shape): initial = tf.truncated_normal(shape, stddev = 0.1) return tf.Variable(initial)#initial biasdef bias_variable(shape): initial = tf.constant(0.1, shape=shape) return tf.Variable(initial)#convolution layerdef conv2d(x,W): return tf.nn.conv2d(x, W, strides=[1,1,1,1], padding=SAME)#max_pool layerdef max_pool_4x4(x): return tf.nn.max_pool(x, ksize=[1,4,4,1], strides=[1,4,4,1], padding=SAME)x = tf.placeholder(tf.float32, [batch_size,128,128,3])y_ = tf.placeholder(tf.float32, [batch_size,1])#first convolution and max_pool layerW_conv1 = weight_variable([5,5,3,32])b_conv1 = bias_variable([32])h_conv1 = tf.nn.relu(conv2d(x, W_conv1) + b_conv1)h_pool1 = max_pool_4x4(h_conv1)#second convolution and max_pool layerW_conv2 = weight_variable([5,5,32,64])b_conv2 = bias_variable([64])h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)h_pool2 = max_pool_4x4(h_conv2)#變成全連接層，用一個MLP處理reshape = tf.reshape(h_pool2,[batch_size, -1])dim = reshape.get_shape()[1].valueW_fc1 = weight_variable([dim, 1024])b_fc1 = bias_variable([1024])h_fc1 = tf.nn.relu(tf.matmul(reshape, W_fc1) + b_fc1)#dropoutkeep_prob = tf.placeholder(tf.float32)h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)W_fc2 = weight_variable([1024,2])b_fc2 = bias_variable([2])y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)#損失函數及優化演算法cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y_conv), reduction_indices=[1]))train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)correct_prediction = tf.equal(tf.argmax(y_conv,1),tf.argmax(y_,1))accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

4.2 訓練

從自己的數據集中讀取數據，並初始化訓練

image, label = ReadMyOwnData.read_and_decode("dog_and_cat_train.tfrecords")sess = tf.InteractiveSession()tf.global_variables_initializer().run()coord=tf.train.Coordinator()threads= tf.train.start_queue_runners(coord=coord)

在feed數據進行訓練時，嘗試網上其他文章，遇到過如下錯誤：

Cannot feed value of shape (128, 128, 3) for Tensor uPlaceholder_12:0, which has shape (50, 128, 128, 3)

或者如下錯誤：

TypeError：The value of a feed cannot be a tf.Tensor object. Acceptable feed values include Python scalars, strings, lists, or numpy ndarrays.

我嘗試了一下，代碼寫成下面這樣可以通過：

example = np.zeros((batch_size,128,128,3))l = np.zeros((batch_size,1))try: for i in range(20): for epoch in range(batch_size): example[epoch], l[epoch] = sess.run([image,label])#在會話中取出image和label train_step.run(feed_dict={x: example, y_: l, keep_prob: 0.5}) print(accuracy.eval(feed_dict={x: example, y_: l, keep_prob: 1.0})) #eval函數類似於重新run一遍，驗證，同時修正except tf.errors.OutOfRangeError: print(done!)finally: coord.request_stop()coord.join(threads)

如果有更好更高效的讀入tfrecords數據集並訓練CNN的方法，可以交流一下。

轉載請註明出處

參考：

TensorFlow（二）製作自己的TFRecord數據集 讀取、顯示及代碼詳解 - 軟體開發其他 - 紅黑聯盟

推薦閱讀：