机器学习: TensorFlow 的数据读取与TFRecords 格式

最近学习tensorflow，发现其读取数据的方式看起来有些不同，所以又重新系统地看了一下文档，总得来说，tensorflow 有三种主流的数据读取方式:

1) 传送 (feeding): Python 可以在程序的运行过程中，将数据传送进定义好的 tensor 变量中

2) 从文件读取 (reading from files): 一个输入流从文件中直接读取数据

3) 预加载数据 (preloaded data): 这个很好理解，就是将所有的数据一次性全部读进内存里。

对于第三种方式，在数据量小的时候，是非常高效的，但是如果数据量很大的时候，这种方法显然非常耗内存，所以在数据量很大的时候，一般选择第二种读取方式，即从文件读取。在利用第二种方式读取的时候，我们常常会用到一种 TFRecords 的格式来保存读取的文件。TFRecords 是一种二进制文件。可以在TensorFlow 中方便的进行各种存取操作以及预处理。

我们先来看看，如何将一张图片转换成字符流

import os

import tensorflow as tf

import matplotlib.pyplot as plt

import numpy as np

import skimage.io as io

dir_path = 'Face'

file_list = os.listdir(dir_path)

print file_list

for f in file_list:

    print (dir_path + os.sep + f)

img_1 = io.imread(dir_path + os.sep + file_list[0])

#plt.imshow(img_1, cmap='gray')

#plt.show()

# 将图像转换成字符

img_str = img_1.tostring()

# 将字符流还原成图像

img_rec_vec = np.fromstring(img_str, dtype=np.uint8)

img_rec = img_rec_vec.reshape(img_1.shape)

#plt.imshow(img_rec, cmap='gray')

#plt.show()

接下来，我们看看，如何生成 TFRecords 文件:



def _bytes_feature(value):

    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def _int64_feature(value):

    return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

tfrecords_filename = 'Face.tfrecords'

writer = tf.python_io.TFRecordWriter(tfrecords_filename)

for img_path in file_list:

    img = np.array(io.imread(dir_path + os.sep + img_path))

    # 从文件夹里读取图像

    # 获取图像的宽和高，图像的维度需要存入 TFRecords 文件中

    # 以方便后续的处理

    #

    height = img.shape[0]

    width = img.shape[1]

    # 将图像转换成字符流

    img_raw = img.tostring()

    # 将字符流以及图像的尺度信息存入TFRecords 文件

    example = tf.train.Example(features=tf.train.Features(feature={

        'height': _int64_feature(height),

        'width': _int64_feature(width),

        'image_raw': _bytes_feature(img_raw)}))

    writer.write(example.SerializeToString())

writer.close()

最后，我们看看如何从 TFrecords 文件中读数据，并且做批处理：



# 可以重新定义图像的宽和高，

IMAGE_HEIGHT = 224

IMAGE_WIDTH = 224

# 定义读取与解码函数

def read_and_decode(filename_queue):

    reader = tf.TFRecordReader()

    _, serialized_example = reader.read(filename_queue)

# 获取 features，包含图像，以及图像宽和高

    features = tf.parse_single_example(

        serialized_example,

        features={

            'height': tf.FixedLenFeature([], tf.int64),

            'width': tf.FixedLenFeature([], tf.int64),

            'image_raw': tf.FixedLenFeature([], tf.string),

        })

# 获取图像信息

    image = tf.decode_raw(features['image_raw'], tf.uint8)

    height = tf.cast(features['height'], tf.int32)

    width = tf.cast(features['width'], tf.int32)

# 将图像转换成多维数组的形式

    image_shape = [height, width, 1]

    image = tf.reshape(image, image_shape)

# 重新定义图像的尺度

    image_size_const = tf.constant((IMAGE_HEIGHT, IMAGE_WIDTH, 1), dtype=tf.int32)

    # Random transformations can be put here: right before you crop images

    # to predefined size. To get more information look at the stackoverflow

    # question linked above.

# 对图像进行预处理，包括裁剪，增边等

    resized_image = tf.image.resize_image_with_crop_or_pad(image=image,

                                                           target_height=IMAGE_HEIGHT,

                                                           target_width=IMAGE_WIDTH)

    return resized_image

#

filename_queue = tf.train.string_input_producer(

    [tfrecords_filename], num_epochs=10)

# Even when reading in multiple threads, share the filename

# queue.

train_images = read_and_decode(filename_queue)

# 要注意 min_after_dequeue 不能超过 capacity

image = tf.train.shuffle_batch([train_images],

                                batch_size=1,

                                capacity=5,

                                num_threads=2,

                                min_after_dequeue=1)

# The op for initializing the variables.

init_op = tf.group(tf.global_variables_initializer(),

                   tf.local_variables_initializer())

with tf.Session() as sess:

    sess.run(init_op)

    coord = tf.train.Coordinator()

    threads = tf.train.start_queue_runners(coord=coord)

    # Let's read off 3 batches just for example

    for i in xrange(1):

        img = sess.run([image])

        img_batch = img[0]

        img_1 = tf.reshape(img_batch[0, :, :, :], [IMAGE_HEIGHT, IMAGE_WIDTH])

        print (img_1.shape)

        plt.imshow(sess.run(img_1), cmap='gray')

#    coord.request_stop()

#    coord.join(threads)

plt.show()

print 'all is well'

参考来源：

http://codecloud.net/16485.html

http://warmspringwinds.github.io/tensorflow/tf-slim/2016/12/21/tfrecords-guide/

https://www.tensorflow.org/programmers_guide/reading_data

巴特西

机器学习: TensorFlow 的数据读取与TFRecords 格式

最新文章

热门文章