0
| 本文作者： 汪思穎 | 2017-11-09 10:55 |
雷鋒網(wǎng) AI科技評(píng)論按：本文作者何之源，該文首發(fā)于知乎專(zhuān)欄AI Insight，雷鋒網(wǎng) AI科技評(píng)論獲其授權(quán)轉(zhuǎn)載。
Dataset API是TensorFlow 1.3版本中引入的一個(gè)新的模塊，主要服務(wù)于數(shù)據(jù)讀取，構(gòu)建輸入數(shù)據(jù)的pipeline。
此前，在TensorFlow中讀取數(shù)據(jù)一般有兩種方法：
使用placeholder讀內(nèi)存中的數(shù)據(jù)
使用queue讀硬盤(pán)中的數(shù)據(jù)（關(guān)于這種方式，可以參考我之前的一篇文章：十圖詳解tensorflow數(shù)據(jù)讀取機(jī)制）
Dataset API同時(shí)支持從內(nèi)存和硬盤(pán)的讀取，相比之前的兩種方法在語(yǔ)法上更加簡(jiǎn)潔易懂。此外，如果想要用到TensorFlow新出的Eager模式，就必須要使用Dataset API來(lái)讀取數(shù)據(jù)。
本文就來(lái)為大家詳細(xì)地介紹一下Dataset API的使用方法（包括在非Eager模式和Eager模式下兩種情況）。
Dataset API的導(dǎo)入
在TensorFlow 1.3中，Dataset API是放在contrib包中的：
tf.contrib.data.Dataset
而在TensorFlow 1.4中，Dataset API已經(jīng)從contrib包中移除，變成了核心API的一員：
tf.data.Dataset
下面的示例代碼將以TensorFlow 1.4版本為例，如果使用TensorFlow 1.3的話(huà)，需要進(jìn)行簡(jiǎn)單的修改（即加上contrib）。
讓我們從基礎(chǔ)的類(lèi)來(lái)了解Dataset API。參考Google官方給出的Dataset API中的類(lèi)圖：
在初學(xué)時(shí)，我們只需要關(guān)注兩個(gè)最重要的基礎(chǔ)類(lèi)：Dataset和Iterator。
Dataset可以看作是相同類(lèi)型“元素”的有序列表。在實(shí)際使用時(shí)，單個(gè)“元素”可以是向量，也可以是字符串、圖片，甚至是tuple或者dict。
先以最簡(jiǎn)單的，Dataset的每一個(gè)元素是一個(gè)數(shù)字為例：
import tensorflow as tf
import numpy as np
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))
這樣，我們就創(chuàng)建了一個(gè)dataset，這個(gè)dataset中含有5個(gè)元素，分別是1.0, 2.0, 3.0, 4.0, 5.0。
如何將這個(gè)dataset中的元素取出呢？方法是從Dataset中示例化一個(gè)Iterator，然后對(duì)Iterator進(jìn)行迭代。
在非Eager模式下，讀取上述dataset中元素的方法為：
iterator = dataset.make_one_shot_iterator()
one_element = iterator.get_next()
with tf.Session() as sess:
for i in range(5):
print(sess.run(one_element))
對(duì)應(yīng)的輸出結(jié)果應(yīng)該就是從1.0到5.0。語(yǔ)句iterator = dataset.make_one_shot_iterator()從dataset中實(shí)例化了一個(gè)Iterator，這個(gè)Iterator是一個(gè)“one shot iterator”，即只能從頭到尾讀取一次。one_element = iterator.get_next()表示從iterator里取出一個(gè)元素。由于這是非Eager模式，所以one_element只是一個(gè)Tensor，并不是一個(gè)實(shí)際的值。調(diào)用sess.run(one_element)后，才能真正地取出一個(gè)值。
如果一個(gè)dataset中元素被讀取完了，再?lài)L試sess.run(one_element)的話(huà)，就會(huì)拋出tf.errors.OutOfRangeError異常，這個(gè)行為與使用隊(duì)列方式讀取數(shù)據(jù)的行為是一致的。在實(shí)際程序中，可以在外界捕捉這個(gè)異常以判斷數(shù)據(jù)是否讀取完，請(qǐng)參考下面的代碼：
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))iterator = dataset.make_one_shot_iterator()one_element = iterator.get_next()with tf.Session() as sess:
try:
while True:
print(sess.run(one_element))
except tf.errors.OutOfRangeError:
print("end!")
在Eager模式中，創(chuàng)建Iterator的方式有所不同。是通過(guò)tfe.Iterator(dataset)的形式直接創(chuàng)建Iterator并迭代。迭代時(shí)可以直接取出值，不需要使用sess.run()：
import tensorflow.contrib.eager as tfe
tfe.enable_eager_execution()
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))
for one_element in tfe.Iterator(dataset):
print(one_element)
之前我們用tf.data.Dataset.from_tensor_slices創(chuàng)建了一個(gè)最簡(jiǎn)單的Dataset：
dataset=tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))
其實(shí)，tf.data.Dataset.from_tensor_slices的功能不止如此，它的真正作用是切分傳入Tensor的第一個(gè)維度，生成相應(yīng)的dataset。
例如：
dataset=tf.data.Dataset.from_tensor_slices(np.random.uniform(size=(5,2)))
傳入的數(shù)值是一個(gè)矩陣，它的形狀為(5, 2)，tf.data.Dataset.from_tensor_slices就會(huì)切分它形狀上的第一個(gè)維度，最后生成的dataset中一個(gè)含有5個(gè)元素，每個(gè)元素的形狀是(2, )，即每個(gè)元素是矩陣的一行。
在實(shí)際使用中，我們可能還希望Dataset中的每個(gè)元素具有更復(fù)雜的形式，如每個(gè)元素是一個(gè)Python中的元組，或是Python中的詞典。例如，在圖像識(shí)別問(wèn)題中，一個(gè)元素可以是{"image": image_tensor, "label": label_tensor}的形式，這樣處理起來(lái)更方便。
tf.data.Dataset.from_tensor_slices同樣支持創(chuàng)建這種dataset，例如我們可以讓每一個(gè)元素是一個(gè)詞典：
dataset = tf.data.Dataset.from_tensor_slices(
{
"a": np.array([1.0, 2.0, 3.0, 4.0, 5.0]),
"b": np.random.uniform(size=(5, 2))
})
這時(shí)函數(shù)會(huì)分別切分"a"中的數(shù)值以及"b"中的數(shù)值，最終dataset中的一個(gè)元素就是類(lèi)似于{"a": 1.0, "b": [0.9, 0.1]}的形式。
利用tf.data.Dataset.from_tensor_slices創(chuàng)建每個(gè)元素是一個(gè)tuple的dataset也是可以的：
dataset = tf.data.Dataset.from_tensor_slices(
(np.array([1.0, 2.0, 3.0, 4.0, 5.0]), np.random.uniform(size=(5, 2))))
Dataset支持一類(lèi)特殊的操作：Transformation。一個(gè)Dataset通過(guò)Transformation變成一個(gè)新的Dataset。通常我們可以通過(guò)Transformation完成數(shù)據(jù)變換，打亂，組成batch，生成epoch等一系列操作。
常用的Transformation有：
map
batch
shuffle
repeat
下面就分別進(jìn)行介紹。
（1）map
map接收一個(gè)函數(shù)，Dataset中的每個(gè)元素都會(huì)被當(dāng)作這個(gè)函數(shù)的輸入，并將函數(shù)返回值作為新的Dataset，如我們可以對(duì)dataset中每個(gè)元素的值加1：
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))
dataset = dataset.map(lambda x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0
（2）batch
batch就是將多個(gè)元素組合成batch，如下面的程序?qū)ataset中的每個(gè)元素組成了大小為32的batch：
dataset=dataset.batch(32)
（3）shuffle
shuffle的功能為打亂dataset中的元素，它有一個(gè)參數(shù)buffersize，表示打亂時(shí)使用的buffer的大小：
dataset=dataset.shuffle(buffer_size=10000)
（4）repeat
repeat的功能就是將整個(gè)序列重復(fù)多次，主要用來(lái)處理機(jī)器學(xué)習(xí)中的epoch，假設(shè)原先的數(shù)據(jù)是一個(gè)epoch，使用repeat(5)就可以將之變成5個(gè)epoch：
dataset=dataset.repeat(5)
如果直接調(diào)用repeat()的話(huà)，生成的序列就會(huì)無(wú)限重復(fù)下去，沒(méi)有結(jié)束，因此也不會(huì)拋出tf.errors.OutOfRangeError異常：
dataset=dataset.repeat()
講到這里，我們可以來(lái)考慮一個(gè)簡(jiǎn)單，但同時(shí)也非常常用的例子：讀入磁盤(pán)中的圖片和圖片相應(yīng)的label，并將其打亂，組成batch_size=32的訓(xùn)練樣本。在訓(xùn)練時(shí)重復(fù)10個(gè)epoch。
對(duì)應(yīng)的程序?yàn)椋◤墓俜绞纠绦蛐薷亩鴣?lái)）：
# 函數(shù)的功能時(shí)將filename對(duì)應(yīng)的圖片文件讀進(jìn)來(lái)，并縮放到統(tǒng)一的大小
def _parse_function(filename, label):
image_string = tf.read_file(filename)
image_decoded = tf.image.decode_image(image_string)
image_resized = tf.image.resize_images(image_decoded, [28, 28])
return image_resized, label
# 圖片文件的列表
filenames = tf.constant(["/var/data/image1.jpg", "/var/data/image2.jpg", ...])
# label[i]就是圖片filenames[i]的label
labels = tf.constant([0, 37, ...])
# 此時(shí)dataset中的一個(gè)元素是(filename, label)
dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))
# 此時(shí)dataset中的一個(gè)元素是(image_resized, label)
dataset = dataset.map(_parse_function)
# 此時(shí)dataset中的一個(gè)元素是(image_resized_batch, label_batch)
dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)
在這個(gè)過(guò)程中，dataset經(jīng)歷三次轉(zhuǎn)變：
運(yùn)行dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))后，dataset的一個(gè)元素是(filename, label)。filename是圖片的文件名，label是圖片對(duì)應(yīng)的標(biāo)簽。
之后通過(guò)map，將filename對(duì)應(yīng)的圖片讀入，并縮放為28x28的大小。此時(shí)dataset中的一個(gè)元素是(image_resized, label)
最后，dataset.shuffle(buffersize=1000).batch(32).repeat(10)的功能是：在每個(gè)epoch內(nèi)將圖片打亂組成大小為32的batch，并重復(fù)10次。最終，dataset中的一個(gè)元素是(image_resized_batch, label_batch)，image_resized_batch的形狀為(32, 28, 28, 3)，而label_batch的形狀為(32, )，接下來(lái)我們就可以用這兩個(gè)Tensor來(lái)建立模型了。
除了tf.data.Dataset.from_tensor_slices外，目前Dataset API還提供了另外三種創(chuàng)建Dataset的方式：
tf.data.TextLineDataset()：這個(gè)函數(shù)的輸入是一個(gè)文件的列表，輸出是一個(gè)dataset。dataset中的每一個(gè)元素就對(duì)應(yīng)了文件中的一行?？梢允褂眠@個(gè)函數(shù)來(lái)讀入CSV文件。
tf.data.FixedLengthRecordDataset()：這個(gè)函數(shù)的輸入是一個(gè)文件的列表和一個(gè)record_bytes，之后dataset的每一個(gè)元素就是文件中固定字節(jié)數(shù)record_bytes的內(nèi)容。通常用來(lái)讀取以二進(jìn)制形式保存的文件，如CIFAR10數(shù)據(jù)集就是這種形式。
tf.data.TFRecordDataset()：顧名思義，這個(gè)函數(shù)是用來(lái)讀TFRecord文件的，dataset中的每一個(gè)元素就是一個(gè)TFExample。
它們的詳細(xì)使用方法可以參閱文檔：Module: tf.data
在非Eager模式下，最簡(jiǎn)單的創(chuàng)建Iterator的方法就是通過(guò)dataset.make_one_shot_iterator()來(lái)創(chuàng)建一個(gè)one shot iterator。除了這種one shot iterator外，還有三個(gè)更復(fù)雜的Iterator，即：
initializable iterator
reinitializable iterator
feedable iterator
initializable iterator必須要在使用前通過(guò)sess.run()來(lái)初始化。使用initializable iterator，可以將placeholder代入Iterator中，這可以方便我們通過(guò)參數(shù)快速定義新的Iterator。一個(gè)簡(jiǎn)單的initializable iterator使用示例：
limit = tf.placeholder(dtype=tf.int32, shape=[])
dataset = tf.data.Dataset.from_tensor_slices(tf.range(start=0, limit=limit))
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()
with tf.Session() as sess:
sess.run(iterator.initializer, feed_dict={limit: 10})
for i in range(10):
value = sess.run(next_element)
assert i == value
此時(shí)的limit相當(dāng)于一個(gè)“參數(shù)”，它規(guī)定了Dataset中數(shù)的“上限”。
initializable iterator還有一個(gè)功能：讀入較大的數(shù)組。
在使用tf.data.Dataset.from_tensor_slices(array)時(shí)，實(shí)際上發(fā)生的事情是將array作為一個(gè)tf.constants保存到了計(jì)算圖中。當(dāng)array很大時(shí)，會(huì)導(dǎo)致計(jì)算圖變得很大，給傳輸、保存帶來(lái)不便。這時(shí)，我們可以用一個(gè)placeholder取代這里的array，并使用initializable iterator，只在需要時(shí)將array傳進(jìn)去，這樣就可以避免把大數(shù)組保存在圖里，示例代碼為（來(lái)自官方例程）：
# 從硬盤(pán)中讀入兩個(gè)Numpy數(shù)組
with np.load("/var/data/training_data.npy") as data:
features = data["features"]
labels = data["labels"]
features_placeholder = tf.placeholder(features.dtype, features.shape)
labels_placeholder = tf.placeholder(labels.dtype, labels.shape)
dataset = tf.data.Dataset.from_tensor_slices((features_placeholder, labels_placeholder))
iterator = dataset.make_initializable_iterator()
sess.run(iterator.initializer, feed_dict={features_placeholder: features,
labels_placeholder: labels})
reinitializable iterator和feedable iterator相比initializable iterator更復(fù)雜，也更加少用，如果想要了解它們的功能，可以參閱官方介紹，這里就不再贅述了。
本文主要介紹了Dataset API的基本架構(gòu)：Dataset類(lèi)和Iterator類(lèi)，以及它們的基礎(chǔ)使用方法。
在非Eager模式下，Dataset中讀出的一個(gè)元素一般對(duì)應(yīng)一個(gè)batch的Tensor，我們可以使用這個(gè)Tensor在計(jì)算圖中構(gòu)建模型。
在Eager模式下，Dataset建立Iterator的方式有所不同，此時(shí)通過(guò)讀出的數(shù)據(jù)就是含有值的Tensor，方便調(diào)試。
作為兼容兩種模式的Dataset API，在今后應(yīng)該會(huì)成為T(mén)ensorFlow讀取數(shù)據(jù)的主流方式。關(guān)于Dataset API的進(jìn)一步介紹，可以參閱下面的資料：
Importing Data ：官方Guide
Module: tf.data： API文檔
Introduction to TensorFlow Datasets and Estimators：如何聯(lián)合使用Dataset和Estimator
雷鋒網(wǎng) AI科技評(píng)論
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
