TensorFlow 輸入和讀取器

注意：接受 Tensor 參數(shù)的函數(shù)也可以接受被 tf.convert_to_tensor 接受的任何內(nèi)容

TensorFlow 占位符操作

TensorFlow 提供一個(gè)占位符操作，必須使用執(zhí)行數(shù)據(jù)來(lái)進(jìn)行輸入。有關(guān)更多信息,請(qǐng)參閱 讀取數(shù)據(jù) 部分。

• tf.placeholder
• tf.placeholder_with_default

對(duì)于 SparseTensor 復(fù)合型飼料,有一個(gè)方便的函數(shù)：

• tf.sparse_placeholder

TensorFlow 讀取器

TensorFlow 提供了一組用于讀取數(shù)據(jù)格式的閱讀器類(lèi)。有關(guān)輸入和讀取器的更多信息，請(qǐng)參閱閱讀數(shù)據(jù).

• tf.ReaderBase
• tf.TextLineReader
• tf.WholeFileReader
• tf.IdentityReader
• tf.TFRecordReader
• tf.FixedLengthRecordReader

TensorFlow 數(shù)據(jù)格式轉(zhuǎn)換

TensorFlow 提供了幾種可用于將各種數(shù)據(jù)格式轉(zhuǎn)換成張量的操作。

• tf.decode_csv
• tf.decode_raw

協(xié)議緩沖區(qū)示例

TensorFlow 推薦的培訓(xùn)示例格式的英文序列化 Example 協(xié)議緩沖區(qū),如此所述。它們包含 Features，這里描述。

• tf.VarLenFeature
• tf.FixedLenFeature
• tf.FixedLenSequenceFeature
• tf.SparseFeature
• tf.parse_example
• tf.parse_single_example
• tf.parse_tensor
• tf.decode_json_example

TensorFlow 隊(duì)列

TensorFlow 提供了幾個(gè)“隊(duì)列”的實(shí)現(xiàn),它們是 TensorFlow 計(jì)算圖中的結(jié)構(gòu)，用于將張量的管道放在一起.下面描述了基本的 Queue 接口和一些實(shí)現(xiàn)。

• tf.QueueBase
• tf.FIFOQueue
• tf.PaddingFIFOQueue
• tf.RandomShuffleQueue
• tf.PriorityQueue

TensorFlow 條件累加器

• tf.ConditionalAccumulatorBase
• tf.ConditionalAccumulator
• tf.SparseConditionalAccumulator

TensorFlow 處理文件系統(tǒng)

• tf.matching_files
• tf.read_file
• tf.write_file

TensorFlow 輸入管道

TensorFlow 函數(shù)用于設(shè)置輸入預(yù)取流水線。請(qǐng)參閱上下文的閱讀數(shù)據(jù)操作方法。

輸入管道的開(kāi)始

"生產(chǎn)者" 函數(shù)將隊(duì)列添加到圖形中，并為運(yùn)行填充該隊(duì)列的子圖提供相應(yīng)的 QueueRunner。

• tf.train.match_filenames_once
• tf.train.limit_epochs
• tf.train.input_producer
• tf.train.range_input_producer
• tf.train.slice_input_producer
• tf.train.string_input_producer

在輸入管道的末端進(jìn)行批處理

這些函數(shù)為圖形添加了一個(gè)隊(duì)列，以匯集一批示例,并可能進(jìn)行洗牌。他們還添加一個(gè) QueueRunner 用于運(yùn)行填充該隊(duì)列的子圖。

使用 tf.train.batch 或 tf.train.batch_join 處理已經(jīng)被很好洗牌的示例。使用 tf.train.shuffle_batch 或 tf.train.shuffle_batch_join 例子，將受益于額外的洗牌。

如果您想要單個(gè)線程生成示例以進(jìn)行批處理或者有一個(gè)生成示例的單個(gè)子圖,就使用 tf.train.batch 或 tf.train.shuffle_batch，但是您想要在 N 個(gè)線程中運(yùn)行(您增加N,直到可以保持隊(duì)列滿).如果您有N個(gè)不同的子圖生成示例批處理，并希望它們由 N 個(gè)線程運(yùn)行，使用 tf.train.batch_join 或 tf.train.shuffle_batch_join。有條件地使用 maybe_* 排隊(duì)。

• tf.train.batch
• tf.train.maybe_batch
• tf.train.batch_join
• tf.train.maybe_batch_join
• tf.train.shuffle_batch
• tf.train.maybe_shuffle_batch
• tf.train.shuffle_batch_join
• tf.train.maybe_shuffle_batch_join