TensorFlow讀取批處理

2018-09-20 17:37 更新

tf.contrib.data.read_batch_features

read_batch_features ( 
    file_pattern , 
    batch_size , 
    features , 
    reader , 
    reader_args = None , 
    randomize_input = True , 
    num_epochs = None , 
    capacity = 10000 
)

定義在:tensorflow/contrib/data/python/ops/dataset_ops.py.

讀取示例的批處理.

更多的例子如下:

serialized_examples = [
  features {
    feature { key: "age" value { int64_list { value: [ 0 ] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
  },
  features {
    feature { key: "age" value { int64_list { value: [] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
  }
]

我們可以使用參數(shù):

features: {
  "age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
  "gender": FixedLenFeature([], dtype=tf.string),
  "kws": VarLenFeature(dtype=tf.string),
}

預(yù)期的輸出是:

{
  "age": [[0], [-1]],
  "gender": [["f"], ["f"]],
  "kws": SparseTensor(
    indices=[[0, 0], [0, 1], [1, 0]],
    values=["code", "art", "sports"]
    dense_shape=[2, 2]),
}

ARGS:

  • file_pattern:包含示例記錄的文件路徑的文件或模式列表.參見圖案規(guī)則的 tf.gfile.Glob.
  • batch_size:一個整數(shù),表示該數(shù)據(jù)集的連續(xù)元素的個數(shù),并在單個批處理中合并.
  • features:FixedLenFeature 或 VarLenFeature 值的字典映射特征鍵.見 tf. parse_example.
  • reader:可以用文件名張量和 (可選) reader_args 調(diào)用的函數(shù)或類, 并返回序列化示例的數(shù)據(jù)集.
  • reader_args:要傳遞給讀取器類的其他參數(shù).
  • randomize_input:輸入是否應(yīng)該是隨機(jī)的.
  • num_epochs:指定要通過數(shù)據(jù)集讀取的次數(shù)的整數(shù).如果沒有, 則永遠(yuǎn)循環(huán)遍歷數(shù)據(jù)集.
  • capacity:ShuffleDataset 的容量.大的容量能確保更好的洗牌,但會增加內(nèi)存使用和啟動時間.

返回:

從功能鍵到 Tensor 或 SparseTensor 對象的字典.

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號