TensorFlow 數(shù)據(jù)IO（Python函數(shù)）

TFRecords 文件表示(二進(jìn)制)字符串的序列.格式不是隨機(jī)訪問(wèn),因此適合于流量大量數(shù)據(jù),但是如果需要快速分片或其他非順序訪問(wèn),則不適合.

• tf.python_io.TFRecordWriter
• tf.python_io.tf_record_iterator
• tf.python_io.TFRecordCompressionType
• tf.python_io.TFRecordOptions

TFRecords 格式詳細(xì)信息

TFRecords 文件包含具有 CRC 散列的字符串序列，每個(gè)記錄都有格式：

uint64 length
uint32 masked_crc32_of_length
byte   data[length]
uint32 masked_crc32_of_data

并將記錄連接起來(lái)生成文件。CRC32 在這里被描述，CRC的掩碼是：

masked_crc = ((crc >> 15) | (crc << 17)) + 0xa282ead8ul