TensorFlow函數(shù)：tf.variable_axis_size_partitioner

tf.variable_axis_size_partitioner函數(shù)

tf.variable_axis_size_partitioner(
    max_shard_bytes,
    axis=0,
    bytes_per_string_element=16,
    max_shards=None
)

定義在：tensorflow/python/ops/partitioned_variables.py.

請參閱指南：變量>切分變量分區(qū)

獲取 VariableScope 的分區(qū)以將分片保留在 max_shard_bytes.

此分區(qū)程序?qū)⒀刂粋€軸對 Variable 進行分片,嘗試將最大分片大小保持在 max_shard_bytes.實際上,當僅沿著一個軸進行分片時,這并非總是可行的.發(fā)生這種情況時,該軸盡可能切分更多(即,每個維度都成為一個單獨的分片).

如果分區(qū)程序達到 max_shards 限制,則每個分片最終可能大于 max_shard_bytes.默認情況下,max_shards 等于 None,并且不限制碎片的數(shù)量.

一個 max_shard_bytes 合理的值是 (64 << 20) - 1,或大約 64MB,保持低于 protobuf 字節(jié)限制.

函數(shù)參數(shù)：

• max_shard_bytes：允許任何給定分片的最大大小.
• axis：沿著該軸進行分區(qū),默認為最外面的軸.
• bytes_per_string_element：如果 Variable 是字符串類型,這提供了一個估計 Variable 中每個標量的大小.
• max_shards：創(chuàng)建優(yōu)先于 max_shard_bytes 的 int 中的最大分片數(shù)量.

函數(shù)返回值：

分區(qū)函數(shù)可用作 variable_scope、get_variable 和 get_partitioned_variable_list 的 partitioner 參數(shù).

可能引發(fā)的異常：

• ValueError：如果有任何字節(jié)數(shù)是非正數(shù).