閱讀(27.7k) 書簽贊(0) 我要糾錯(cuò)

TensorFlow 神經(jīng)網(wǎng)絡(luò)

2019-01-31 18:11 更新

注意：接受 Tensor 參數(shù)的函數(shù)也可以接受被 tf.convert_to_tensor 接受的任何內(nèi)容.

TensorFlow 激活函數(shù)

激活操作提供用于神經(jīng)網(wǎng)絡(luò)的不同類型的非線性。這些包括平滑的非線性(sigmoid，tanh，elu，softplus，和softsign)，連續(xù)的，但不是到處可微函數(shù)(relu，relu6，crelu和relu_x)，和隨機(jī)正規(guī)化(dropout)。

所有激活操作應(yīng)用于分量，并產(chǎn)生與輸入張量相同形狀的張量。

tf.nn.relu
tf.nn.relu6
tf.nn.crelu
tf.nn.elu
tf.nn.softplus
tf.nn.softsign
tf.nn.dropout
tf.nn.bias_add
tf.sigmoid
tf.tanh

TensorFlow 卷積運(yùn)算

卷積運(yùn)算在一批圖像上掃描2維濾鏡，將濾鏡應(yīng)用到適當(dāng)大小的每個(gè)圖像的每個(gè)窗口。不同的操作在通用和特定過濾器之間取舍：

conv2d：可以將通道混合在一起的任意濾波器
depthwise_conv2d：獨(dú)立對(duì)每個(gè)通道進(jìn)行操作的過濾器
separable_conv2d：深度方向的空間濾波器,后跟一個(gè)點(diǎn)濾波器

注意，盡管這些操作被稱為“卷積”，但它們嚴(yán)格地說是“互相關(guān)”，因?yàn)闉V波器與輸入窗口組合而不反轉(zhuǎn)濾波器。

過濾器應(yīng)用于與過濾器相同大小的圖像補(bǔ)丁，并根據(jù) strides 參數(shù)進(jìn)行分段。strides = [1, 1, 1, 1] 在每個(gè)偏移處將濾鏡應(yīng)用到貼片，strides = [1, 2, 2, 1] 將濾鏡應(yīng)用到每個(gè)維度中的每個(gè)其他圖像補(bǔ)丁等。

忽略通道，假設(shè)4維 input 具有shape [batch, in_height, in_width, ...]，4維 filter具有shape [filter_height, filter_width, ...]，則卷積運(yùn)算的空間語義如下：首先，根據(jù)選擇的填充方案 'SAME' 或 'VALID' 輸出大小和計(jì)算填充像素。對(duì)于 'SAME' 填充，輸出高度和寬度計(jì)算如下：

out_height = ceil(float(in_height) / float(strides[1]))
out_width  = ceil(float(in_width) / float(strides[2]))

沿高度和寬度應(yīng)用的總填充量計(jì)算如下：

if (in_height % strides[1] == 0):
  pad_along_height = max(filter_height - strides[1], 0)
else:
  pad_along_height = max(filter_height - (in_height % strides[1]), 0)
if (in_width % strides[2] == 0):
  pad_along_width = max(filter_width - strides[2], 0)
else:
  pad_along_width = max(filter_width - (in_width % strides[2]), 0)

最后，頂部，底部，左側(cè)和右側(cè)的填充是：

pad_top = pad_along_height // 2
pad_bottom = pad_along_height - pad_top
pad_left = pad_along_width // 2
pad_right = pad_along_width - pad_left

請(qǐng)注意，除以2意味著可能會(huì)出現(xiàn)兩側(cè)的填充(頂部與底部，右側(cè)和左側(cè))關(guān)閉的情況.在這種情況下，底部和右側(cè)總是得到一個(gè)額外的填充像素。例如，當(dāng) pad_along_height 為 5 時(shí)，我們?cè)陧敳刻畛?個(gè)像素，在底部填充3個(gè)像素。請(qǐng)注意,這不同于現(xiàn)有的庫，如 cuDNN 和 Caffe，它們明確指定了填充像素的數(shù)量，并且始終在兩側(cè)都填充相同數(shù)量的像素。

對(duì)于'VALID“填充”，輸出高度和寬度計(jì)算如下：

out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))
out_width  = ceil(float(in_width - filter_width + 1) / float(strides[2]))

并且沒有使用填充。

給定輸出大小和填充，輸出可以計(jì)算為：

$ output[b, i, j, :] = sum_{d_i, d_j} input[b, strides[1] * i + d_i - pad_{top},\ strides[2] * j + d_j - pad_{left}, ...] * filter[d_i, d_j,\ ...]$

其中在原始輸入圖像區(qū)域之外的任何值被認(rèn)為是零(即，我們?cè)趫D像的邊界周圍填充零值)。

因?yàn)?input 是4維的，所以每個(gè) input[b, i, j, :]都是一個(gè)向量。因?yàn)?conv2d，這些向量被 filter[di, dj, :, :] 矩陣乘以產(chǎn)生新的向量。因?yàn)?depthwise_conv_2d，每個(gè)標(biāo)量分量 input[b, i, j, k]乘以一個(gè)向量 filter[di, dj, k]，并且所有的向量都被連接起來。

池操作

池操作通過輸入張量掃描矩形窗口，計(jì)算每個(gè)窗口的縮減操作(平均值,最大值或最大值與 argmax).每個(gè)池操作使用大小 ksize 由偏移量分隔的矩形窗口 strides。例如，如果 strides 每個(gè)窗口都是所有窗口，如果每個(gè)窗口都是 strides 每個(gè)窗口都使用兩個(gè)等等。

詳細(xì)來說，輸出是：

output[i] = reduce(value[strides * i:strides * i + ksize])

其中指數(shù)也考慮到填充值。Convolution 有關(guān)填充計(jì)算的詳細(xì)信息,請(qǐng)參閱該部分。

形態(tài)學(xué)濾波

形態(tài)運(yùn)算符是圖像處理中使用的非線性濾波器。

灰度形態(tài)擴(kuò)張是標(biāo)準(zhǔn)求和積卷積的最大和對(duì)數(shù)：

$ output[b, y, x, c] = max_{dy, dx} input[b, strides[1] * y + rates[1] * dy, strides[2] * x + rates[2] * dx, c] + filter[dy, dx, c]$

在 filter 通常被稱為構(gòu)造功能。當(dāng)過濾器采用全零值(也稱為平面結(jié)構(gòu)化功能)時(shí)，最大匯集是灰度形態(tài)擴(kuò)張的特殊情況。

灰度形態(tài)侵蝕是標(biāo)準(zhǔn)和積卷積的最小和對(duì)數(shù)：

$ output[b, y, x, c] = min_{dy, dx} input[b, strides[1] * y - rates[1] * dy, strides[2] * x - rates[2] * dx, c] - filter[dy, dx, c]$

膨脹和侵蝕是相互的。構(gòu)造信號(hào) g 的輸入信號(hào) f 的擴(kuò)張等于對(duì) f 的反射 g 的侵蝕的否定，反之亦然。

以與標(biāo)準(zhǔn)卷積完全相同的方式進(jìn)行橫移和填充.詳情請(qǐng)參閱Convolution一節(jié)。

tf.nn.dilation2d
tf.nn.erosion2d
tf.nn.with_space_to_batch

規(guī)范化

規(guī)范化是有用的，以防止神經(jīng)元飽和時(shí)，輸入可能有不同的規(guī)模，并幫助泛化。

tf.nn.l2_normalize
tf.nn.local_response_normalization
tf.nn.sufficient_statistics
tf.nn.normalize_moments
tf.nn.moments
tf.nn.weighted_moments
tf.nn.fused_batch_norm
tf.nn.batch_normalization
tf.nn.batch_norm_with_global_normalization

TensorFlow 損失操作

損失操作測(cè)量?jī)蓮埩恐g或在張量和零之間的誤差。這些可以用于測(cè)量網(wǎng)絡(luò)在回歸任務(wù)中的準(zhǔn)確度，或用于正則化目的 (重量衰減)。

TensorFlow 分類操作

TensorFlow 提供了幾個(gè)可以幫助您執(zhí)行分類的操作。

tf.nn.sigmoid_cross_entropy_with_logits
tf.nn.softmax
tf.nn.log_softmax
tf.nn.softmax_cross_entropy_with_logits
tf.nn.sparse_softmax_cross_entropy_with_logits
tf.nn.weighted_cross_entropy_with_logits

TensorFlow 查找嵌套的張量

TensorFlow 提供庫支持查找嵌套張量的值。

TensorFlow 構(gòu)造遞歸神經(jīng)網(wǎng)絡(luò)

TensorFlow 提供了一些構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)的方法。最接受一個(gè) RNNCell-subclassed 對(duì)象(參見文檔 tf.contrib.rnn)。

連接時(shí)間分類(CTC)

評(píng)估

評(píng)估操作對(duì)于測(cè)量網(wǎng)絡(luò)的性能很有用。它們通常在評(píng)估時(shí)使用。

tf.nn.top_k
tf.nn.in_top_k

采樣抽樣

您是否要培養(yǎng)具有數(shù)千或數(shù)百萬個(gè)輸出類的多類或多標(biāo)簽?zāi)Ｐ?例如，具有較大詞匯量的語言模型)？在這種情況下，使用完整的 Softmax 進(jìn)行訓(xùn)練是緩慢的，因?yàn)閷?duì)于每個(gè)訓(xùn)練示例都對(duì)所有課程進(jìn)行了評(píng)估。候選抽樣訓(xùn)練算法可以通過僅考慮每批培訓(xùn)示例的對(duì)比性類別(稱為候選)的小隨機(jī)選擇子集來加快您的步驟時(shí)間。

采樣損失函數(shù)

TensorFlow 提供以下采樣丟失功能，用于更快的訓(xùn)練。

tf.nn.nce_loss
tf.nn.sampled_softmax_loss

候選采樣

TensorFlow 提供以下采樣器，用于在使用上述采樣丟失函數(shù)之一時(shí)隨機(jī)抽樣候選類。

雜項(xiàng)候選采樣工具

tf.nn.compute_accidental_hits

TensorFlow 量化操作

tf.nn.quantized_conv2d
tf.nn.quantized_relu_x
tf.nn.quantized_max_pool
tf.nn.quantized_avg_pool

以上內(nèi)容是否對(duì)您有幫助：

← TensorFlow 指標(biāo)（contrib）

TensorFlow 優(yōu)化（contrib） →

寫筆記

我要補(bǔ)充