PyTorch C ++ API

原文： https://pytorch.org/cppdocs/

這些頁(yè)面提供了 PyTorch C ++ API 公共部分的文檔。 該 API 大致可分為五個(gè)部分：

• ATen ：所有其他基礎(chǔ)都建立在其上的基礎(chǔ)張量和數(shù)學(xué)運(yùn)算庫(kù)；
• Autograd ：具有自動(dòng)微分的增強(qiáng) ATen；
• C ++前端：用于訓(xùn)練和評(píng)估機(jī)器學(xué)習(xí)模型的高級(jí)構(gòu)造；
• TorchScript ：TorchScript JIT 編譯器和解釋器的接口；
• C ++擴(kuò)展：一種使用自定義 C ++和 CUDA 例程擴(kuò)展 Python API 的方法。

這些構(gòu)建模塊一起構(gòu)成了一個(gè)可用于張量計(jì)算和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的研究和生產(chǎn)就緒的 C ++庫(kù)，其中特別強(qiáng)調(diào) GPU 加速以及快速的 CPU 性能。 目前，F(xiàn)acebook 正在研究和生產(chǎn)中使用它。 我們期待歡迎更多的 PyTorch C ++ API 用戶。

警告

目前，應(yīng)將 C ++ API 視為“測(cè)試版”穩(wěn)定性。 我們可能會(huì)對(duì)后端進(jìn)行重大更改，以改進(jìn) API，或者在為 PyTorch 提供 Python 接口(這是我們最穩(wěn)定和最受支持的接口）時(shí)使用。

en

ATen 從根本上講是一個(gè)張量庫(kù)，在 PyTorch 中幾乎所有其他 Python 和 C ++接口都在其上構(gòu)建。 它提供了一個(gè)核心Tensor類，在該類上定義了數(shù)百種操作。 這些操作大多數(shù)都具有 CPU 和 GPU 實(shí)現(xiàn)，Tensor類將根據(jù)其類型向其動(dòng)態(tài)調(diào)度。 使用 ATen 的一個(gè)小示例如下所示：

#include <ATen/ATen.h>
at::Tensor a = at::ones({2, 2}, at::kInt);
at::Tensor b = at::randn({2, 2});
auto c = a + b.to(at::kInt);

此Tensor類和 ATen 中的所有其他符號(hào)在at::命名空間中找到，在這里記錄在中。

自動(dòng)求導(dǎo)

我們所稱的 autograd 是 PyTorch C ++ API 的一部分，這些部分通過(guò)涉及自動(dòng)區(qū)分的功能擴(kuò)展了 ATen Tensor類。 autograd 系統(tǒng)在張量上記錄操作，以形成 autograd 圖。 在該圖中的葉變量上調(diào)用backwards()，可通過(guò)跨越 autograd 圖的函數(shù)和張量網(wǎng)絡(luò)執(zhí)行反向模式微分，最終產(chǎn)生梯度。 以下示例提供了該界面的外觀：

#include <torch/csrc/autograd/variable.h>
#include <torch/csrc/autograd/function.h>
torch::Tensor a = torch::ones({2, 2}, torch::requires_grad());
torch::Tensor b = torch::randn({2, 2});
auto c = a + b;
c.backward(); // a.grad() will now hold the gradient of c w.r.t. a.

默認(rèn)情況下，ATen 中的at::Tensor類不可區(qū)分。 若要增加 autograd API 提供的張量的可微性，必須使用 <cite>torch ::</cite> 命名空間中的張量工廠函數(shù)，而不是位于::: 命名空間中的<cite>。 例如，使用<cite>在:: ones</cite> 創(chuàng)建的張量將是不可微的，而使用 <cite>Torch :: ones</cite> 創(chuàng)建的張量將是可微的。</cite>

C ++前端

PyTorch C ++前端為神經(jīng)網(wǎng)絡(luò)以及一般的機(jī)器學(xué)習(xí)研究和生產(chǎn)用例提供了一個(gè)高級(jí)的純 C ++建模接口，在設(shè)計(jì)和提供的功能上很大程度上遵循了 Python API。 C ++前端包括以下內(nèi)容：

• 通過(guò)分層模塊系統(tǒng)(例如torch.nn.Module）定義機(jī)器學(xué)習(xí)模型的接口；
• 用于最常見(jiàn)建模目的的預(yù)先存在模塊的“標(biāo)準(zhǔn)庫(kù)”(例如卷積，RNN，批處理規(guī)范化等）；
• 優(yōu)化 API，包括流行的優(yōu)化器(例如 SGD，Adam，RMSprop 等）的實(shí)現(xiàn)；
• 一種表示數(shù)據(jù)集和數(shù)據(jù)管道的方法，包括在許多 CPU 內(nèi)核上并行加載數(shù)據(jù)的功能；
• 用于存儲(chǔ)和加載訓(xùn)練檢查點(diǎn)的序列化格式(例如torch.utils.data.DataLoader）；
• 將模型自動(dòng)并行化到多個(gè) GPU(例如torch.nn.parallel.DataParallel）；
• 支持代碼，可以使用 pybind11 輕松將 C ++模型綁定到 Python；
• 入口指向 TorchScript JIT 編譯器；
• 有用的實(shí)用程序，可促進(jìn)與 ATen 和 Autograd API 的接口。

有關(guān) C ++前端的詳細(xì)說(shuō)明，請(qǐng)參見(jiàn)本文檔的。 與 C ++前端相關(guān)的 <cite>torch ::</cite> 命名空間的相關(guān)部分包括 torch :: nn ，  torch :: optim 和 [torch :: data  ， torch :: serialize ， torch :: jit 和 torch :: python 。 C ++前端的示例可以在該存儲(chǔ)庫(kù)的中找到，該存儲(chǔ)庫(kù)正在持續(xù)不斷地?cái)U(kuò)展。

注意

除非有特殊原因要專門(mén)限制自己使用 ATen 或 Autograd API，否則 C ++前端是 PyTorch C ++生態(tài)系統(tǒng)的推薦入口點(diǎn)。 盡管它仍處于測(cè)試階段，因?yàn)槲覀兪占四挠脩舴答?，但與 ATen 和 Autograd API 相比，它提供了更多的功能和更好的穩(wěn)定性保證。

torch腳本

TorchScript 是 PyTorch 模型的表示形式，可以由 TorchScript 編譯器理解，編譯和序列化。 從根本上說(shuō)，TorchScript 本身就是一種編程語(yǔ)言。 它是使用 PyTorch API 的 Python 的子集。 TorchScript 的 C ++接口包含三個(gè)主要功能：

• 一種用于加載和執(zhí)行 Python 中定義的序列化 TorchScript 模型的機(jī)制；
• 用于定義自定義運(yùn)算符的 API，用于擴(kuò)展 TorchScript 標(biāo)準(zhǔn)運(yùn)算庫(kù)；
• 從 C ++實(shí)時(shí)編譯 TorchScript 程序。

如果您想盡可能地在 Python 中定義模型，但是隨后將它們導(dǎo)出到 C ++進(jìn)行生產(chǎn)環(huán)境和無(wú) Python 推斷，第一種機(jī)制可能對(duì)您很感興趣。 您可以通過(guò)以下此鏈接找到有關(guān)此內(nèi)容的更多信息。 第二個(gè) API 涉及您想使用自定義運(yùn)算符擴(kuò)展 TorchScript 的場(chǎng)景，可以類似地在推理過(guò)程中從 C ++對(duì)其進(jìn)行序列化和調(diào)用。 最后，torch :: jit :: compile 函數(shù)可用于直接從 C ++訪問(wèn) TorchScript 編譯器。

C ++擴(kuò)展

C ++擴(kuò)展提供了一種簡(jiǎn)單而強(qiáng)大的方法來(lái)訪問(wèn)上述所有接口，以擴(kuò)展 PyTorch 的常規(guī) Python 用例。 C ++擴(kuò)展最常用于在 C ++或 CUDA 中實(shí)現(xiàn)自定義運(yùn)算符，以加快對(duì)原始 PyTorch 設(shè)置的研究。 C ++擴(kuò)展 API 不會(huì)向 PyTorch C ++ API 添加任何新功能。 相反，它提供了與 Python setuptool 以及 JIT 編譯機(jī)制的集成，該機(jī)制允許從 Python 訪問(wèn) ATen，autograd 和其他 C ++ API。