W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗值獎勵
token 是模型用來表示自然語言文本的基本單位,也是我們的計費(fèi)單元,可以直觀的理解為“字”或“詞”;通常 1 個中文詞語、1 個英文單詞、1 個數(shù)字或 1 個符號計為 1 個 token。
一般情況下模型中 token 和字?jǐn)?shù)的換算比例大致如下:
但因為不同模型的分詞不同,所以換算比例也存在差異,每一次實際處理 token 數(shù)量以模型返回為準(zhǔn),您可以從返回結(jié)果的 usage 中查看。
您可以通過如下壓縮包中的代碼來運(yùn)行 tokenizer,以離線計算一段文本的 Token 用量。
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: