1. Ollama已經(jīng)成功啟動(dòng)了codegeex4模型,但是用插件的本地模式去連接,一直提示:連接錯(cuò)誤,請(qǐng)確認(rèn)模型配置?
請(qǐng)確認(rèn)下是否解決了http請(qǐng)求跨域問(wèn)題,且正確輸入了模型名稱:
2. 跑模型需要最低的GPU顯存是多少?
Ollama int4運(yùn)行,只需要6G以內(nèi)。用bf16的精度,則至少需要18G。
開(kāi)源項(xiàng)目倉(cāng)庫(kù)更新計(jì)劃
Coming Soon……
如果您有技術(shù)問(wèn)題,請(qǐng)?jiān)趃ithub issue提出:
https://github.com/THUDM/CodeGeeX4/issues
如果您想貢獻(xiàn)關(guān)于 開(kāi)源項(xiàng)目倉(cāng)庫(kù) 中的代碼,或者修改倉(cāng)庫(kù)中的bug,您需要提出PR:
https://github.com/THUDM/CodeGeeX4/pulls
感謝您的支持。
更多建議: