天天日天天干天天搞_亚洲性色AV无码久久精品色欲_亚洲精品免费在线观看_午夜视频在线免费观看

時代商業(yè)網(wǎng)
ad2

6G顯存玩轉(zhuǎn)130億參數(shù)大模型,僅需13行命令,RTX2060用戶發(fā)來賀

來源:IT之家  時間:2023-05-22 10:43  編輯:燕夢蝶   閱讀量:15200   

Meta 的大語言模型 LLaMA 13B,現(xiàn)在用 2060 就能跑了~

羊駝家族的 Alpaca 和 Vicuna 也都能運行,顯存最低只需要 6G,簡直是低 VRAM 用戶的福音有木有。

GitHub 上的搭建教程火了之后,網(wǎng)友們紛紛跑來問蘋果 M2 是不是也能跑。

這通操作的大致原理是利用最新版 CUDA,可以將 Transformer 中任意數(shù)量的層放在 GPU 上運行。

與此前 llama.cpp 項目完全運行在 CPU 相比,用 GPU 替代一半的 CPU 可以將效率提高將近 2 倍。

而如果純用 GPU,這一數(shù)字將變成 6 倍。

網(wǎng)友實測的結(jié)果中,使用 CPU 每秒能跑 2.1 個 token,而用 GPU 能跑 3.2 個。

生成的內(nèi)容上,開發(fā)者成功用它跑出了“尼采文學(xué)”。

如何操作

在開始搭建之前,我們需要先申請獲得 LLaMA 的訪問權(quán)限。

此外還需要有一個 Linux 環(huán)境。

準(zhǔn)備工作完成之后,第一步是將 llama.cpp 克隆到本地。

如果沒有安裝 CUDA,可以參考下面的步驟:

然后是建立 micromamba 環(huán)境,安裝 Python 和 PyTorch 等工具。

接著需要在 micromamba 環(huán)境下安裝一些包:

1exportMAMBA_ROOT_PREFIX=2eval"$(micromambashellhook--shell=bash)"3micromambacreate-nmymamba4micromambaactivatemymamba5micromambainstall-cconda-forge-nmymambapytorchtransformerssentencepiece

然后運行 Python 腳本以執(zhí)行轉(zhuǎn)換過程:

1pythonconvert.py~/ai/Safe-LLaMA-HF-v2\/llama-13b/

之后將其量化為 4bit 模式。

1./quantize~/ai/Safe-LLaMA-HF-v2\/llama-13b/ggml-model-f16.bin~/ai/Safe-LLaMA-HF-v2\/llama-13b/ggml-model-13b-q4_0-2023_14_5.binq4_08

接著是新建一個 txt 文本文檔,把提示詞輸入進去,然后就可以運行了。

1./main-ngl18-m~/ai/Safe-LLaMA-HF-v2\/llama-13b/ggml-model-13b-q4_0-2023_14_5.bin-f文檔名稱txt-n2048q4_08

這步當(dāng)中-ngl 后面的數(shù)字是可以修改的,它代表了轉(zhuǎn)換層的數(shù)量。

當(dāng)該值為 18 時,運行中消耗的 VRAM 為 5.5GB,根據(jù)顯存的大小最高可以調(diào)至 40。

網(wǎng)友:AMD 不配嗎

這一教程出現(xiàn)之后,網(wǎng)友們的新玩具又增加了。

“苦 OpenAI 久矣”的網(wǎng)友更是感覺仿佛找到了光。

這位網(wǎng)友就表示自己太期待在自己的設(shè)備上運行 LLM 了,寧愿花 5 千美元購置設(shè)備也不想給 OpenAI 交一分錢。

但 AMD 用戶可能就不那么興奮了,甚至透露出了嫉妒之情。

這套方法要用到 CUDA,所以 AMD 是不配了嗎?

那么,你期待用自己的設(shè)備跑大語言模型嗎?

參考鏈接:

鄭重聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,目的在于傳播更多信息,與本站立場無關(guān)。僅供讀者參考,并請自行核實相關(guān)內(nèi)容。