，眾所周知，阿聯(lián)酋在科技及教育產(chǎn)業(yè)方面投入的預(yù)算一直不菲，近日，阿聯(lián)酋科技創(chuàng)新研究所打造出了 400 億參數(shù)的語(yǔ)言模型 Falcon-40B，在 Hugging Face 的 OpenLLM 排行榜上排名第一，并持續(xù)霸榜，贏過(guò)此前 LLaMA、StableLM 和 RedPajama 等競(jìng)爭(zhēng)者。

據(jù)稱(chēng)，F(xiàn)alcon-40B 使用了 384 顆 GPU 來(lái)進(jìn)行 2 個(gè)月的訓(xùn)練、利用將近 5 億個(gè) Token 訓(xùn)練而成。為提高訓(xùn)練過(guò)程的質(zhì)量，團(tuán)隊(duì)還自己組建了一套工作流程來(lái)篩選出“最高質(zhì)量的的資料”供給 AI 模型訓(xùn)練。經(jīng)多個(gè)基準(zhǔn)測(cè)試，表現(xiàn)比 LLaMA、Vicuna 和 Alpaca 更加出色。

此外，團(tuán)隊(duì)還采用了“多重查詢(xún)注意力”機(jī)制，來(lái)提高模型的效率?！岸嘀夭樵?xún)注意力”機(jī)制即模型可以對(duì)每個(gè) Token 進(jìn)行多個(gè)查詢(xún)，來(lái)更好表示同一序列中，不同 token 之間的關(guān)系，以在加速模型運(yùn)算效率的同時(shí)，降低模型的復(fù)雜性，進(jìn)而提高模型整體的可維護(hù)性。

阿聯(lián)酋科技創(chuàng)新研究所首席執(zhí)行官 Ray O. Johnson 博士表示:“2023 年將是人工智能之年。Falcon 模型對(duì)我們來(lái)說(shuō)具有里程碑意義，但這僅僅是個(gè)開(kāi)始”。

IT之家注意到，F(xiàn)alcon 模型已經(jīng)在 huggingface 上開(kāi)源，目前開(kāi)源的版本有 Falcon-7B-Instruct 和 Falcon-40B-Instruct 等，IT之家的小伙伴們可以在這里訪問(wèn)。

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。