微軟打造 13 億參數(shù)小型 LLM AI模型，效果勝于千億參數(shù) GPT-3.5

(相關(guān)資料圖)

IT之家 6 月 27 日消息，AI 模型盲堆體積實際上效果并不見得更好，更多要看訓(xùn)練數(shù)據(jù)的質(zhì)量，微軟日前最近發(fā)布了一款 13 億參數(shù)的語言模型 phi-1，采用“教科書等級”的高品質(zhì)資料集訓(xùn)練而成，據(jù)稱“實際效果勝于千億參數(shù)的 GPT 3.5”。

IT之家注意到，該模型以 Transformer 架構(gòu)為基礎(chǔ)，微軟團隊使用了包括來自網(wǎng)絡(luò)的“教科書等級”數(shù)據(jù)和以 GPT-3.5 經(jīng)過處理的“邏輯嚴密的內(nèi)容”，以及 8 個英偉達 A100 GPU，在短短 4 天內(nèi)完成訓(xùn)練。

微軟團隊表示，比起增加模型的參數(shù)量，通過提高模型的訓(xùn)練數(shù)據(jù)集質(zhì)量，也許更能強化模型的準確率和效率，于是，他們利用高質(zhì)量數(shù)據(jù)訓(xùn)練出了 phi-1 模型。在測試中，phi-1 的分數(shù)達到 50.6%，比起 1750 億參數(shù)的 GPT-3.5（47%）還要好。

微軟表示，phi-1 接下來會在 HuggingFace 中開源，而這不是微軟第一次開發(fā)小型 LLM，此前，他們打造一款 130 億參數(shù)的 Orca，使用了 GPT-4 合成的數(shù)據(jù)訓(xùn)練而成，表現(xiàn)也同樣比 ChatGPT 更好。

目前關(guān)于 phi-1 的論文已經(jīng)在 arXiv 中發(fā)布，可以在這里找到論文的相關(guān)內(nèi)容。

關(guān)鍵詞：