為各類(lèi)數(shù)據(jù)中心提供出...
企業(yè)面臨著將人工智能融入其產(chǎn)品的壓力。當(dāng)為此考慮大型語(yǔ)言模型 (LLM)時(shí)，選擇通常歸結(jié)為開(kāi)源與閉源選項(xiàng)。
LLM 是先進(jìn)的機(jī)器學(xué)習(xí)模型，旨在根據(jù)給定的提示理解和生成類(lèi)似人類(lèi)的文本。本指南將幫助您權(quán)衡開(kāi)源和閉源 LLM 的優(yōu)缺點(diǎn)。它涵蓋了可用性、成本、知識(shí)產(chǎn)權(quán)、安全措施等。此外，您還將了解這兩個(gè)領(lǐng)域的當(dāng)前形勢(shì)、道德考量以及主要的開(kāi)源 LLM。
鑒于該領(lǐng)域的許可和技術(shù)兼容性的快速發(fā)展，在最終做出決定之前咨詢(xún)技術(shù)和法律專(zhuān)家至關(guān)重要。
一、大型語(yǔ)言模型的現(xiàn)狀
Databricks、斯坦福和德國(guó)非營(yíng)利組織 LAION等組織正在努力使 LLM 的獲取變得民主化，與 ChatGPT 等專(zhuān)有模型形成鮮明對(duì)比。這一努力引發(fā)了關(guān)于人工智能模型是否應(yīng)該免費(fèi)提供或受版權(quán)保護(hù)的爭(zhēng)論，引發(fā)了對(duì)開(kāi)源 LLM 的道德和安全擔(dān)憂(yōu)。
GPT-4的發(fā)布加劇了開(kāi)源爭(zhēng)論，其中包括一份技術(shù)報(bào)告，但隱瞞了模型架構(gòu)、硬件或訓(xùn)練方法的細(xì)節(jié)。批評(píng)者認(rèn)為，這種缺乏透明度的做法給人一種開(kāi)放的假象。OpenAI 曾經(jīng)是開(kāi)源的倡導(dǎo)者，但現(xiàn)在卻以安全問(wèn)題為由，拒絕公開(kāi)模型。
開(kāi)源 AI 為 AI 的發(fā)展做出了巨大貢獻(xiàn)，許多流行的 LLM 都是基于 Transformers 等開(kāi)源架構(gòu)構(gòu)建的。然而，公司轉(zhuǎn)向?qū)Ｓ猩虡I(yè)模式引發(fā)了人們對(duì)透明度和可訪(fǎng)問(wèn)性的擔(dān)憂(yōu)，從而增加了開(kāi)源替代方案的受歡迎程度。
未來(lái)的生態(tài)系統(tǒng)可能會(huì)提供多種選擇，開(kāi)放程度各不相同，以達(dá)到適當(dāng)?shù)钠胶?。開(kāi)源模型支持的研究至關(guān)重要，盡管較小的開(kāi)源 LLM（如 Vicuna）可能不如 ChatGPT 等針對(duì)特定應(yīng)用的專(zhuān)有解決方案那么先進(jìn)。
二、開(kāi)源 LLM 和 AI 模型
開(kāi)源 LLM 是具有可公開(kāi)訪(fǎng)問(wèn)源代碼的語(yǔ)言模型，任何人都可以自由使用、修改和分發(fā)。這些模型促進(jìn)了協(xié)作、透明度和社區(qū)參與。開(kāi)發(fā)人員、研究人員和愛(ài)好者可以積極為其開(kāi)發(fā)、增強(qiáng)和定制做出貢獻(xiàn)。它們的開(kāi)源性質(zhì)促進(jìn)了更大的創(chuàng)新、知識(shí)共享和集體進(jìn)步。
三、閉源 LLM 和 AI 模型
閉源 LLM 是源代碼不對(duì)外公開(kāi)的語(yǔ)言模型。這些模型由組織或公司開(kāi)發(fā)和維護(hù)，屬于專(zhuān)有，不對(duì)公眾開(kāi)放。閉源 LLM 通常以商業(yè)產(chǎn)品的形式提供，使用閉源 LLM 往往需要許可證或訂閱。閉源 LLM 的架構(gòu)、訓(xùn)練數(shù)據(jù)和算法的細(xì)節(jié)通常不對(duì)外公開(kāi)。
四、開(kāi)源與閉源之爭(zhēng)
深度學(xué)習(xí)架構(gòu)（尤其是 Transformer）的進(jìn)步，以及 Google Books 和 Common Crawl 等海量數(shù)據(jù)集的出現(xiàn)，推動(dòng)了大型語(yǔ)言模型 (LLM) 的重大進(jìn)步。到 2018 年，OpenAI 的生成式預(yù)訓(xùn)練 Transformer (GPT-2) 展示了令人印象深刻的文本生成能力，引起了廣泛關(guān)注。由于 GPT-2 的公開(kāi)發(fā)布和功能，它通常被認(rèn)為是 LLM 開(kāi)發(fā)的一個(gè)里程碑。
然而，GPT-2 并非完全開(kāi)源。OpenAI 出于對(duì)潛在濫用的擔(dān)憂(yōu)，選擇了受控發(fā)布，這引發(fā)了關(guān)于 LLM 開(kāi)發(fā)中開(kāi)源與閉源方法優(yōu)劣的爭(zhēng)論。
五、LLM 是開(kāi)源的還是閉源的有關(guān)系嗎？
是的，因?yàn)?LLM 的授課方式（無(wú)論是開(kāi)放式還是封閉式）都會(huì)影響以下三個(gè)關(guān)鍵因素：
創(chuàng)新速度與定制
可達(dá)性和費(fèi)用
數(shù)據(jù)安全
這些因素影響哪種模式最適合您的業(yè)務(wù)。
讓我們?cè)敿?xì)探討每一個(gè)，以及它們?cè)陂_(kāi)源和閉源模型之間的區(qū)別。
1. 創(chuàng)新速度與定制化
開(kāi)源 LLM 允許更大程度的定制，并具有更快創(chuàng)新的潛力。
開(kāi)源大型語(yǔ)言模型
定制：公司可以定制和微調(diào)模型以滿(mǎn)足他們的需求。
快速創(chuàng)新：開(kāi)放訪(fǎng)問(wèn)使企業(yè)能夠快速創(chuàng)新，將技術(shù)與其他系統(tǒng)集成，而無(wú)需等待供應(yīng)商更新。
社區(qū)支持：開(kāi)發(fā)人員分享進(jìn)步，加速創(chuàng)新進(jìn)程。
閉源大型語(yǔ)言模型
有限的定制：定制選項(xiàng)通常受到限制。
先進(jìn)的解決方案：利用大量資源開(kāi)發(fā)，提供尖端的性能或獨(dú)特的功能。
供應(yīng)商依賴(lài)：由于依賴(lài)供應(yīng)商更新，創(chuàng)新可能會(huì)變得更慢。
2. 可達(dá)性和成本
開(kāi)源和閉源模型的成本和可訪(fǎng)問(wèn)性各不相同。
例如，ChatGPT-4（閉源）每百萬(wàn)個(gè)代幣輸入的成本約為 10 美元，每百萬(wàn)個(gè)代幣輸出的成本約為 30 美元，而 Llama-3-70-B（開(kāi)源）每百萬(wàn)個(gè)代幣輸入的成本約為 60 美分，每百萬(wàn)個(gè)代幣輸出的成本約為 70 美分，這使其成本大約便宜 10 倍，而性能差異卻很小。
開(kāi)源大型語(yǔ)言模型
降低成本： Llama-3-70-B 等型號(hào)可顯著節(jié)省成本。
廣泛的可訪(fǎng)問(wèn)性：較低的成本使更多開(kāi)發(fā)人員可以使用先進(jìn)的AI功能。
定制投資：開(kāi)發(fā)人員可能需要在定制和維護(hù)方面進(jìn)行投資。
閉源大型語(yǔ)言模型
許可費(fèi)用：通常伴隨著更高的成本，包括更新和支持的持續(xù)費(fèi)用。
支持服務(wù)：這些費(fèi)用可能由供應(yīng)商提供的支持和維護(hù)來(lái)證明是合理的，以確保有效性和安全性。
3.數(shù)據(jù)安全
如果數(shù)據(jù)安全是首要任務(wù)，那么最好使用開(kāi)源 LLM 或基礎(chǔ)設(shè)施內(nèi)自建的閉源模型。
開(kāi)源大型語(yǔ)言模型
增強(qiáng)控制：在私有云上部署可以更好地控制安全措施和數(shù)據(jù)隱私。
定制安全：組織可以實(shí)施定制的安全協(xié)議。
透明度：允許進(jìn)行徹底的審計(jì)和持續(xù)的安全改進(jìn)。
閉源大型語(yǔ)言模型
供應(yīng)商管理的安全性：為沒(méi)有大量 IT 資源的公司提供安心。
合規(guī)認(rèn)證：供應(yīng)商可能會(huì)提供遵守法規(guī)所需的認(rèn)證。
可見(jiàn)性有限：公司對(duì)潛在漏洞的了解較少，必須依賴(lài)供應(yīng)商提供安全更新。
六、比較表：開(kāi)源與閉源大型語(yǔ)言模型
七、評(píng)估開(kāi)源和閉源大型語(yǔ)言模型 (LLM) 的商業(yè)影響
創(chuàng)新、可訪(fǎng)問(wèn)性和安全性至關(guān)重要，但您還必須考慮可擴(kuò)展性、成本、集成和定制，以最好地滿(mǎn)足您的需求。
下面，我們提供了易于閱讀的表格，以幫助您了解每種模型如何在這些因素下影響您的業(yè)務(wù)。
1.可擴(kuò)展性和成本
考慮短期和長(zhǎng)期使用 LLM。隨著您的成長(zhǎng)，封閉模型的用例是否會(huì)變得不足？您能承擔(dān)擴(kuò)展開(kāi)源模型相關(guān)的成本嗎？
2. 集成與定制
評(píng)估您團(tuán)隊(duì)的技術(shù)能力和定制解決方案的重要性。您的工作流程是否需要開(kāi)源模型能夠提供的定制 AI 功能，或者您是否更喜歡簡(jiǎn)化的、隨時(shí)可用的解決方案以最大限度地減少技術(shù)開(kāi)銷(xiāo)？
八、為什么我們認(rèn)為開(kāi)源大型語(yǔ)言模型是最好的
大學(xué)在分享研究和代碼方面有著悠久的傳統(tǒng)，這自然也延伸到了人工智能和大型語(yǔ)言模型課程中。這種開(kāi)放的合作精神植根于 Linux 等開(kāi)源運(yùn)動(dòng)的成功，這些運(yùn)動(dòng)展示了社區(qū)驅(qū)動(dòng)開(kāi)發(fā)的力量。受此啟發(fā)，研究人員和開(kāi)發(fā)人員已開(kāi)始采用開(kāi)源方法攻讀大型語(yǔ)言模型課程。
眾多研究團(tuán)隊(duì)和獨(dú)立開(kāi)發(fā)者為開(kāi)源 LLM 生態(tài)系統(tǒng)做出了巨大貢獻(xiàn)。這種協(xié)作努力正在擴(kuò)大可用模型的種類(lèi)，例如 OpenAI GPT-J、Meta AI Llama、EleutherAI Jurassic-1 Jumbo 和 Hugging Face Transformers。一個(gè)充滿(mǎn)活力的開(kāi)發(fā)者和公司社區(qū)不斷增強(qiáng)開(kāi)源 LLM 格局。
這個(gè)領(lǐng)域發(fā)展迅速，新模型不斷開(kāi)發(fā)和發(fā)布。Hugging Face Transformers 庫(kù)提供了 100 多個(gè)預(yù)訓(xùn)練模型，許多獨(dú)立項(xiàng)目也在不斷推出新的開(kāi)源 LLM。
最近的報(bào)告顯示，人們對(duì)開(kāi)源大型語(yǔ)言模型的偏好日益增長(zhǎng)。根據(jù) a16z.com 數(shù)據(jù)顯示，41% 的受訪(fǎng)企業(yè)計(jì)劃增加對(duì)開(kāi)源模型的使用，而非封閉模型。另有 41% 的企業(yè)表示，如果其性能與封閉模型相當(dāng)，則會(huì)轉(zhuǎn)向開(kāi)源模型，而只有 18% 的企業(yè)不打算增加對(duì)開(kāi)源 LLM 的使用。
如果這些預(yù)測(cè)成立，我們可能會(huì)看到行業(yè)趨勢(shì)發(fā)生重大轉(zhuǎn)變。到 2023 年，市場(chǎng)將以 80%-90% 的份額由閉源模型主導(dǎo)，而開(kāi)放模型和閉源模型之間的分布可能很快就會(huì)更加均衡。
結(jié)論
總之，在開(kāi)源和閉源大型語(yǔ)言模型 (LLM) 之間做出選擇是一項(xiàng)關(guān)鍵決策，它會(huì)影響創(chuàng)新、成本、可擴(kuò)展性、安全性和企業(yè)內(nèi)部集成。開(kāi)源 LLM 提供無(wú)與倫比的定制化、社區(qū)驅(qū)動(dòng)的創(chuàng)新和成本效益，使其成為具有技術(shù)專(zhuān)長(zhǎng)以發(fā)揮其潛力的組織的一個(gè)有吸引力的選擇。它們還符合學(xué)術(shù)和研究機(jī)構(gòu)的協(xié)作精神，有助于實(shí)現(xiàn) AI 技術(shù)的民主化。
另一方面，閉源 LLM 提供現(xiàn)成的解決方案，并具有強(qiáng)大的支持和維護(hù)，這對(duì)于尋求簡(jiǎn)化實(shí)施和供應(yīng)商管理安全性的企業(yè)來(lái)說(shuō)非常有價(jià)值。雖然它們成本較高且提供有限的定制，但對(duì)于缺乏管理開(kāi)源模型資源的公司來(lái)說(shuō)，它們通常更容易獲得。
隨著 LLM 格局的不斷發(fā)展，開(kāi)源社區(qū)和商業(yè)實(shí)體的貢獻(xiàn)不斷增加，未來(lái)可能會(huì)看到一個(gè)更加平衡的生態(tài)系統(tǒng)。開(kāi)源模型的不斷發(fā)展，加上企業(yè)興趣的不斷增長(zhǎng)，表明開(kāi)源 LLM 可能會(huì)轉(zhuǎn)向更廣泛地采用，只要它們能夠滿(mǎn)足性能預(yù)期。最終，最佳選擇取決于公司的具體需求、技術(shù)能力和長(zhǎng)期目標(biāo)，強(qiáng)調(diào)在做出決定之前仔細(xì)評(píng)估和咨詢(xún)專(zhuān)家的重要性。
