彼時的 Meta 遭遇了蘋果調(diào)整隱私策略和元宇宙預(yù)冷的雙重打擊，股價一度跌至近 6 年來的谷底，比 2021 年的最高價位縮水了三分之二有多。
但出乎意料的是，Meta 恢復(fù)的速度比跌倒還要快。
2023 年 Meta 做出了大量調(diào)整，包括裁員和削減項目收縮成本、押注短視頻應(yīng)用 Reels，以及加大 AI 技術(shù)的投資，利用 AI 來改進廣告模型投放等等。
其中，AI 在 Meta「蘇醒」的歷程中扮演了非常重要的角色。今年以來 Meta 在 AI 領(lǐng)域持續(xù)發(fā)力，不斷地開源自家的 AI 研究成果，從技術(shù)層面來看并不弱于 OpenAI 和 Google 等明星 AI 公司。
就在今天，Meta 發(fā)布了開源大模型 Llama 2，引爆了 AI 圈：Llama 2 不僅性能不輸 GPT-3，而且免費、開源，還可商用！
什么是 Llama 2？
Llama 2 是 Meta 今年 3 月初發(fā)布的 Llama 模型的后續(xù)版本，Llama 因為體積小、性能強等優(yōu)點，在 AI 社區(qū)得到了廣泛的好評，被認為是推動 AI 研究和開發(fā)的重要工具。
Meta AI 今天一同發(fā)布了大型語言模型 Llama 2 及其調(diào)優(yōu)版本 Llama 2-Chat，相比 Llama 1，新版Llama 2 在模型規(guī)模、訓(xùn)練數(shù)據(jù)量、模型結(jié)構(gòu)等多個方面進行了全面提升。
Llama 2 家族包含多個模型規(guī)模，包括 70 億、130 億、340 億（暫未發(fā)布）和 70 億參數(shù)量的多個版本，覆蓋了不同的應(yīng)用場景需求。
此次Meta首先開源發(fā)布了 7 億和 13 億參數(shù)的 Llama 2 及對應(yīng)的聊天機器人條有版本 Llama 2-Chat。
與 Llama 1 相比，Llama 2 在三個方面進行了重要的改進:
首先，訓(xùn)練數(shù)據(jù)量增加了 40%，從 Llama 1 的 1.4 萬億個 token 增至 2 萬億個 token。訓(xùn)練數(shù)據(jù)中的文本來源更多樣化，包括書籍、論文、新聞報道、網(wǎng)頁內(nèi)容等在線公開來源。
Llama 2 還將單條文本的最大長度從 2048 個 token 提升至 4096 個 token，更長的文本輸入意味著可以包含更多上下文信息，提升模型的理解能力。
Llama 2 在更大模型的版本中采用了「分組 Attention」機制，可以顯著降低計算和內(nèi)存需求，提升推理速度。
除了規(guī)模和結(jié)構(gòu)的改進，Llama 2 在多個自然語言處理基準測試上的結(jié)果也優(yōu)于 Llama 1 和其他開源大模型，顯示出在知識表達、推理、對話等能力上的提升。
除了純預(yù)訓(xùn)練模型，調(diào)優(yōu)對話型模型對結(jié)果的質(zhì)量也很重要。
Meta 研究人員開發(fā)了全新的調(diào)優(yōu)方案，通過監(jiān)督微調(diào)和強化學(xué)習(xí)相結(jié)合的方式不斷提升 Llama 2-Chat 的性能。
舉個例子，Llama 2-Chat 的理解能力和表達能力都上了一個臺階，現(xiàn)在可以只用 Emoji 和你聊天，
這是怎么做到的呢？Meta 的研究人員先利用人工標注數(shù)據(jù)進行監(jiān)督微調(diào)，使模型初步符合人類偏好，兼顧有用性和安全性，為后續(xù)的強化學(xué)習(xí)奠定了良好基礎(chǔ)。
然后，利用強化學(xué)習(xí)中的「拒絕采樣」策略進行迭代調(diào)優(yōu)。該策略為每個輸入文本生成多個響應(yīng)，利用訓(xùn)練好的「獎勵模型」選擇最佳響應(yīng)，再利用選擇后的響應(yīng)樣本微調(diào)模型。
研究人員收集了超過 100 萬條人類偏好比較數(shù)據(jù)來訓(xùn)練獎勵模型。
在此過程中，安全性和有用性作為兩個獨立的獎勵模型進行訓(xùn)練和評估。
安全性獎勵模型可以識別風(fēng)險更高的輸入并給出更低的分數(shù)，有助于降低模型生成有害內(nèi)容的風(fēng)險。
簡單來說，Llama 2 的性能和安全性在開源大模型里面都是首屈一指的存在，更詳細的技術(shù)細節(jié)可以參考 Meta 公布的技術(shù)論文。
目前 Meta 已 GitHub 上開源了 Llama 2 預(yù)訓(xùn)練模型的代碼和參數(shù)，允許研究人員進行探索。Meta 還開放了 Llama 2 的商業(yè)使用許可（但月活量超過 7 億的產(chǎn)品需要另外申請商用），相信很快將會有一批基于 Llama 2 的大模型產(chǎn)品涌現(xiàn)出來。
Meta + Microsoft = M&M's ?
在今天的微軟 Inspire 合作伙伴大會上，微軟 CEO 薩蒂亞·納德拉 （Satya Nadella）還宣布了 Meta 與微軟合作的消息，這項合作讓 Llama 2 可以運行在微軟的云服務(wù) Microsoft Azure。
Meta 則表示，微軟是 Llama 2 的首選合作伙伴，未來兩者會通過深度合作，以增加對基礎(chǔ)人工智能技術(shù)的普及，從而讓全球的企業(yè)受益。
部分合作伙伴
而除微軟以外，Meta 同時還和亞馬遜 AWS、Hugging Face 兩家云服務(wù)供應(yīng)商達成合作，在他們的平臺上托管 Llama 2 的運行。
值得一提的是，盡管 Meta 宣稱 Llama 2 模型是開源且免費商用的大語言模型，但通過 Azure 等云服務(wù)方式使用 Llama 2 是否需要收取費用則尚未清楚。
供應(yīng)商之一的亞馬遜發(fā)言人告訴彭博社，Amazon 不會收取訪問該模型的費用，但客戶需要為使用開發(fā)工具包支付費用。Meta 對此還沒做出回應(yīng)。
在微軟官方博客中，微軟表示 Llama 2 已經(jīng)針對 Windows 進行優(yōu)化，使其可以在 Windows 本地運行。
這一舉措，有可能會讓 Windows 一舉成為開發(fā)者打造個性化 AI 體驗需求的最佳平臺，同時讓 AI 能夠用于 Linux 的 Windows 子系統(tǒng) (WSL)、Windows 終端、Microsoft Visual Studio 和 VS Code 等平臺上。
也就是說，Meta 推出的 Llama 2 大語言模型可能會成為 OpenAI 的主要競爭者。
但同一時間，微軟持有 OpenAI 49% 的股份，OpenAI 也依賴 Azure 來提供大量算力以支撐其人工智能模型的運營，甚至 ChatGPT 目前聯(lián)網(wǎng)搜索的插件也是接入必應(yīng)的搜索引擎。
此前讓不溫不火的必應(yīng)訪問量暴增的 New Bing 也是依靠 GPT-4 技術(shù)來開發(fā)?？梢哉f，微軟在人工智能領(lǐng)域與 OpenAI 已經(jīng)有深入的合作。
也有評論認為，兩者或許存在競爭關(guān)系，但不影響微軟兩邊同時押注。閉源領(lǐng)域依靠 OpenAI 實現(xiàn) 2C 業(yè)務(wù)，進行商業(yè)化。開源領(lǐng)域與 Meta 合作，建立生態(tài)的同時還能威脅到其他的閉源大語言模型。
Meta 生成式人工智能團隊副總裁艾哈邁德·阿爾·達勒 (Ahmad Al Dahle) 表示，微軟與 OpenAI 的合作與 Meta 沒有關(guān)系。
Meta 與微軟更進一步的合作并不讓人意外。在 Meta 去年專注于開發(fā)「元宇宙」時，Meta 就曾與微軟攜手把 Office 、Microsoft Teams 等效率工具兼容到 Quest 設(shè)備中。
微軟同時押注 Meta 和 OpenAI，或許是想要同時在開源和閉源領(lǐng)域廣撒網(wǎng)，不錯過每一種可能性。
Meta Llama 2 也探討了在移動終端，特別是智能手機領(lǐng)域，本地運營的可能性。
高通在一份新聞稿中表示，高通正在和 Meta 合作優(yōu)化 Meta Llama 2 大語言模型直接在終端側(cè)的執(zhí)行。
高通計劃在 2024 年起，在搭載驍龍平臺的旗艦智能手機和 PC 上支持基于 Llama 2 的 AI 部署，賦能開發(fā)者使用驍龍平臺的 AI 能力。
未來 Llama 2 將可能搭載在 VR 頭顯、汽車座艙、物聯(lián)網(wǎng)終端等領(lǐng)域。高通認為，終端側(cè)的 AI 部署能顯著降低開發(fā)成本，提升用戶隱私保護、滿足用戶的安全偏好，增強應(yīng)用可靠性以及實現(xiàn)個性化的服務(wù)。
也許到明年的這個時候，你正在用著的驍龍芯片手機正在運行 Llama 2 模型為你解決問題也說不定呢。