文心千帆上架Llama2，百度要做大模型“跨境電商”｜最前線

文 | 周鑫雨

編輯 | 鄧詠儀

8月2日，在百度文心千帆大模型平臺媒體圓桌會議上，百度攜著自己的大模型伙伴，在文心千帆上開設了模型的“百貨超市”。

(相關資料圖)

國內“百模大戰”已經打了半年。做大模型的巨頭們，進度條已經從大模型研發，快速拉到建立合作伙伴、渠道和生態。

此前，字節火山引擎和阿里通義千問都已經建立“模型貨架”，拉攏一批AI公司或者大模型公司到自家平臺上，提供從云到AI開發等服務。

如今的文心千帆做的更像是“跨境電商”：一方面，文心千帆接入的第三方模型足夠多：33個，規模超越了此前拉伙7家國內大模型廠商的火山方舟。

另一方面，RWKV、Stability Diffusion，甚至Meta在7月19日發布的Llama2等國外知名大模型，也陳列其中。

文心千帆上線的部分第三方大模型。圖源：百度

此外，此次文心千帆還上線了130套預制Prompt（提示詞）模板和插件功能。所謂的“Prompt模板”，就是教會用戶如何對大模型提出更好的問題，從而獲得更優質的反饋，而百度提供的“預制Prompt模板”，則是將提問方式的標準答案，直接喂給了用戶。至于新增的插件，率先在百度內部辦公軟件“如流”上進行了測試，未來將陸續登陸文心千帆。

33個國內外第三方大模型入駐平臺

發布會上，百度智能云AI與大數據平臺總經理忻舟介紹，這次入駐的第三方大模型的特色在于性能互補，能夠滿足不同用戶的需求，比如支持無限上下文長度的RWKV，和英文能力較強的Llama2，彌補了文心一言相應的短板。

針對上架的第三方模型，百度主要在3個方面做了調控：

• 提高可靠性和安全性。

• 降低成本：調整后模型體積可壓縮至25%-50%，推理成本可降低50%。

• 支持全套工具鏈、多樣化模型調優：接入模型支持SFT（全量參數微調、Prompt Tuning、Lora）、強化學習等調優方式。

  不過，在開源生態愈發體系化的當下，不少開源模型第三方機構對開源商用許可做出了嚴格的規定。即便開放了免費商用的Llama2，Meta對用戶也進行了約束：如果產品的月活躍用戶（MAU）超過7億，用戶必須申請特殊的商業許可證。

  對此，忻舟表示，百度在引入大多數開源模型時，都會和開發團隊進行溝通，比如智譜的ChatGLM2-6B既有開源版，同時也有商用版，那么針對商用版百度會與智譜進行分成。但由于上線時間緊張，因此目前百度和Meta等國外模型團隊正在保持溝通。

  針對已上線的第三方模型，百度將根據市場和客戶反饋采取上新和淘汰機制。忻舟告訴36氪，為了降低用戶的選擇成本，文心千帆的模型庫不會是無限擴張的狀態，最終仍會根據市場選擇更新或者下架。

  上線103個預制Prompt模板，幫客戶提問題

  在用戶實際使用模型的過程中，提問的方式往往會影響模型輸出的內容。這是因為，一個好的問題模版往往能夠幫助預訓練模型“回憶”起預訓練時學習到的內容——這一問題模板就被稱為Prompt。

  不過，文心千帆并不打算花時間教用戶如何寫Prompt，而是直接幫用戶寫完問題。

  此次上線的103個預制Prompt模板，覆蓋了對話、編程、電商、醫療、游戲、翻譯、演講等十多個場景。據百度智能云AI平臺副總經理李景秋介紹，預制Prompt模板來源于百度智能云在產業實踐中積累的Prompt模板，也源自文心一言的高頻用戶。

  文心千帆上線的103個預制Prompt模板。圖源：文心千帆截圖

  比如當用戶希望文心一言對電影《芭比》做出評價時，簡單提問“電影《芭比》好看嗎？”與使用預制Prompt模板后得到的影評在質量、篇幅上均有較大差距。

  用“電影《芭比》好看嗎？”提問后，文心一言的回答。圖源：作者試用

  用文心千帆預制Prompt提問后，文心一言的回答。圖源：作者試用

  上線插件，新增文檔摘要功能

  所謂的插件，就像是大模型中的“小程序”，作為模型能力的補充和拓展。

  此前，ChatGPT已經開放了74個插件，功能涵蓋購物、求職、營銷、票務預定等。但過多的第三方插件也會帶來安全風險，媒體Wired報道指出，安全研究人員表示，ChatGPT 插件的運行方式存在風險，可能會導致用戶的數據泄露，甚至被黑客濫用。

  作為國內模型插件的“吃蟹者”，文心千帆此次上線的“百度搜索”和“ChatFile”插件均由百度自行研發。

  文心一言上線的兩款插件。圖源：作者截圖

  值得一提的是，“ChatFile”可檢索PDF/Doc格式文檔中的知識點，并且實現文本摘要等功能。

  ChatFile插件對《正午之魔：抑郁是你我共有的秘密》一書的總結。圖源：作者試用

  李景秋介紹，文心千帆的插件已經應用于百度辦公軟件“如流”中。目前，如流已經接入了20個插件，涵蓋文檔搜索、會議紀要、會議室預定等功能。未來，文心千帆的插件生態也將開放給第三方開發者。

  “如流”接入的20個插件。圖源：百度

  忻舟表示，一站式大模型平臺最后會更被開發者所需要，隨著技術的不斷成熟，底層設施和工具的開發會放緩，更多的精力會被放在保證自己的業務不被技術發展所淘汰，這時上層應用對平臺工具的需求會更大，平臺之間比拼的是服務的能力，“在激烈競爭中，一定會有一些做得好的頭部的平臺，能夠變成主要的玩家。”

  歡迎交流！

  關鍵詞：